ExplAIn - Intelligenza Artificiale Trasparente
Rendere l'AI trasparente e verificabile - strumenti per guardare dentro la black box in medicina, cybersecurity e giustizia
Panoramica
Rendere l'AI trasparente e verificabile - strumenti per guardare dentro la black box in medicina, cybersecurity e giustizia
Ti fideresti di una decisione che non puoi capire?
I sistemi di AI vengono sempre più spesso utilizzati per prendere decisioni in contesti ad alto impatto: medicina, sicurezza informatica, giustizia. Il problema non è che queste decisioni vengano prese, ma che nella maggior parte dei casi non siamo in grado di ricostruirne il ragionamento. Non è una questione percettiva: è un limite tecnico concreto.
Dalla black box alla glass box
La maggior parte dei modelli attuali opera in questo modo: dato un input, produce un output, e il processo intermedio è opaco. Questo ha conseguenze pratiche: non possiamo verificare su cosa si sta basando il modello, non riusciamo a individuare errori sistematici, e non abbiamo strumenti per valutarne l'affidabilità in contesti critici.
L'explainability non richiede di cambiare l'architettura del modello. Si tratta di aggiungere strumenti di analisi che permettano di osservare e interpretare il suo comportamento dall'esterno, o in alcuni casi dall'interno. L'obiettivo è passare da un sistema opaco a uno analizzabile.
Cosa fa ExplAIn
- Metodi per capire su quali caratteristiche si basa una previsione
- Identificazione di comportamenti anomali e distorsioni nei dati
- Risultati leggibili anche a chi non ha formazione tecnica specifica
- Modelli non solo performanti, ma verificabili
Perché adesso
Nel 2021 la Commissione Europea ha proposto l'AI Act per regolare e classificare le applicazioni dell'intelligenza artificiale in base al rischio dei danni causati, mettendo in categoria high risk tutti quei sistemi utilizzati in contesti sensibili che influenzano la vita delle persone: istruzione, sanità, finanza, privacy. Con l'imminente messa in atto dell'AI Act, adottare sistemi di intelligenza artificiale affidabili, robusti, non discriminanti e sicuri non sarà solo giusto: sarà legge.
Specifiche tecniche
Aree di applicazione
Tre esempi concreti su cui agisce l'explainable AI:
Computer Vision - Ribeiro et al.
Molti modelli classificano l'immagine non in base all'informazione semantica, ma su informazioni secondarie - in questo caso lo sfondo (un husky classificato come lupo per via della neve). Le explanation surface mostrano esattamente quali pixel hanno determinato la decisione.
Malware Detection - Perasso et al.
Modelli per la classificazione di malware che si basano su pattern superficiali, non su comportamenti realmente discriminanti. Gli integrated-gradient attribution mostrano dove il modello sta davvero guardando.
Text Translation - Google Translate
Le parole vengono tradotte in base al contesto, talvolta codificando assunzioni di genere o stereotipi invisibili nell'output. Gli strumenti di explainability rendono visibili queste dipendenze.
Cosa ExplAIn è (e cosa non è)
ExplAIn non vuole proporre un'alternativa all'intelligenza artificiale. Sviluppa strumenti per analizzarla e correggerla - perché un modello che funziona ma che non sappiamo esaminare rimane, di fatto, uno strumento che non possiamo controllare.
Partner di progetto
Università di Genova
Legacoop LiguriaCronologia
La Commissione UE propone l'AI Act, definendo i sistemi AI 'high-risk' TBD
Metodi consolidati su computer vision, cybersecurity e NLP TBD
Toolkit di explainability riusabile allineato alla compliance dell'AI Act TBD
Galleria
Nessun media disponibile.