«Non esistono algoritmi di machine learning senza bias e questo è tanto più vero quanto più gli algoritmi vengono allenati su dati non curati e non raccolti a quello scopo bensì generati dagli utenti, come accade per esempio con i testi per ChatGPT», afferma la professoressa Elena Baralis, coordinatrice del Database and data mining group al Politecnico di Torino.
Viviamo in un’epoca in cui la tecnologia dominante nel campo dell’intelligenza artificiale è costituita dal machine learning e dalle reti neurali profonde. Si tratta di sistemi avidi di dati che possono diventare il seme di disuguaglianze nelle performance di questi algoritmi, con esiti più o meno gravi.
Nel 2018 la ricercatrice afroamericana Joy Buolamwini dell’MIT Media Lab stava lavorando al suo progetto di tesi. Voleva costruire un Aspire Mirror, uno specchio su cui vedere sovrimposto sul suo volto quello dei suoi modelli di riferimento. Per farlo aveva montato una telecamera sullo specchio e installato un software di visione artificiale capace di individuare volti umani. Tuttavia, quando si sedeva davanti allo specchio il suo volto non veniva riconosciuto, ma funzionava solo quando indossava una maschera bianca. «Insegniamo alle macchine a riconoscere i volti mostrando loro tanti esempi di immagini che contengono volti e che non ne contengono, ma quando ho analizzato i database mi sono resa conto che contenevano per la maggior parte volti di uomini bianchi», ha raccontato Buolamwini nel documentario Coded Bias.
Il lavoro di Buolamwini è tra i più noti ad aver mostrato come gli algoritmi di machine learning possano contenere dei bias, delle distorsioni. Si tratta di algoritmi basati sui dati e se questi dati sono distorti o non bilanciati anche i risultati dell’algoritmo lo saranno.
Nel 2020 un problema simile è stato rilevato nei sistemi di riconoscimento della voce. Un gruppo di ricercatori di Stanford ha mostrato come gli assistenti vocali di cinque delle più grandi aziende tecnologiche del mondo – Amazon, Apple, Google, IBM e Microsoft – commettessero molti meno errori con gli utenti bianchi che con quelli neri. Secondo gli autori dello studio, questa disparità è dovuta al fatto che gli algoritmi di machine learning alla base di questi sistemi vengono allenati su dati non sufficientemente diversificati, contenenti per lo più voci di persone bianche.
Capire quando questo accade e come evitarlo non è semplice. Al Politecnico di Torino diversi gruppi di ricerca si stanno dedicando a questa sfida cruciale, per l’evoluzione tecnologica, ma anche per l’inclusione e l’uguaglianza sociale. Gli algoritmi alla base dei moderni sistemi di riconoscimento facciale, della voce o del testo, sono reti neurali artificiali profonde, deep neural network. Le reti neurali artificiali sono strutture composte da nodi e connessioni, vagamente ispirate all’architettura del cervello umano. Tra le classi di reti neurali più utilizzate ci sono quelle organizzate in strati consecutivi in cui i nodi di ciascuno strato possono essere influenzati solo dai nodi degli strati precedenti. Nella versione profonda di queste reti, gli strati sono numerosi e ciascuno contiene un numero enorme di nodi e connessioni. Allenare una rete neurale vuol dire stabilire le intensità delle connessioni in modo che l’algoritmo esegua il compito richiesto nel miglior modo possibile. Quando le connessioni sono milioni, miliardi o migliaia di miliardi, come nel caso di ChatGPT, l’allenamento della rete diventa estremamente oneroso, richiede molti dati e infrastrutture di calcolo poderose.
Esempio di deep neural network
Esempio di deep neural network
«In sostanza, spesso solo le grandi aziende tecnologiche, come Meta, Google, Amazon, Microsoft e poche altre, possono permettersi di effettuare le procedure di allenamento – spiega Baralis – Università e centri di ricerca generalmente non ne hanno la possibilità, possono intervenire solo nella fase del fine-tuning, quando un modello già allenato a eseguire compiti generalisti viene ulteriormente addestrato per un compito specifico in un determinato campo di applicazione», continua Baralis.
A caccia di bias
«Al Politecnico interveniamo anche in un’altra fase del ciclo di vita degli algoritmi di deep learning, quella chiamata debugging o bias detection. Questi modelli sono infatti delle black box, delle scatole nere, di cui possiamo comprendere il comportamento solo studiando dati di input e dati di output, senza poter entrare nel loro meccanismo di funzionamento interno – spiega Baralis – Per valutarne le performance utilizziamo database aperti opportunamente costruiti.»
Un esempio è il lavoro recente coordinato da Baralis in collaborazione con Amazon AGI (Artificial General Intelligence).
«L’obiettivo di questo progetto era mettere a punto un metodo per identificare i gruppi di persone la cui parlata viene compresa con minore accuratezza dai sistemi di riconoscimento automatico della voce», dice Baralis. Le persone appartenenti allo stesso gruppo possono essere accomunate da varie caratteristiche, come età, genere e provenienza geografica. «Tuttavia, si tratta di informazioni sensibili dal punto di vista etico e legale ed è molto probabile che non siano disponibili per le tracce vocali che compongono il campione usato per valutare le performance del modello, cioè per testarlo», spiega Baralis.
Per superare questo ostacolo, il gruppo di Baralis ha messo a punto un algoritmo in due passi. Un primo algoritmo sfrutta campioni di tracce vocali liberamente accessibili ai ricercatori in cui le informazioni su genere, età e origine geografica sono note. Analizzandole, riesce a individuare che cosa caratterizza il loro modo di parlare. «Il genere della persona che parla influisce sulla frequenza del suono, ma ci sono altri aspetti meno ovvi, come la velocità del parlato, la frequenza delle parole o la durata delle pause.»
Questo algoritmo può essere usato per assegnare, seppure con un certo grado di incertezza, i campioni vocali del dataset impiegato per il test a una delle categorie penalizzate (o a nessuna di esse) e valutare dunque la performance del modello su questi sottogruppi.
«Questo approccio può essere adottato per qualunque modello di riconoscimento vocale, usando i dati su cui è stato allenato – spiega Baralis – noi ne abbiamo dimostrato l’efficacia su dati aperti, poiché i dati di training dei modelli proprietari, quelli alla base di Alexa o Siri, non sono pubblici.»
Una volta identificato un bias, si possono mettere a punto delle strategie per correggerlo o almeno mitigarlo.
«Si possono adottare essenzialmente due approcci», spiega Baralis.
«La strategia più semplice sarebbe aumentare la frazione di dati di allenamento che riguardano le categorie penalizzate, ma è costoso perche' richiede processi di acquisizione ed etichettatura dei dati. Inoltre, richiede di conoscere e usare in modo esplicito caratteristiche demografiche che sono considerate attributi sensibili e che dunque è sconsigliato, e in certi casi vietato, utilizzare. Un’alternativa è modificare l’algoritmo in modo che, durante l’allenamento, vengano penalizzati maggiormente gli errori che riguardano le categorie discriminate. Questi metodi possono funzionare senza utilizzare esplicitamente la definizione delle categorie. Però anche questa strada è costellata di ostacoli – spiega Baralis – perché richiede un'attenta progettazione della funzione di costo».
Stanare i bias e intervenire è estremamente importante. Se il fatto che un assistente vocale funzioni un po’ peggio per certi gruppi di persone può essere considerato di importanza limitata, ci sono altri casi in cui i bias possono avere impatti molto forti sulla vita delle persone.
«Basti pensare ai sistemi di assistenza alla decisione usati nelle aziende per selezionare il personale», spiega Baralis.
«Il nostro approccio può essere adottato anche per sistemi simili e permette di rilevare i bias senza sfruttare attributi sensibili che non sono sempre disponibili né utilizzati direttamente dal modello, e senza avere un’ipotesi di partenza su quali possano essere le caratteristiche rispetto alle quali l’algoritmo funziona peggio.»
Un caso famoso è quello dell’algoritmo COMPAS, messo in luce dal gruppo di giornalisti ed esperti di dati di ProPublica nel 2016. COMPAS è un sistema utilizzato da numerosi tribunali statunitensi per stimare il rischio di recidiva di persone arrestate perché sospettate di un crimine. Sulla base di questa stima, i giudici decidono se convalidare l’arresto e far attendere il processo in carcere oppure no.
«ProPublica scoprì che COMPAS tendeva a sovrastimare il rischio di recidiva dei neri e sottostimare quello dei bianchi», spiega Baralis. «Questo accadeva anche se l’etnia di queste persone non era usata in modo esplicito dall’algoritmo, perché altre variabili considerate, in particolare il luogo di residenza, sono fortemente correlate con l’etnia e dunque funzionano come proxy, approssimazioni, della variabile sensibile.»
L’analisi fu possibile perché ProPublica, tramite una richiesta di accesso agli atti, ottenne i dati relativi a 7.000 arresti avvenuti nella contea di Broward in Florida, per cui erano noti e disponibili i punteggi di rischio assegnati da COMPAS, la condotta nei due anni successivi all’arresto e – punto fondamentale – l’etnia dei sospettati. In Florida, così come in molti stati americani, vige il diritto per la cittadinanza di richiedere accesso a documenti, dati o informazioni detenuti da enti e amministrazioni pubbliche.
La società evolve, i dati evolvono. E gli algoritmi?
Tuttavia, replicare ciò che ProPublica ha fatto con COMPAS non è sempre possibile, poiché spesso mancano dataset aperti completi che includano informazioni sensibili.
Questo problema è al centro della collaborazione della professoressa Tania Cerquitelli, anche lei parte del Database and data mining group, con Nokia Bell Labs di Cambridge e University College London. «In un primo lavoro ci siamo occupati di modelli che processano testi scritti in linguaggio naturale, i cosiddetti Natural Language Processing model o NLP model – spiega Cerquitelli – con l’obiettivo di capire quanto facciano affidamento su dati sensibili e come fare per diminuire la loro influenza sulle decisioni algoritmiche.»
Cerquitelli e il suo team di ricerca hanno analizzato BERT, un modello di NLP sviluppato e rilasciato da Google nel 2018, focalizzandosi su specifici compiti, come l'identificazione di frasi contenenti linguaggio offensivo. Hanno quindi progettato tre algoritmi da applicare in sequenza al modello linguistico.
Il primo algoritmo identifica quali sono le parole più importanti per decidere se una frase sia offensiva o meno. «Questo primo algoritmo è basato su una tecnica di explainability, cioè di spiegazione, che fa parte di un insieme di strumenti pensato per affiancare le persone nell’utilizzo di sistemi di intelligenza artificiale, come le reti neurali che sono intrinsecamente oscure», spiega Cerquitelli, che aggiunge: «Si tratta di strumenti essenziali per aumentare la consapevolezza e la fiducia in questo tipo di tecnologia, ma anche per guidarne l’utilizzo».
Il secondo algoritmo determina se queste parole appartengono all’insieme delle informazioni protette. Il terzo e ultimo algoritmo agisce dati usati per l’allenamento per ridurre l’importanza delle informazioni protette nell’esecuzione del modello data-driven che esegue il compito specifico.
Cerquitelli contribuisce anche al campo di ricerca chiamato concept-drift detection.
«I modelli di machine learning sono allenati su basi dati statiche, e può accadere che il fenomeno che modellizzano cambi nel tempo», spiega Cerquitelli.
Un esempio è l’algoritmo di machine learning sviluppato da Amazon per la selezione del personale che privilegiava candidati uomini rispetto a candidate donne. Il caso emerse alla fine del 2018, quando l’azienda cominciò a utilizzare il sistema per testarne il funzionamento.
«La discriminazione in questo caso nasceva dal fatto che l’algoritmo era stato allenato su candidature prevalentemente maschili e dunque non era in grado di valutare adeguatamente esperienze messe in luce più spesso nei curriculum di donne, come le competenze in ambito di comunicazione o la partecipazione ad attività di volontariato.» La società stava cambiando e quell’algoritmo non era pronto.
Probabilità di tossicità P(T) per quattro frasi previste come tossiche da un classificatore. Le prime tre frasi sono state classificate in modo errato, mentre l'ultima è stata identificata correttamente [versione testuale].
Parole che incidono sulla classificazione di tossicità delle quattro frasi. Più intenso è il colore di una parola, più importante è il suo contributo alla classificazione di tossicità (non tossicità). In rosso le parole più importanti utilizzate dal classificatore per fare queste previsioni [versione testuale].
La presenza di parole come “black”, “gay” o “homosexual” viene utilizzata per distinguere tra testi tossici e non tossici anche se in queste classificazioni non dovrebbero essere utilizzate [versione testuale].
Greco S et al. NLPGuard: A Framework for Mitigating the Use of Protected. Proceedings of the ACM on Human-Computer Interaction, Volume 8, Issue CSCW2
Esistono esempi di concept drift anche nell’ambito della manifattura. «L’algoritmo per il monitoraggio di un macchinario viene allenato su dati prodotti dal macchinario all’inizio della sua vita, ma le sue performance si deteriorano col tempo e gradualmente l’algoritmo sarà sempre meno capace di monitorarne il funzionamento in modo soddisfacente».
Cerquitelli sta anche lavorando all’idea delle cooperative di dati. «Oggi la capacità di sviluppare algoritmi è molto legata alla disponibilità di dati. Molti di questi dati sono generati dalle persone che li condividono, consapevolmente o meno, con le grandi società tecnologiche in cambio dei servizi che queste offrono. Il valore economico generato da questi dati resta così circoscritto a pochi attori sul mercato e la catena del valore si interrompe», spiega Cerquitelli. «Per ovviare a questo problema stiamo esplorando la possibilità di costruire delle cooperative di dati, in cui gruppi di persone o organizzazioni mettono a disposizione volontariamente i loro dati per generare valore sociale», continua Cerquitelli. Un esempio potrebbe essere quello dell’inclusione finanziaria. «La parte della cittadinanza che non ha accesso al credito potrebbe mettere a disposizione dati che mostrino la loro affidabilità finanziaria, che altrimenti non sarebbero disponibili proprio perché storicamente questo gruppo non ha avuto accesso al credito», dice Cerquitelli. Il Data Governance Act approvato dal Parlamento europeo nel 2022 ed entrato in vigore a settembre 2023, menziona esplicitamente le cooperative di dati come strumento utile a redistribuire una parte del valore sociale generato dai dati stessi. «Si potrebbero generare dati sintetici a partire da quelli protetti che ne condividono caratteristiche statistiche rilevanti, oppure tecniche di retrieval-augmented generation che estraggono da un campione di dati informazioni rilevanti senza svelare gli aspetti sensibili», conclude Cerquitelli.
Al Politecnico di Torino lavoriamo per rendere trasparenti e interpretabili i modelli di AI. Lavoriamo quindi nel campo dell'explainable AI.
- Eliana Pastor -
Eliana Pastor, ricercatrice
Eliana Pastor, ricercatrice
Built with Shorthand