Timnit Gebru è stato licenziato da Google nel dicembre 2020 per essersi rifiutato di ritrattare un articolo di ricerca e ogni singolo avvertimento pubblicato su modelli linguistici di grandi dimensioni è ormai arrivato su una scala che il settore ha cercato per 4 anni di far dimenticare alle persone.
Ha co-guidato il team di intelligenza artificiale etica di Google. Ha co-scritto un articolo intitolato "Sui pericoli dei pappagalli stocastici" con Emily Bender dell'Università di Washington e altri due ricercatori. Il documento era lungo 14 pagine. È stato presentato a una delle principali conferenze sull’etica dell’intelligenza artificiale. Ed è stato il motivo per cui Google ha deciso che una delle donne nere più anziane nella ricerca sull’intelligenza artificiale non poteva più lavorare lì.
La storia raccontata pubblicamente da Google è che si è dimessa. La storia che ha raccontato, confermata da 2.695 suoi colleghi in una lettera aperta, è che è stata licenziata via e-mail mentre era in vacanza perché si era rifiutata di ritrattare il documento o di rimuoverne il nome.
L'articolo non era ancora stato pubblicato.
Ecco cosa ha effettivamente scritto e perché ogni previsione in esso contenuta si è ormai avverata.
Il primo avvertimento riguardava la scala stessa. Bender e Gebru sostenevano che addestrare modelli sempre più grandi su frammenti sempre più grandi di Internet avrebbe prodotto sistemi che apparivano fluenti ma non avevano una reale comprensione del linguaggio. Hanno chiamato questi sistemi pappagalli stocastici perché ripetevano schemi tratti dai dati di addestramento con sicurezza statistica e comprensione pari a zero. L'articolo prevedeva che questa apparente intelligenza avrebbe ingannato sia gli utenti sia gli sviluppatori, inducendoli a fidarsi di risultati strutturalmente incapaci di essere affidabili.
Questo era il 2020. GPT-3 era appena uscito. L'articolo prevedeva il problema delle allucinazioni prima che qualcuno avesse una parola per definirlo.
Il secondo avvertimento riguardava l'amplificazione della polarizzazione. Il documento documenta in dettaglio che i dati sulla formazione su scala Internet contengono una sistematica sovrarappresentazione dei punti di vista dominanti e una sottorappresentazione di quelli emarginati. I modelli non si limiterebbero ad assorbire questa distorsione. Lo amplificherebbero, perché il processo di ottimizzazione premia risultati sicuri e la fiducia nei modelli linguistici tiene traccia della frequenza nel set di addestramento.
La previsione era che gli strumenti di assunzione basati su questi modelli avrebbero discriminato le donne. Che gli strumenti di triage sanitario avrebbero prestazioni inferiori sui pazienti neri. Che i sistemi di approvazione dei prestiti consoliderebbero la disuguaglianza presentando le loro decisioni come giudizi algoritmici neutrali.
Ognuna di queste cose è stata ora documentata durante la distribuzione.
L'algoritmo di assunzione di Amazon penalizzava i curriculum che contenevano la parola "donne" in qualsiasi contesto. Si è scoperto che gli algoritmi di punteggio del rischio sanitario utilizzati dai principali ospedali statunitensi sottostimano sistematicamente le esigenze mediche dei pazienti neri. L'algoritmo di credito di Apple Card ha concesso alle mogli linee di credito 10 volte inferiori rispetto ai loro mariti per lo stesso profilo finanziario.
Il terzo avvertimento riguardava i costi ambientali. Lo studio ha calcolato che l'addestramento di un singolo modello linguistico di grandi dimensioni ha prodotto emissioni equivalenti alla durata di vita di 5 automobili. La previsione era che la corsa alla crescita avrebbe creato un impatto ambientale tale da rivaleggiare con quello di interi settori industriali.
Nel 2024, le emissioni di Google sono aumentate del 48% rispetto al 2019 e l'azienda ha esplicitamente attribuito la colpa all'infrastruttura di intelligenza artificiale. Microsoft è cresciuta del 29%, per lo stesso motivo. Entrambe le società hanno ora silenziosamente abbandonato gli impegni climatici che stavano celebrando pubblicamente l’anno in cui Gebru è stata licenziata.
Il quarto avvertimento riguardava la documentazione. Nel documento si sosteneva che i set di dati di formazione raccolti erano troppo grandi perché chiunque potesse effettivamente verificarli. Nessuno in Google, OpenAI, Meta o in qualsiasi altro laboratorio poteva dirti con sicurezza cosa c'era nei dati su cui erano stati addestrati i loro modelli. Questo non era un problema temporaneo da risolvere in seguito. Era una caratteristica permanente dell'approccio.
Nel 2023, i ricercatori hanno scoperto che il set di dati LAION-5B, utilizzato per addestrare Stable Diffusion e altri importanti modelli di immagini, conteneva migliaia di immagini di materiale pedopornografico. Le aziende che si erano formate sul set di dati non avevano modo di saperlo. Il documento prevedeva questa categoria di fallimento 3 anni prima che venisse individuata.
Il quinto avvertimento era quello a cui Google teneva di più.
Bender e Gebru sostenevano che l'implementazione di questi sistemi avrebbe centralizzato il potere linguistico e culturale nelle mani del piccolo numero di aziende che potevano permettersi di formarli. Internet diventerebbe un luogo in cui la voce dominante sarebbe una media statistica delle voci dominanti, presentate come un assistente neutrale. Le lingue sottorappresentate nei dati di formazione si degraderebbero nel tempo man mano che questi sistemi generassero più contenuti web e li reimmettessero nella successiva sessione di formazione.
Ora tutto questo avviene in tempo reale. Uno studio del 2024 ha rilevato che il 57% dei nuovi contenuti web in inglese sono generati o assistiti dall’intelligenza artificiale. I ricercatori che studiano lingue con risorse limitate hanno documentato un degrado attivo della qualità della traduzione, poiché i contenuti sintetici reimmessi nella formazione sono di per sé peggiori in quelle lingue.
Il documento per cui Google l'ha licenziata prevedeva il problema del collasso del modello prima che il collasso del modello avesse un nome.
Il meccanismo alla base del motivo per cui tutto questo è accaduto è la parte del suo lavoro che nessuno cita.
L'argomentazione di Gebru non era che l'intelligenza artificiale fosse pericolosa in un certo senso fantascientifico astratto. La sua tesi era che l’intelligenza artificiale è pericolosa in un senso strutturale molto specifico. La tecnologia è stata sviluppata da un piccolo gruppo di ricercatori che condividevano background simili, lavoravano in aziende simili e venivano ricompensati per aver spedito i prodotti più velocemente rispetto ai concorrenti. La struttura degli incentivi ha reso impossibile che le preoccupazioni relative alla sicurezza, all’etica e ai pregiudizi rallentassero qualcosa. Chiunque all’interno del sistema sollevasse tali preoccupazioni veniva ignorato, messo da parte o rimosso.
Stava sostenendo questa argomentazione dall'interno di Google.
Poi Google le ha dato ragione rimuovendola.
Il team che Google aveva creato per garantire la sicurezza della propria intelligenza artificiale è stato smantellato in 90 giorni perché svolgeva il lavoro per cui era stato assunto. Margaret Mitchell, l'altra co-responsabile del team Ethical AI, è stata licenziata due mesi dopo Gebru per aver cercato nelle sue stesse e-mail prove di come Gebru era stata trattata.
Gebru non si fermò. Nel 2021 ha fondato DAIR, il Distributed AI Research Institute. La missione è quella di condurre ricerche sull'intelligenza artificiale al di fuori del controllo delle aziende che hanno un interesse finanziario a non ascoltare le risposte.
Ogni previsione contenuta nel documento Stochastic Parrots è stata ora convalidata tramite distribuzione. Le allucinazioni sono un problema che riguarda l'intero settore e che i laboratori più grandi non riescono a risolvere. L’amplificazione dei pregiudizi è stata documentata nelle assunzioni, nell’assistenza sanitaria, nei prestiti e nella giustizia penale. I costi ambientali sono maggiori di quelli di interi piccoli Paesi. Gli audit dei dati di formazione rimangono impossibili. Il collasso del modello è una crisi di ricerca attiva in tutti i principali laboratori.
La domanda su cui vale la pena soffermarsi è quella che quasi nessuno nel settore dirà ad alta voce.
Ogni ricercatrice dotata della credibilità tecnica necessaria per denunciare questi problemi ha osservato cosa le è successo nel dicembre 2020 e ha fatto un calcolo sulla propria carriera. Il numero di persone disposte a parlare pubblicamente di questioni di sicurezza ed etica all’interno dei principali laboratori di intelligenza artificiale è crollato dopo quel licenziamento e non si è ripreso.
Il ricercatore licenziato da Google per aver avvertito che esattamente ciò che sta accadendo ora era giusto.
L'azienda che l'ha licenziata è ora la seconda maggiore utilizzatrice della tecnologia da lei messa in guardia.
E alle persone all'interno di quell'azienda che sono d'accordo con lei non è permesso dirlo."
Fonte (inglese, io ho solo tradotto) :
https://www.tumblr.com/dreaminginthedeepsouth/817865966907228160/darren-oconnor-timnit-gebru-was-fired-from
2087
tangentwithtanner
izzy806
dailybridgerton
