Deborah Raji

La svolta nella sua carriera di ricercatrice è avvenuta durante un tirocinio presso la startup di apprendimento automatico Clarifai, dove stava lavorando a un modello di visione artificiale addestrato per filtrare contenuti sessualmente espliciti.

Raji rilevò come tale modello segnalasse le immagini di persone di colore a un tasso sproporzionatamente più alto rispetto a quelle di persone bianche. Il bias era riconducibile agli squilibri demografici nei dati di addestramento: il modello aveva appreso la distinzione tra contenuto esplicito e contenuto sicuro su dataset che sovrarappresentavano le persone di colore nel materiale pornografico e le persone bianche nelle immagini di archivio, producendo un'associazione discriminatoria tra colore della pelle e contenuto vietato.^[2] L'azienda, tuttavia, non diede seguito alla segnalazione.^[1][3]

L'episodio spinse Raji a contattare la ricercatrice del MIT Joy Buolamwini, che insieme a Timnit Gebru nel 2018 aveva condotto il progetto Gender Shades: il primo audit algoritmico sistematico degli strumenti commerciali di classificazione del genere, che aveva rilevato scostamenti fino al 34,4% di accuratezza tra donne dalla pelle scura e uomini dalla pelle chiara nei sistemi di Microsoft, IBM e Megvii (Face++).

Raji collaborò con Buolamwini al paper successivo, Actionable Auditing (2019), di cui è prima autrice. Lo studio analizzò l'impatto di Gender Shades sui sistemi delle aziende coinvolte - documentando significativi miglioramenti nelle prestazioni di IBM, Microsoft e Megvii nei sette mesi successivi alla pubblicazione - ed estese l'analisi ai sistemi di Amazon Rekognition e Kairos, in entrambi i casi riscontrando scostamenti marcati a danno delle donne dalla pelle scura.^[1][4] Il contributo metodologico centrale del paper è la formalizzazione di una procedura di divulgazione pubblica dei risultati degli audit, modellata sulle pratiche di sicurezza informatica, con l'obiettivo di incentivare le aziende ad affrontare il bias algoritmico.

A seguito di questo lavoro IBM e Amazon sospesero la vendita delle proprie tecnologie di riconoscimento facciale alle forze dell'ordine e dichiararono sostegno a una sua regolamentazione.^[4] Nello stesso anno il National Institute of Standards and Technology aggiornò il proprio audit annuale degli algoritmi di riconoscimento facciale per includere una valutazione del bias razziale.^[5]

Dopo il MIT Media Lab, Raji ha partecipato a un programma di ricerca presso Google, dove ha collaborato con l'Ethical AI team team guidato da Margaret Mitchell allo sviluppo dei Model Card, uno strumento di documentazione standardizzata per i sistemi di apprendimento automatico finalizzato a rendere esplicite le scelte progettuali e a facilitare l'individuazione di errori e bias.^[1]

Google ha integrato il framework in Google Cloud nel 2019 e altre aziende, tra cui OpenAI e Hugging Face, hanno adottato pratiche analoghe. Raji ha inoltre co-guidato un progetto interno per introdurre pratiche di auditing lungo l'intero ciclo di sviluppo dei prodotti di IA, con l'obiettivo di individuare i problemi prima del lancio.^[1]

Nel 2019 è stata research fellow estiva presso la Partnership on AI, con un focus sulla definizione di standard di trasparenza e norme di benchmarking per il settore. Ha ricoperto in seguito il ruolo di Tech Fellow presso l'AI Now Institute della New York University, dove ha proseguito il lavoro sull'auditing algoritmico, e di Senior Trustworthy AI Fellow presso la Mozilla Foundation.^[6][7]

Dal 2023 ricopre il ruolo di Academic Fellow presso la Leadership Conference on Civil and Human Rights. È inoltre membro dei consigli consultivi dell'Health AI Partnership, del Center for Democracy and Technology AI Governance Lab e del Center for Civil Rights and Technology on Civil and Human Rights e membro dei consigli consultivi del Center for Democracy and Technology AI Governance Lab, dell'Health AI Partnership e del Center for Civil Rights and Technology.^[8]