Pericoli nascosti e possibili soluzioni
di Reid Blackman
Se non ben addestrati e alimentati, i sistemi di intelligenza artificiale possono produrre risultati aberranti che riflettono pregiudizi nascosti nei dati storici accumulati. Ma esistono metodi per scongiurare gli effetti perversi. Vediamo alcuni casi.
Nel 2019, uno studio pubblicato sulla rivista Science ha rivelato che l’intelligenza artificiale di Optum, usata da molti sistemi sanitari per identificare i pazienti ad alto rischio che avrebbero dovuto ricevere un follow-up periodico, spingeva i medici a dedicare più attenzione ai bianchi che ai neri. Solo il 18% delle persone identificate dall’IA era di colore, mentre l’82% erano bianche. Dopo aver esaminato i dati sui pazienti che erano effettivamente i più malati, i ricercatori hanno calcolato che quelle percentuali avrebbero dovuto essere, rispettivamente, il 46% e il 53%. L’impatto era molto rilevante: secondo i ricercatori, l’IA era stata applicata ad almeno 100 milioni di pazienti.
Pur non avendo mai pensato di discriminare i neri, i data scientist e gli executive coinvolti nella creazione dell’algoritmo di Optum erano caduti in una trappola straordinariamente comune: addestrare l’IA con dati che riflettono una discriminazione secolare e producono output condizionati da pregiudizi culturali. In questo caso specifico, i dati utilizzati dimostravano che i neri ricevevano meno assistenza sanitaria, il che spingeva l’algoritmo a dedurre erroneamente che avessero bisogno di meno aiuto.
Ci sono tanti rischi etici ben documentati e largamente pubblicizzati che si associano all’IA: pregiudizi involontari e violazioni della privacy sono solo due dei più visibili. In molti casi i rischi sono strettamente legati a determinati utilizzi, come la possibilità che le automobili autoguidate investano dei pedoni o che le newsfeed generate dall’IA per i social media creino sfiducia nelle istituzioni pubbliche. A volte creano serie minacce sul piano reputazionale, regolatorio, finanziario e legale. Poiché l’IA è strutturata per operare su vasta scala, quando insorge un problema esso incide su tutte le persone che hanno a che fare con una determinata tecnologia – per esempio tutti coloro che rispondono a un’inserzione per la ricerca di personale o tutti coloro che chiedono un mutuo in banca. Se le aziende non affrontano seriamente i problemi etici della pianificazione e dell’esecuzione di progetti IA, rischiano di sprecare tempo e denaro in quantità nello sviluppo di un software che si dimostrerà troppo rischioso da usare o da vendere, come hanno già scoperto in tante.
La strategia IA di un’organizzazione deve rispondere a tutta una serie di domande:
- quali rischi etici potrebbe creare l’IA che si sta progettando, sviluppando o impiegando?
- Se si ignorano, quanto potrebbe costare, in termini di tempo e di risorse, rispondere a un’indagine dei regolatori?
- A quanto ammonterebbe una multa se ci giudicaste colpevoli di violazione di leggi o regolamenti?
- Quanto si dovrebbe spendere per recuperare la fiducia dei consumatori e dell’opinione pubblica, ammesso che i soldi possano risolvere il problema?
Le risposte a queste domande sono la misura di quanto sia necessario un programma di prevenzione dei rischi etici connessi all’IA. Il programma deve partire dal vertice e permeare tutti i livelli – e, ovviamente, anche la tecnologia. E, possibilmente, prevedere un comitato etico per i rischi legati all’IA che dovrebbe includere figure diverse come esperti di etica, avvocati, tecnologi, esperti di strategia e identificatori di pregiudizi.
Come e perché l’IA discrimina?
Le fonti di pregiudizio nell’IA sono numerose. La discriminazione reale si riflette spesso nei dati utilizzati per addestrarla. Per esempio, uno studio effettuato nel 2019 ha rivelato che le banche erano più inclini a negare mutui per la casa a persone di colore che a bianchi con caratteristiche finanziarie analoghe. In alcuni casi la discriminazione è il prodotto di un sottocampionamento dei dati relativi a popolazioni su cui andrà a incidere l’IA. Supponete di aver bisogno di dati sulle abitudini di viaggio dei pendolari per stabilire gli orari dei mezzi pubblici; perciò, raccogliete informazioni sulle geolocalizzazioni degli smartphone nelle ore di punta. Il problema è che il 15% della popolazione, ossia milioni di persone, non possiede uno smartphone. Molti non possono semplicemente permetterselo. I meno agiati, dunque sarebbero sottorappresentati nei dati utilizzati per addestrare la vostra IA. Di conseguenza, essa tenderebbe a prendere decisioni che vanno a beneficio dei quartieri più benestanti. Lo stesso accade quando si indagano i comportamenti di chi ha subito condanne penali, ai quali una IA può associare una probabilità più alta di commettere crimini in futuro, negando quindi, per esempio, accesso a occupazioni di vario tipo.
Affrontare problemi di questo ordine non è facile. Un’azienda potrebbe non essere in grado di spiegare diseguaglianze storiche dei dati o non avere le risorse necessarie per prendere una decisione ben informata sulla discriminazione operata dall’IA. E questi esempi sollevano un interrogativo più ampio: quando è eticamente accettabile produrre effetti differenziali tra sottopopolazioni e quando è un insulto al principio di uguaglianza? Le risposte variano da un caso all’altro, e non si possono trovare modificando gli algoritmi dell’IA.
La tecnologia non basta
Arriviamo così al secondo ostacolo: l’incapacità della tecnologia – e dei tecnologi – di risolvere efficacemente il problema della discriminazione. Al livello più elevato, l’IA prende una serie di input, effettua vari calcoli e crea una serie di output: inserite dati su coloro che chiedono mutui ipotecari e l’IA produce decisioni sulle domande da accogliere e da respingere. Inserite dati sulle transazioni effettuate – dove, quando e da parte di chi – e l’IA genera valutazioni sulla loro legittimità o sulla loro illegittimità. Inserite dati sui precedenti penali, sul curriculum e sui sintomi e l’IA formula giudizi previsionali, rispettivamente, sul rischio di recidive, sulla validità potenziale dei colloqui di selezione e sulle condizioni sanitarie delle persone.
Una cosa che fa effettivamente l’IA è dispensare benefici: mutui, sentenze più lievi, colloqui di assunzione e così via. E se avete informazioni sulla situazione demografica dei destinatari, allora potete vedere come vengono distribuiti quei benefici tra le varie sottopopolazioni. Poi potreste domandarvi se è una distribuzione equa e ragionevole. E se siete dei tecnologi, potreste tentare di rispondere a questa domanda applicando una o più delle metriche quantitative di correttezza identificate dalle sempre più corpose ricerche sull’apprendimento delle macchine.
I problemi non mancano di certo con questo approccio. Forse il più grave è che esistono una ventina di parametri quantitativi sulla correttezza, ma non sono compatibili tra loro: è impossibile essere corretti contestualmente in base a tutti quanti. Qui gli strumenti tecnici non bastano proprio. Possono dirvi quanto incideranno su vari parametri di correttezza le modifiche apportate alla vostra IA, ma non possono dirvi quali parametri usare. Bisogna esprimere un giudizio etico e di convenienza commerciale a questo riguardo e data scientist e ingegneri non sono attrezzati per farlo. La ragione non ha nulla a che fare con il loro carattere; è semplicemente che la stragrande maggioranza di loro non ha alcuna esperienza e nessuna formazione alla gestione di dilemmi etici complessi.
La possibile soluzione
La soluzione, perciò, consiste anche nella creazione di un comitato etico per i rischi che si associano all’IA, con l’expertise giusta e l’autorità necessaria per avere un impatto effettivo. La sua funzione è semplice: identificare sistematicamente ed esaurientemente i rischi etici di prodotto basati sull’IA che vengono sviluppati all’interno o acquistati da soggetti terzi, e contribuire ad attenuarli.
Un comitato autorevole che supervisiona le implicazioni etiche dell’IA è uno strumento importante per identificare e attenuare i rischi di una tecnologia ultra-avanzata che promette grosse opportunità. Occorre, naturalmente, dedicare la massima attenzione ai criteri di formazione del comitato e al ruolo che dovrà assumere all’interno dell’organizzazione, per evitare danni ancora maggiori di quelli che, involontariamente, l’IA potrebbe provocare.
Reid Blackman è fondatore e CEO di Virtue, e autore di Ethical Machines: Your Concise Guide to Totally Unbiased, Transparent, and Respectful AI (Harvard Business Review Press, 2022).
