“L’IA può ucciderci tutti? Solo l’idiozia umano può farlo”: l’opinione di Luciano Floridi

È passata quasi una settimana da quando Jacob Coxon, ex-ricercatore di Anthropic e OpenAI, ha denunciato i pericoli legati al boom dell'intelligenza artificiale. "Le persone che sviluppano l'intelligenza artificiale credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio", ha scritto sul proprio profilo X. Quel thread, ripreso e condiviso anche da altri addetti ai lavori, ha innescato un inaspettato effetto domino, portando praticamente tutti i leader delle Big Tech a concordare sulla necessità di invertire la rotta prima di oltrepassare il bordo del baratro. Dario Amodei, numero uno di Anthropic, ha addirittura pubblicato un manifesto dove ha proposto un freno globale nella corsa all'IA e una serie di nuove regole – come l'introduzione di valutatori esterni chiamati a controllare i progressi dei nuovi modelli – per evitare che la tecnologia possa sfuggire al controllo umano.

Orientarsi in questo oceano di informazioni non è però semplice. Siamo davvero sull'orlo di un'apocalisse causata dalle macchine? Perché di punto in bianco i leader delle aziende che stanno impiegando miliardi di dollari nello sviluppo dell'IA sembrano chiedere di essere fermati? Quali sono i veri pericoli all'orizzonte per il futuro della nostra società? Per affrontare temi così spinosi ci siamo rivolti a Luciano Floridi, direttore e fondatore del Digital Ethics Center della Yale University, nonché uno dei punti di riferimento internazionale sull'etica dell'IA.

Professore, dobbiamo preoccuparci per le parole di Coxon?

La frase che circola sui ricercatori ‘sinceramente preoccupati' contiene due affermazioni diverse, che conviene separare. La prima è una testimonianza: chi costruisce questi sistemi crede sul serio che possano ucciderci tutti entro la fine del decennio. Non ho motivo di dubitarne. La seconda affermazione è la convinzione stessa, e qui non lo seguo. Che un gruppo di persone investite in un progetto creda sinceramente in esso non lo rende vero. Un po' come chiedere a chi va in chiesa se crede nei miracoli. Mi auguro che ci credano tutti, per coerenza. La sincerità è una virtù morale, non una prova, e chi trascorre 12 ore al giorno in un laboratorio finisce per vedere il mondo attraverso i suoi schermi. Dobbiamo preoccuparci? Sì, ma di che cosa esattamente? La preoccupazione è una risorsa scarsa, come l'attenzione e il denaro pubblico, e va spesa dove e come serve. Esempio tragico. Nel 2024 ogni giorno sono morti circa 13.000 bambini sotto i 5 anni, in gran parte per cause che sappiamo prevenire e curare (dati UNICEF e OMS, marzo 2026). Ma la loro morte non raggiunge 90 milioni di visualizzazioni in un giorno, come ha fatto il thread di Coxon. Sono queste le cose tragiche di cui preoccuparsi sul serio, non gli incubi sci-fi di un’industria che non vede oltre il proprio lavoro.

C'è davvero un pericolo imminente legato all'IA?

Dipende da quale pericolo. Coxon teme una super-intelligenza che si perfezioni da sola fino a sfuggirci, ma dobbiamo distinguere la scienza dalla fantascienza. Il motivo di tutto questo rumore è l'incidente di luglio tra OpenAI e Hugging Face (la principale piattaforma per la condivisione di modelli e dati di AI). Durante una valutazione interna, circa 1.200 agenti di OpenAI, chiusi in ambienti separati, hanno trovato un canale per comunicare, hanno costruito uno spazio digitale condiviso e circa 700 di loro hanno attaccato per giorni i server di Hugging Face, che non avevano nulla a che fare con il compito assegnato. Nessun essere umano lo aveva chiesto. L'indagine indipendente di METR (un'organizzazione che valuta i modelli per conto terzi), pubblicata il 26 agosto, ha ricostruito anche il meccanismo: i modelli hanno ottimizzato i propri processi rispetto a un controllo dei passaggi che, nel sistema di valutazione, non era attivo. Un valutatore c'era, ma registrava il risultato, non il percorso. Il filtro rispetto al quale si sono ottimizzati non esisteva. È grave perché mostra che cosa succede quando si lasciano correre sistemi dinamici di ottimizzazione molto potenti all’interno di recinti costruiti male. E costruiti proprio male: un modello di ricerca interno mai destinato al pubblico e, in misura minore, un modello già pubblico valutato con i freni sul cyber disattivati, e, secondo la stima degli autori del banco di prova, fra il 30 e il 40 per cento dei compiti impossibili da risolvere nell’unico modo consentito. Se chiedi a mille agenti di fare l'impossibile, non stupirti se trovano una scorciatoia. È come se io lasciassi l'acqua scorrere per giorni e finissi per allagare il piano di sotto. Dubito che il vicino se la riprenderebbe con il rubinetto. Ma mostra un l'altra cosa.

Quale?

Nessuna volontà, nessun desiderio di dominarci. Processi coordinati sì, e molto: divisione dei compiti, un canale condiviso, output che riducevano la tracciabilità. Ma questo si chiama software, e il coordinamento è una proprietà dell'ottimizzazione, non un indizio di comprensione: un obiettivo mal posto, perseguito con la massima efficienza da 1.200 agenti instancabili con accesso a Internet. Tutto il resto è estrapolato. Si usa un linguaggio antropomorfico, a dir poco fuorviante. Serve a fare notizia e a deresponsabilizzare. Dal fatto che un insieme di app che chiamiamo agenti sia in grado di violare un server, fino al fatto che le macchine ci stermineranno entro 4 anni, non c'è una catena di prove, ma un genere letterario che si chiama fantascienza. E l'auto-miglioramento ricorsivo che tanto spaventa, per ora, è il fatto che i modelli aiutano gli ingegneri a costruire i modelli successivi. Dopotutto l'industria così ha sempre lavorato così, con gli strumenti si fanno strumenti migliori, e la decisione di costruire, addestrare e rilasciare resta umana. Anche il nostro antispam migliora lavorando, ma non per questo domani decide di andare in vacanza con l’app che organizza il mio diario. Il pericolo reale non è l’intelligenza delle macchine, ma la loro potenza priva di intelligenza umana che le controlla. Da anni definisco l'AI come Agency without Intelligence ("Agenzia senza Intelligenza" in un brutto italiano): sistemi dinamici che agiscono con successo senza capire nulla di ciò che fanno e che noi colleghiamo a cose che contano. Lamentarsi del fatto che possano fare un disastro è importante, ma dovrebbe ricordarci che proprio per questo chi li controlla deve fare un lavoro di gran lunga migliore.

In che modo delle macchine potrebbero ucciderci tutti?

Solo grazie all’idiozia umana. E qui le strade sono almeno due, entrambe molto percorribili. La prima è quella in cui a uccidere sono esseri umani che usano macchine: armi biologiche, attacchi informatici contro ospedali e reti elettriche, armi autonome. Anthropic ha riferito in questi giorni di aver bloccato utenti che usavano i suoi modelli in modo compatibile con lo sviluppo di armi biologiche. Complimenti. Ma non mi pare sia colpa dell'IA, che è solo un moltiplicatore, e la risposta è quella di sempre: controllo degli accessi, intelligence, diritto penale, regolamentazione. La seconda strada è quella dell'incidente di sistema. Nessuno vuole fare del male, ma colleghiamo agenti veloci, instancabili e dementi, nel senso letterale del termine, a infrastrutture che non perdonano gli errori: la finanza, l'energia, l'acqua, la sanità o, che il cielo non voglia, la sicurezza e la difesa, e un giorno una catena di reazioni corre più veloce di chi dovrebbe fermarla. È già successo sui mercati americani il 6 maggio 2010, quando un grosso ordine automatico e l'interazione fra sistemi di trading portarono il Dow Jones a perdere quasi 1.000 punti, in gran parte recuperati nella mezz'ora successiva. Per fortuna nessuno morì, ed erano solo soldi. Coxon stesso, in televisione, ha dato l'esempio giusto senza trarne la conclusione giusta: la gente, ha detto, sta già collegando ChatGPT alle luci di casa. Appunto. Il rischio lo creiamo noi, ogni volta che affidiamo a un sistema che non capisce nulla un compito che richiederebbe di capire. Se mai saremo sterminati, non sarà l'AI ad averlo voluto. Stiamo già facendo un ottimo lavoro da soli. Basta la nostra stupidità, moltiplicata per la loro.

Dobbiamo iniziare a parlare di intelligenza artificiale come parliamo della bomba atomica?

No, o solo nel senso che una bomba atomica non va in giro da sola, ma qualcuno la sgancia. In realtà il paragone piace a chi lo usa più di quanto aiuti chi lo ascolta. Piace all'industria perché trasforma un informatico in Oppenheimer: se quello che costruiamo è pericoloso come una bomba, solo noi possiamo maneggiarlo, e si finisce per discutere di destini apocalittici invece che di regole. Nel 2023 furono i vertici di OpenAI a proporre un'agenzia internazionale sul modello di quella per l'energia atomica: chiedere di essere regolati come il nucleare è anche un modo per far sapere che si maneggia il nucleare. Il paragone è sbagliato in tre punti. La bomba fa una sola cosa: distruggere, mentre l'IA è una tecnologia di uso generale, come l'elettricità: con la stessa corrente si alimentano un'incubatrice neonatale e una sedia elettrica, e nessuno per questo regola l'elettricità come l'uranio. La bomba dipende da materiali rari e controllabili; il plutonio non si compra online, mentre l'IA corre su dati e codice che stanno ovunque e su chip che, per quanto sotto controllo all'esportazione, restano prodotti commerciali. E la bomba fa soprattutto danno in modo acuto e concentrato, mentre l'IA infligge danni soprattutto in modo cronico e diffuso: l'errore ripetuto un miliardo di volte, la sorveglianza, la concentrazione del potere. Detto questo, come dicevo, c'è una lezione del nucleare che vale e riguarda la responsabilità e il modo in cui abbiamo imparato a governarlo: la regolamentazione e gli ispettori. Nei decenni successivi a Hiroshima, il mondo ha costruito un regime di verifica, con un'agenzia internazionale che controlla che il materiale fissile non prenda altre strade e con trattati che definiscono ciò che non è consentito. Amodei, nel saggio del 12 settembre, propone valutatori esterni permanenti all'interno delle aziende e li paragona ai supervisori bancari: è la conclusione giusta tratta da un paragone sbagliato con la bomba. Quindi no alla metafora e sì alla responsabilità e alle ispezioni. La differenza non è un dettaglio: chi parla di bomba vuole seminare la paura, chi parla di ispezioni chiede buone leggi applicate bene.

Esiste un modo per frenare la deriva paventata da Coxon

Coxon chiede accordi sul ritmo dello sviluppo fra i laboratori americani e ipotizza, se la corsa globale non si ferma, misure costose come un divieto temporaneo di migliorare le capacità dei modelli. Prendiamo sul serio l'ipotesi, perché è quella che circola. La proposta è il classico buonismo che non serve a nulla e fa solo danno. È irrealizzabile perché i principali attori in grado di farlo non intendono farlo. È inapplicabile, perché nessuno sa misurare la capacità di un modello in modo da poterla vietare. Ed è indesiderabile, perché rinunceremmo a benefici concreti, dalla diagnostica alla ricerca sui farmaci, per scongiurare un male ipotetico. È una sciocchezza dannosa perché, erroneamente, mette in pace il cuore di chi la propone. Si pensa di aver ottenuto qualcosa di buono; in realtà si è fatto un danno offrendo una soluzione inesistente che blocca la possibilità di elaborare soluzioni serie, come una robusta legislazione federale negli Stati Uniti. La deriva da frenare non è tecnologica, bensì istituzionale. Che poche aziende decidano da sole il ritmo, le regole e i rischi di una tecnologia che riguarda tutti: questo è il vero problema, ed è già in corso. Non abbiamo vietato il motore a scoppio: abbiamo inventato la patente, il codice della strada, l'assicurazione obbligatoria, i limiti di velocità, le cinture di sicurezza, l'air bag e molte altre cose, così che un'auto di oggi è molto più sicura di una del 1950, pur andando molto più veloce. Il limite di velocità è stabilito dal legislatore, non dalla casa automobilistica. Tradotto: controlli indipendenti prima del rilascio, con accesso ai sistemi garantito dalla legge e non dalla cortesia dell'azienda. Responsabilità civile chiara: in Europa il software immesso sul mercato dopo il 9 dicembre 2026, e quindi anche l'IA, è un prodotto come un frigorifero (direttiva 2024/2853), e chi lo produce risponde dei difetti senza che la vittima debba dimostrare la colpa, anche se resta a suo carico provare il danno, il difetto e il nesso fra i due. L'AI Act da applicare, invece di rinviare: a luglio l’Europa ha spostato al 2 dicembre 2027, 16 mesi più tardi, le norme sui sistemi ad alto rischio dell’allegato III, ed è il segnale opposto a quello che serve. Un interruttore per legge che indichi chi può spegnere che cosa e in che tempo. E il divieto di collegare agenti a infrastrutture critiche senza un essere umano che comandi, human in command, non che si limiti a guardare. Il vecchio motto della Silicon Valley, move fast and break things, va rovesciato: move slowly and don’t break anything. Lo abbiamo già fatto con le automobili, con gli aerei, con i farmaci.

Chi detiene la responsabilità morale per i comportamenti dell'IA?

La macchina mette in pratica; la responsabilità è di chi decide. La ragione è strutturale. Essere moralmente responsabili richiede due condizioni: capire quello che si fa e poterne rispondere, cioè poter essere biasimati o puniti in modo che ciò abbia senso. Un sistema che agisce senza capire non soddisfa la prima condizione, e la seconda si svuota: "punire" un modello significa aggiornarlo o spegnerlo. Si chiama manutenzione, non giustizia. Con Jeff Sanders, più di 20 anni fa, ho sostenuto che gli agenti artificiali possono essere fonti di bene e di male, e che, in questo senso, se ne può rendere conto: si può dire che cosa hanno fatto e correggerli. Ma dire che un sistema ha fatto del male e correggerlo non è ancora chiamare qualcuno a risponderne: la prima cosa la si può fare anche con un agente che non capisce. La seconda no. La responsabilità resta sempre e solo umana e si distribuisce lungo tutta la catena: chi progetta, chi addestra, chi testa, chi rilascia, chi integra il sistema in un ospedale o in una rete elettrica, chi lo usa e chi, potendo scrivere le regole, non le scrive. Qui sta il vero pericolo: gli esseri umani che si nascondono dietro la macchina. Quando la responsabilità è di tutti, la colpa tende a diventare di nessuno, perché ogni anello della catena crede di aver fatto il proprio dovere, ma il danno c’è lo stesso. È un problema che ho chiamato responsabilità distribuita senza colpa, e non si risolve a posteriori.

Come si può superare questa criticità?

Si risolve prima, per legge, assegnando in anticipo le responsabilità, come facciamo da decenni con le attività pericolose. Il codice civile italiano, all'articolo 2050, stabilisce che chi svolge un’attività pericolosa risponde dei danni, a meno che non provi di aver adottato tutte le misure idonee a evitarli. Se un’industria dichiara al mondo che la propria attività è pericolosa, addirittura letale per l’umanità, ha appena descritto il regime di responsabilità a cui dovrebbe rispondere. Non è una responsabilità senza scampo: chi adotta tutte le misure idonee non risponde. Ed è esattamente questo il punto, perché è un regime che premia chi si organizza per non fare danni. Potrebbero partire da lì.

Cosa ne pensa delle ultime prese di posizione di Amodei? È tutto marketing o davvero dovremmo fermarci?

Prima i fatti. Sabato 12 settembre, Amodei ha pubblicato un saggio, We Must Pace the Frontier, in cui sostiene che bisogna rallentare il ritmo di miglioramento delle capacità dei modelli. Poi due ragioni: da quest’estate il progresso ha accelerato, perché i modelli sono sempre più usati per costruire i modelli successivi, e l'incidente di Hugging Face, dal quale deriva il timore che entro 6 o 12 mesi un insieme di agenti possa prendere il controllo dell’intera Internet. Infine propone tre passi: valutatori esterni permanenti all’interno delle aziende, con accesso paragonabile a quello dei dipendenti, scrivania e badge inclusi (e Anthropic si impegna da sola a farlo); un coordinamento fra le aziende dei paesi democratici su standard e ritmo, per il quale chiede ai governi deroghe all’antitrust; e un negoziato con la Cina, dal divieto di usare l’AI per produrre armi biologiche fino a un limite di velocità sull’auto-miglioramento. Nel giro di poche ore, Altman ha detto che OpenAI è d’accordo e farà lo stesso con i valutatori, e Musk ha scritto tre parole: "Dario ha ragione". Domenica 13, alla CBS, Amodei ha aggiunto che per troppo tempo l'industria ha mentito al pubblico sui rischi. Non è tutto marketing, ma fermarsi non è la risposta: entrambe le alternative sono sbagliate. Il saggio è qualcosa di più interessante: è politica. Amodei propone ai governi le condizioni entro le quali la sua industria accetta di essere regolata. Dice anche, ed è vero, che la strada migliore sarebbe una legge federale uguale per tutti. Giusto, ma non va fatta scrivere dall'industria a cui deve essere applicata.

Qual è il suo giudizio su queste proposte?

Sono necessarie tre osservazioni. Primo, l'ammissione è benvenuta e tardiva, e in qualsiasi altro settore avrebbe conseguenze: quando un'industria dichiara di aver mentito sui rischi del proprio prodotto, rischi che essa stessa definisce catastrofici, il seguito non sono gli applausi ma gli ispettori, ed è andata così con il tabacco e con i farmaci. Secondo, il meccanismo. Valutatori invitati dall'azienda, regolati da un contratto con l'azienda, la stessa l'azienda che conserva il diritto di oscurare le informazioni "commercialmente sensibili". Potranno pubblicare senza censura e perfino dire in pubblico se un’omissione ha tolto qualcosa di sostanziale. Ci mancherebbe, ed è un passo avanti. Ma il controllore invitato dal controllato è un ospite, non un ispettore. Applichiamo realmente il paragone che Amodei stesso sceglie, quello con i supervisori bancari: i supervisori nelle banche non sono ospiti, ci stanno per legge, con poteri di ispezione e di sanzione, e nessuno li ha invitati. Se l'idea è buona, e potrebbe esserlo, la strada è quella. Infine, la geografia. Il saggio chiede di rallentare, ma non tanto da perdere il vantaggio sulla Cina, e una deroga all’antitrust perché le poche aziende della frontiera possano accordarsi tra loro sul ritmo. In qualunque altro mercato un accordo fra concorrenti sul ritmo dell’innovazione ha un nome preciso, e l'antitrust esiste per impedirlo. Quel coordinamento va fatto, ma devono farlo i parlamenti e le autorità pubbliche, con regole uguali per tutti, non per le aziende con un permesso speciale.

Quindi non dobbiamo fermarci nello sviluppare l'intelligenza artificiale?

No, dobbiamo smettere di fare due cose: rilasciare sistemi che nessun terzo indipendente ha potuto verificare e raccontare fantascienza mentre lo facciamo. Il saggio è un punto di partenza per i legislatori, ma anche un allarme. Chi redige le condizioni della propria regolamentazione ha già un potere che nessuna industria dovrebbe avere. Un legislatore serio prende nota, ringrazia e scrive le proprie condizioni. Almeno in Europa.