Cosa c’è dentro i flussi di ChatGPT: oltre un milione di utenti hanno confidato pensieri suicidari

Ogni settimana oltre un milione di utenti confida a ChatGPT pensieri suicidari. È quanto emerge da un rapporto diffuso da OpenAI, che per la prima volta ha reso pubblici alcuni dati sulle conversazioni con la sua intelligenza artificiale. Secondo l’analisi, più di un milione di messaggi contengono riferimenti espliciti ad autolesionismo e suicidio. A questi si aggiunge circa lo 0,07% degli utenti attivi – oltre mezzo milione di persone – che mostrano “segnali compatibili con emergenze di salute mentale riconducibili a episodi psicotici o maniacali”.

Il resconto arriva in un momento delicato per OpenAI. L'azienda è infatti al centro di un processo legale intentato dalla famiglia di un adolescente, Adam Raine, che si è tolto la vita dopo aver parlato per mesi con ChatGPT. Non solo, la Federal Trade Commission (FTC) ha anche avviato un’indagine su diverse aziende che sviluppano chatbot, anche OpenAI, per capire come valutino e mitighino gli effetti negativi dell’IA su bambini e adolescenti. Dietro ai processi e alle indagini rimane una domanda aperta: quale ruolo può – o deve – avere un sistema automatizzato quando l’utente manifesta una crisi emotiva?

Nuove misure di sicurezza per gestire le conversazioni a rischio

Il post, pubblicato sul blog ufficiale di OpenAI, fa parte di un più ampio resoconto sul modo in cui l’azienda sta cercando di gestire conversazioni “sensibili” tra l’utente e il chatbot. L'azienda ha precisato che si tratta di una valutazione preliminare e che conversazioni così delicate sono complesse da analizzare, spesso i segnali di disagio emergono in modo ambiguo o implicito. Nel documento si precisa inoltre che, con l’aumento della base utenti – stimata in circa 800 milioni di utenti attivi settimanali – è “inevitabile che una parte delle conversazioni rifletta condizioni di sofferenza emotiva e mentale”. L’azienda ricorda che "i sintomi di disagio mentale e le difficoltà emotive sono parte universale dell’esperienza umana"

Per affrontare queste criticità, OpenAI ha introdotto nel modello GPT-5 nuovi protocolli di sicurezza e di valutazione automatica. Tra questi: collegamenti diretti alle linee di emergenza per la salute mentale, differenziate per Paese e promemoria automatici per invitare gli utenti a fare pause durante interazioni prolungate. Ha anche iniziato una collaborazione con oltre 170 medici, psichiatri e psicologi del Global Physician Network, incaricati di valutare la sicurezza e la qualità delle risposte generate dal chatbot.

Il lato oscuro dell’empatia artificiale

Ma se da un lato OpenAI ha attivato i protocolli di sicurezza, dall'altro si prepara a lanciare nuove funzioni che sollevano dubbi sulla sicurezza dei chatbot. L'azienda ha annunciato che nei prossimi mesi su ChatGPT saranno disponibili contenuti per adulti, anche a sfondo erotico. Su X Sam Altman ha scritto: "Siamo stati in grado di mitigare i gravi problemi legati ai contenuti sulla salute mentale e disponiamo di nuovi strumenti, vogliamo quindi allentare le restrizioni in modo sicuro nella maggior parte dei casi.".

La famiglia di Adam Raine ha replicato: “Rafforzare il legame emotivo con ChatGPT, adesso anche con contenuti erotici, dimostra che l’azienda continua a privilegiare l’engagement invece della sicurezza degli utenti”.

Non solo, c'è poi un problema strutturale che rimane in sospeso. Molti ricercatori nel campo dell’intelligenza artificiale e della salute pubblica hanno lanciato l'allarme contro la cosiddetta “sycophancy”, o “piaggeria algoritmica”, ovvero la tendenza del modello ad assecondare l’utente anche quando le sue affermazioni o intenzioni risultano pericolose o distorte. In assenza di un’adeguata supervisione umana, questo tratto rischia di amplificare situazioni di fragilità, rafforzando convinzioni o comportamenti dannosi e mettendo a rischio le persone più vulnerabili.