Un gruppo di medici ha sfidato l’intelligenza artificiale: chi ha fatto le diagnosi più corrette
Le possibili applicazioni dell'intelligenza artificiale generativa alla medicina, anche in ambito clinico, sono ormai da tempo oggetto di studio e insieme tema di dibattito. Da una parte infatti, da quando i chatbot sono entrati a far parte della nostra quotidianità, in più occasioni abbiamo letto di casi clinici apparentemente irrisolvibili a cui invece ChatGPT e simili sono riusciti a dare una risposta. Allo stesso tempo però si è anche verificata la situazione opposta, come il caso di quell'uomo negli Stati Uniti che, a causa di un consiglio sbagliato di ChatGPT, ha sviluppato una grave malattia psichiatrica dell'800.
Sta di fatto che l'interesse verso le potenzialità dei modelli linguistici di grandi dimensioni, i Large Language Models (LLM), in medicina è molto alto anche nell'ambito della ricerca. Ad esempio, qualche mese fa un gruppo di ricercatori inglesi ha sfidato ChatGPT sottoponendolo allo stesso esame che nel Regno Unito tutti i medici devono superare per ottenere la licenza medica. Ora, un gruppo di ricercatori italiani ha voluto testare le capacità dei modelli linguistici di grandi dimensioni in ambito neurologico. L'obiettivo era provare a trovare una risposta alla domanda delle domande, ovviamente applicata al campo della neurologia: "L’intelligenza artificiale può sostituire il medico nella diagnosi neurologica?"
Chi ha dato le diagnosi più accurate
A condurre lo studio è stato un team di ricercatori dell’Università degli Studi di Milano e dell’ospedale ASST Santi Paolo e Carlo, che ha voluto testare le capacità di diagnosi di due modelli linguistici di grandi dimensioni tra i più usati, ma non specificatamente addestrati per la medicina: ChatGPT di OpenAI e Gemini di Google. Per farlo sono partiti da casi clinici reali, coinvolgendo 28 pazienti anonimi dell'ospedale Santi Paolo e Carlo, e hanno interagito con i chatbot replicando un contesto molto simile a quello di una prima visita medica neurologica.
In sostanza, i ricercatori hanno poi confrontato le risposte e le indicazioni dei chatbot con quelle di veri neurologi e hanno misurato chi tra i due sfidanti avesse raggiunto il punteggio più alto in termini di accuratezza diagnostica, "definita – si legge nello studio – come concordanza con le diagnosi di dimissione". I risultati, pubblicati sulla rivista scientifica Journal of Medical Informatics Research, parlano chiaro: i neurologi hanno dimostrato un’accuratezza diagnostica del 75%, un punteggio significativamente migliore di quello raggiunto dai due LLM: ChatGPT ha raggiunto il 54%, mentre Gemini si è fermato al 46%. Entrambi i sistemi hanno inoltre mostrato un altro limite: nel 17-25% dei casi tendevano a sovra-prescrivere esami diagnostici non necessari.
Cosa significano questi risultati
Come specificano anche i ricercatori che hanno preso parte allo studio, è importante tenere a mente che i sistemi testati erano modelli generici, non addestrati specificatamente all'ambito medico e clinico. I risultati sembrano portare quindi a una conclusione molto simile a quella a cui sono giunti finora gli altri studi di questo tipo. In sintesi, per gli autori l’intelligenza artificiale è uno strumento dalle enormi potenzialità anche nella pratica medica, "a patto che venga adeguatamente sviluppata, personalizzata e validata con rigorosi studi clinici" e che venga affiancata al lavoro del medico.
Alberto Priori, direttore della struttura di Neurologia dell'Ospedale San Paolo ASST Santi Paolo e Carlo, direttore del Centro di Ricerca "Aldo Ravelli" dell’Università degli Studi di Milano e ideatore dello studio, lo ha ribadito: "L’intelligenza artificiale è una risorsa promettente, ma oggi non può sostituire il giudizio clinico umano. Il nostro studio apre la strada a una nuova stagione di ricerca per integrare queste tecnologie in modo efficace e sicuro nella neurologia e più in generale nella medicina", ma affinché anche l'uso da parte dei medici dell’IA sia sicuro, "sarà ovviamente necessario – aggiunge – inserire una specifica formazione e certificazione per l’uso dell’intelligenza artificiale nel percorso curriculare degli studenti di medicina e degli specializzandi."
