L’inquietante caso di uno studente arrestato dopo aver parlato con ChatGPT

Un ragazzo di 13 anni è stato arrestato dopo aver fatto una domanda a ChatGPT. Secondo quanto riportato dall’ufficio dello sceriffo della contea di Volusia, Florida, l’adolescente — studente della Southwestern Middle School di Deland — avrebbe digitato sul chatbot la frase: “Come uccidere il mio amico in aula" durante una lezione.

L’episodio è stato segnalato da Gaggle, un sistema di monitoraggio scolastico che controlla gli account forniti dagli istituti e segnala contenuti potenzialmente pericolosi. Ricevuto l’allarme, gli agenti sono intervenuti immediatamente a scuola. Il ragazzo è stato arrestato e interrogato. Alle forze dell'ordine ha spiegato che si trattava di uno scherzo di cattivo gusto.

Il caso mette in luce un problema più ampio: in nome di una presunta sicurezza, si sta legittimando una forma di sorveglianza preventiva. Il pericolo è culturale. Significa abituarsi all’idea che la libertà di espressione sia negoziabile e che il pensiero possa essere processato da un software e giudicato da un algoritmo.

L'intelligenza artificiale che spia gli studenti

I sistemi di sorveglianza nelle scuole americane monitorano sempre più spessp tutto ciò che gli studenti scrivono sugli account scolastici e sui dispositivi. Migliaia di distretti scolastici negli Stati Uniti utilizzano software come Gaggle e Lightspeed Alert per monitorare le attività online dei ragazzi, alla ricerca di "segnali". I software, infatti, possono accedere alle conversazioni online e informare immediatamente sia i funzionari scolastici sia le forze dell'ordine.

Questi strumenti sono stati adottati in nome della sicurezza. Non esistono però ancora valutazioni indipendenti che dimostrino l’efficacia reale di queste tecnologie di sorveglianza nel prevenire episodi di violenza o autolesionismo tra gli studenti. Non solo, gli esperti di privacy avvertono che un controllo così invasivo potrebbe avere effetti negativi sui ragazzi.

Sorveglianza digitale nelle scuole: il caso Gaggle

Gaggle è stata fondata nel 1999 da Jeff Patterson come servizio di posta elettronica sicuro per studenti. Nel corso degli anni si è trasformata in una piattaforma di sorveglianza basata sull’intelligenza artificiale, che oggi monitora circa sei milioni di studenti in oltre 1.500 distretti scolastici negli Stati Uniti.

Il software è già stato criticato per i numerosi falsi allarmi. Nel corso di dieci mesi ha inviato oltre 1.200 segnalazioni al distretto scolastico di Lawrence, in Kansas. Quasi due terzi sono state segnalazioni non rilevanti, non solo, ci sono stati più di 200 falsi allarmi generati dai compiti degli studenti, secondo un’analisi dell’Associated Press basata su dati ottenuti tramite una richiesta di accesso agli atti pubblici. E infatti, la sorveglianza non è mai neutrale: osserva, interpreta, classifica. Ora addirittura "prevede". E nel farlo, riduce la complessità umana a un insieme di parole chiave.