Studente ammanettato per un errore dell’IA: ha scambiato un pacco di patatine per una pistola
Taki Allen, studente del Kenwood High School di Baltimore County, Maryland, aveva appena finito l'allenamento di football quando ha visto una squadra di agenti correre verso di lui con le pistole puntate. In pochi secondi lo hanno immobilizzato, fatto inginocchiare e ammanettato. Hanno poi perquisito lo zaino trovando solo un pacchetto di patatine.
Proprio quel pacchetto è stato l'origine di tutto. Ad attivare l'allarme è stato infatti un sistema di sicurezza alimentato con l‘intelligenza artificiale che ha ha scambiato un sacchetto di Doritos per una pisola, facendo partire la chiamata di emergenza alle forze dell'ordine. "Mi sono spaventato, ho visto la pistola puntata verso di me e sono arrivare circa otto auto della polizia", ha raccontato Allen alla rete locale WBAL.
Il sistema che ha scambiato un sacchetto di patatine per un’arma
Il sistema di rilevamento armi basato su IA è operativo nelle scuole pubbliche della contea dal 2023 ed è stato sviluppato dall’azienda Omnilert. Il software analizza in tempo reale le immagini delle telecamere di sicurezza per individuare pistole o armi. Ogni segnalazione dovrebbe essere verificata da operatori umani prima di allertare le forze dell’ordine. In questo caso, però, qualcosa non ha funzionato. Gli operatori scolastici hanno ad annullare l’allerta, ma la chiamata d’emergenza era già stata inoltrata, facendo scattare l’intervento della polizia.
“È stato un errore grave e profondamente spiacevole”, ha dichiarato la sovrintendente Myriam Rogers, durante una conferenza stampa. “Il nostro obiettivo è garantire la sicurezza degli studenti, non metterli in situazioni traumatiche come questa.”
Cosa insegna il caso Kenwood
L'incidente ha messo in luce un problema più ampio: in nome di una presunta sicurezza si stanno adottando sistemi di intelligenza artificiale che sbagliano troppo spesso. Lamont Davis, nonno di Allen, ha chiesto che vengano adottate misure correttive: “Qualcosa va fatto, devono esserci dei cambiamenti e chi ha sbagliato deve rendere conto”.
Anche i membri del consiglio della contea, Izzy Patoka e Julian Jones, hanno chiesto una revisione delle procedure legate all’uso dell’intelligenza artificiale per la sicurezza. “Nessun bambino del nostro sistema scolastico dovrebbe essere fermato dalla polizia per aver mangiato un sacchetto di Doritos”, ha scritto Patoka sui social media.
L’episodio riaccende il dibattito sul rapporto tra tecnologia e sicurezza, e su quanto sia davvero affidabile lasciare la prevenzione della violenza armata nelle mani di algoritmi che, come in questo caso, non distinguono una pistola da un sacchetto di Doritos
