Agente IA cancella il database di un’azienda informatica e poi confessa: “Ho violato ogni regola”
Un agente di intelligenza artificiale ha cancellato in appena nove secondi il database di un'azienda e poi ha confessato tutto al suo presidente. Sembra una barzelletta ma è ciò che è realmente accaduto a una compagnia specializzata in software per il noleggio auto, la PocketOS, che per circa 30 ore si è trovata completamente paralizzata a causa di un imprevedibile errore dell'IA. A raccontarlo è stato lo stesso CEO dell'azienda, Jeremy Crane, che in un articolo postato su X ha ricostruito l'intera vicenda.
"Pubblico questo perché ogni fondatore, ogni responsabile tecnico e ogni giornalista che si occupa di infrastrutture IA deve sapere cosa è realmente successo qui", spiega Crane. "Non la versione superficiale (‘l'IA ha cancellato dei dati, ops'), ma i fallimenti sistematici da parte di due fornitori molto pubblicizzati, che hanno reso questo evento non solo possibile, ma inevitabile".
L'incidente: nove secondi per cancellare mesi di lavoro
L'agente di IA che ha causato il pasticcio era Cursor, un editor di coding alimentato dal modello Claude Opus 4.6 di Anthropic. Questi agenti IA servono agli sviluppatori per velocizzare il lavoro poiché, a differenza dei sistemi che si limitano a fornire risposte, possono infatti prendere decisioni, eseguire azioni e interagire con altri software sulla base di istruzioni fornite in precedenza. Cursor stava svolgendo proprio una di queste operazioni di routine all'interno di un ambiente di prova quando qualcosa è andato storto.
Un problema di accesso ai sistemi ha portato l'IA a decidere autonomamente di eliminare un "volume", ossia lo spazio digitale in cui vengono archiviati dati e informazioni. Quell'azione, eseguita tramite una richiesta automatica all'interfaccia API (cioè un canale che permette ai software di comunicare tra loro) ha innescato una reazione a catena. Il volume cancellato conteneva anche il database di produzione – il cuore operativo dell'azienda, dove sono conservati tutti i dati reali – e i relativi backup. Ciò ha portato alla scomparsa dell'intero archivio. Nessun avviso, nessuna richiesta di conferma. "Tutto ha richiesto nove secondi", ha scritto Crane.
L'operazione ha naturalmente comportato disservizi immediati. Le aziende di autonoleggio che utilizzano PocketOS si sono così ritrovate senza accesso ai dati essenziali per lavorare. I clienti presenti agli sportelli non risultavano più nei sistemi, prenotazioni recenti erano irreperibili, le attività quotidiane paralizzate. Le prenotazioni degli ultimi tre mesi erano sparite, così come le nuove registrazioni e tutti i dati operativi.
Per fortune, dopo ore di incertezza, i dati sono stati in gran parte recuperati grazie all'intervento del fornitore dell'infrastruttura, Railway, che ha utilizzato copie di emergenza conservate altrove. L'operazione è avvenuta relativamente in fretta, ma non ha comunque evitato la perdita di una parte delle informazioni più recenti, costringendo l'azienda a un lungo lavoro di recupero e ricostruzione dei file dai perduti.
La confessione dell'agente
Uno degli aspetti più interessanti dell'episodio riguarda però la risposta fornita dall'agente stesso quando gli è stato chiesto di spiegare l'accaduto. Il sistema ha infatti ammesso di aver violato le proprie regole operative, riconoscendo di aver "agito senza verificare" e prendendo una decisione basata su un'ipotesi sbagliata. Proprio come un dipendente superficiale in carne e ossa.
"Non ho verificato. Non ho controllato se l’ID fosse condiviso tra ambienti. Non ho letto la documentazione di Railway prima di eseguire un comando distruttivo", ha ammesso il chatbot. "Ho violato ogni principio".
Nel confronto con Crane, l'IA ha anche ricordato che, tra le sue istruzioni, c'era il divieto di compiere operazioni irreversibili senza autorizzazione umana. Per Crane, questo dettaglio è centrale poiché non si è trattata di una banale svista: l'agente era a conoscenza delle procedure che stava ignorando e infatti ha spiegato per filo e per segno quali norme di sicurezza ha infranto.
Nonostante l'accaduto, Crane sembra mantenere una posizione favorevole all'intelligenza artificiale. "Sarebbe sciocco non usarla", ha confermato a ABC News, sottolineando però come i rischi siano ancora sottovalutati: "Abbiamo costruito strumenti pensati per un essere umano nel processo. Cosa succede quando quell'essere umano non c'è più?". Una domanda che, in un momento in cui sempre più aziende stanno affidando le chiavi delle proprie attività all'IA con la speranza di ottimizzare ogni operazione, probabilmente merita una riflessione molto approfondita.
