L’IA di Meta fatica a riconoscere le immagini che lei stessa ha generato: basta un ritaglio per confonderla

Non è un gran momento per l'intelligenza artificiale di Meta. Soltanto pochi giorni fa l'azienda di Mark Zuckerberg era convinta di aver recuperato terreno sulle dirette concorrenti annunciando l'arrivo di Muse, la nuova famiglia di modelli IA per generare immagini e video in pochissimo tempo e con semplici istruzioni testuali. A poche ore dal lancio gli utenti hanno però iniziato a protestare perché il nuovo strumento, pensato soprattutto per essere integrato a Instagram, permetteva di utilizzare e modificare le foto pubblicate da altri profili senza che i proprietari delle immagini ne fossero informati o avessero dato il proprio consenso. Le critiche sono state così feroci che l'azienda ha prontamente deciso di tornare sui propri passi e rimuovere la funzione incriminata. Ora è sorto un nuovo problema.

Al momento del lancio di Muse, Meta aveva infatti spiegato che le immagini generate o ritoccate dal modello avrebbero incluso una filigrana invisibile – chiamata Content Seal– che uno strumento di rilevamento interno alla stessa Meta AI avrebbe prontamente identificato. Un'analisi eseguita dall'agenzia Reuters ha però dimostrato come questo tool sia molto meno efficace del previsto.

Come funziona il rilevatore di Meta

Quando un'immagine viene generata o modificata dall'IA, questa inserisce nei pixel che la compongono un piccolo dettaglio – la filigrana, appunto – invisibile all'occhio umano, che però è riconoscibile e decodificabile da un algoritmo appositamente addestrato. Grazie alle nuove leggi che stanno via via regolamentando i contenuti realizzati dall'intelligenza artificiale (in Europa, per esempio, abbiamo l'AI Act), tutte le grandi aziende impegnate nel settore si stanno dotando di un simile strumento di trasparenza per contrastare il fenomeno dei deepfake. La filigrana di Google, per esempio, si chiama SynthID ed è stata adottata anche da Open AI per i propri modelli GPT, dove viene affiancata alla nativa C2PA.

Content Seal di Meta funziona allo stesso modo. Quando Muse Image lavora su un'immagine le applica un watermark invisibile che il rilevatore di Meta dovrebbe riconoscere anche se il contenuto in questione è stato ritagliato, ridimensionato, compresso o acquisito tramite uno screenshot.

Il test che ha smascherato le lacune della filigrana

Per verificare il funzionamento del sistema, Reuters ha generato 40 immagini con Muse Image e le ha sottoposte allo strumento di rilevamento di Meta. I risultati sono stati contrastanti. All'inizio tutte le immagini originali erano state correttamente identificate come contenuti generati dall'intelligenza artificiale. Bastava però applicare un semplice ritaglio per mandare in crisi il detector. Secondo l'analisi, il sistema non è stato in grado di riconoscere il 55% delle stesse immagini una volta ridotte a circa un terzo o alla metà delle dimensioni originali. Un limite significativo, considerando che il ritaglio è una modifica estremamente comune nella condivisione di contenuti sui social network.

Dopo la pubblicazione di Reuters, l'azienda ha voluto precisare come quella distribuita questa settimana sia ancora una versione preliminare. Ha inoltre sottolineato che la filigrana è pensata per sopravvivere alle modifiche più comuni, ma che un ritaglio particolarmente esteso può compromettere il segnale incorporato e impedirne il riconoscimento. Anche alcuni esperti intervistati dalla stessa Reuters hanno confermato come il sistema delle filigrane, per quanto fondamentale per porre un argine ai deepfake, non sia mai del tutto infallibile. "I metodi basati su filigrane possono essere molto efficaci quando la filigrana rimane intatta, ma qualsiasi modifica che rimuova o indebolisca il segnale incorporato, come il ritaglio, il ridimensionamento, la compressione eccessiva o la modifica, può ridurne l'efficacia, a seconda di come è stata progettata la filigrana", ha affermato Siwei Lyu, professore di Informatica presso la State University of New York.