ChatMinerva è la prima IA generativa italiana: l’abbiamo messa alla prova
;Resize,width=72;)
Ne avevamo parlato già nel 2024, quando il professore ordinario di Ingegneria Informatica e responsabile del centro di ricerca Sapienza NLP dell'Università La Sapienza di Roma, Roberto Navigli, ci aveva raccontato di Minerva, la famiglia di modelli linguistici in italiano, spiegandoci perché fosse importante costruire un'intelligenza artificiale che fosse davvero "nativa" della nostra lingua e della nostra cultura. Oggi quel progetto ha compiuto un salto importante: ChatMinerva è stato lanciato ufficialmente, è accessibile al pubblico, e noi di Fanpage.it lo abbiamo provato.
Cos'è ChatMinerva e come funziona
ChatMinerva è l'evoluzione di Minerva 7B, il modello presentato a novembre 2024, ed è stato sviluppato dal gruppo di ricerca Sapienza NLP in collaborazione con Babelscape, lo spin-off della Sapienza fondato proprio dal professor Navigli. Per ora è l'unico assistente AI sviluppato da un ateneo pubblico italiano con pieno controllo su ogni fase del processo, dall'addestramento iniziale alla moderazione dei contenuti, e un codice pienamente open-source, accessibile per ricerche e verifiche di sviluppo.
Addestrato su circa tre milioni di token, prevalentemente in italiano e inglese, questo modello è stato addestrato con la potenza di calcolo del computer Leonardo di Cineca per effettuare ricerche in tempo reale sul Web, analizzare immagini o allegati testuali, verificare la sicurezza della conversazione e gestire contesti molto lunghi (fino a 32 000 token se richiesto). Può anche compiere semplici calcoli, ma a differenza dei grandi concorrenti che abbiamo imparato a usare nella quotidianità – Gemini di Google e ChatGPT di OpenAI su tutti – non può salvare promemoria né generare immagini o schemi.
I punti di forza: ricerca di informazioni e analisi di testi
Abbiamo provato ChatMinerva confrontandolo con Gemini e ChatGPT. La prima cosa che si nota è l'interfaccia: pulita, ordinata, molto simile a quella dei chatbot a cui ormai siamo abituati. Solo la pagina di dialogo e una barra laterale con la cronologia delle interazioni. Nessun elemento di disturbo o complessità superflua.
Di fronte a richieste di informazioni lineari, ChatMinerva si comporta in modo puntuale. Abbiamo per esempio chiesto il meteo di Roma, come raggiungere il centro di Milano da una certa via e le date di inizio e di fine delle due Guerre Mondiali, ottenendo sempre risposte precise grazie alla connessione in tempo reale al web (sfrutta Google ma anche alternative come DuckDuckGo).
Il modello ha sfoderato un'ottima performance anche quando si è trattato di estrapolare dati e informazioni da un documento in italiano, ossia uno dei "cavalli di battaglia" di ChatMinerva. Abbiamo caricato un PDF contenente un report ISTAT sull'evoluzione demografica italiana dal 1862 al 2024. Il primo risultato è stato un riassunto scorrevole e ben strutturato del contenuto. Quando abbiamo chiesto un approfondimento sui dati, l'IA ha selezionato e presentato le informazioni più rilevanti in modo analogo a Gemini e ChatGPT. Tutto era molto chiaro e i dati riportati erano corretti.
Le difficoltà con numeri ed elaborati complessi
Proseguendo con i test abbiamo avuto modo di accorgerci anche di qualche incertezza. Benché gli sviluppatori e la stessa ChatMinerva (glielo abbiamo chiesto) affermino che il modello è in grado di compiere calcoli semplici, l'IA è incespicata su un quesito appena più complesso rispetto alle elementari operazioni aritmetiche.
Ai tre chatbot abbiamo chiesto: "Se in una squadra ci sono 6 giocatori con i capelli biondi e rappresentano il 30% del totale, da quanti membri è composta la squadra?". Mentre ChatGPT e Gemini hanno risposto correttamente "20", Minerva ha risposto "19". Palo. Questa discrepanza è dovuta a un errore in uno dei passaggi del calcolo. Il problema è che dopo averglielo fatto notare, l'IA ci ha dato ragione, ma ha ripetuto la medesima operazione – errore incluso – cambiando solo il risultato finale.
Un ulteriore punto interrogativo ha riguardato il riconoscimento delle immagini. Di fronte alla foto di un edificio storico, a differenza di Gemini e GPT non ha saputo riconoscere Palazzo Chigi né fornire informazioni generiche sullo stile architettonico.
Anche quando abbiamo provato a ottenere un breve testo analitico sulle origini dell'intelligenza artificiale, corredato di fonti, Minerva ha mostrato qualche difficoltà. Il riassunto prodotto era strutturato e coerente, ma al momento di citare le fonti il modello ci ha restituito un elenco puntato che includeva voci quanto meno curiose, come "annunci immobiliari in Romania" e "recensioni dettagliate su ristoranti locali". Un limite che, va detto, non è esclusivo di Minerva, visto che la gestione delle fonti resta un problema aperto anche per molti modelli più sofisticati.
D'altronde, come ammettono gli stessi sviluppatori del progetto, al momento ChatMinerva non è in grado di sfidare frontalmente i giganti del settore. Le risorse computazionali, i dati di addestramento e, soprattutto, gli investimenti di OpenAI o Google appartengono a un livello completamente differente. Questo strumento costruito in maniera trasparente, con fonti aperte e un modello linguistico italiano – addestrato su cultura italiana, con dati italiani, da ricercatori italiani – può comunque rappresentare una buona base di partenza per sviluppi futuri. Per il momento il suo orizzonte di manovra appare ancora piuttosto limitato, ma siamo solo agli inizi e, come ci aveva spiegato a suo tempo il professor Navigli, la possibilità di contare su un'IA nata e addestrata in italiano può ridurre le allucinazioni e gli errori dati dagli adattamenti linguistici. D'altronde Roma non è stata costruita in un giorno. Ce lo ha confermato anche l'IA di Minerva.
