La comunicazione remota tra sordociechi

Il Progetto PARLOMA si propone lo studio e lo sviluppo di un prototipo per la comunicazione remota fra persone affette da sordocecità.

In particolare mira a progettare e sviluppare un sistema per la comunicazione a distanza tra Sordociechi e Sordociechi, Sordociechi e Sordi e fra Sordociechi e udenti con la conoscenza della lingua dei segni.

Il principio è di creare un sistema in grado di trasferire il linguaggio dei segni in remoto, in modo tale che un sordocieco ricevente sia in grado di comprendere il messaggio trasmesso da un segnante. Il segnante comunica ricorrendo al linguaggio dei segni, il sistema cattura, elabora il contenuto sintattico, e fornisce l'output in linguaggio dei segni tattile. L'output è inviato attraverso il web e ricevuto dal destinatario in grado di comprendere il messaggio mediante un’interfaccia basata su braccia e mani robotiche antropomorfe.

La pipeline del sistema prevede l’acquisizione del messaggio segnato mediante l’utilizzo di tecnologie per la cattura del movimento, quali Kinect, telecamere e sistemi sofisticati per l’acquisizione (Cypergloves, sensori inerzialiMEMS). L’utilizzo di algoritmi per il filtraggio e la classificazione del movimento consentirà di riconoscere il segno acquisito, e di generare una rappresentazione intermedia contenente informazioni di carattere linguistico e articolatorio. Questo formato, definito per la Lingua Italiana dei Segni e utilizzato in altri progetti nell’ambito della linguistica computazionale, è particolarmente adatto alla memorizzazione del segnato e alla sua trasmissione. Il sistema invierà il messaggio così convertito a un modulo di ricezione, in grado di generare comandi per la mano robotica la quale riprodurrà il segnato in TactualSign Language. Il soggetto ricevente potrà comprendere il messaggio toccando la mano robotica.

L’obiettivo è quindi tradurre il messaggio da Sign Language a TactualSign Language sfruttando i forti tratti linguistici comuni tra le due lingue.

Il progetto PARLOMA ha visto una fase di sperimentazione iniziale. Un individuo sordocieco è stato sottoposto a un test di riconoscimento del fingerspelling. Il fingerspellingè un segnato che sfrutta le forme della mano (handshapes) per effettuare la traduzione uno a uno lettera-handshape. Al soggetto sono state presentate le lettere dell’alfabeto e alcune semplici parole tradotte in fingerpelling mediante una mano robotica antropomorfa progettata per essere utilizzata come protesi. L’esperimento ha dato risultati incoraggianti in quanto il soggetto ha riconosciuto il 90% delle lettere riproducibili dalla mano e la totalità delle parole sottoposte e riproducibili con tali lettere. Il 10% delle lettere dell’alfabeto sono risultate non riproducibili a causa di limitazioni hardware della mano. Questo esperimento costituisce un primo risultato incoraggiante sulla fattibilità del progetto PARLOMA. Inoltre ha dimostrato, in base ai feedback ottenuti dal soggetto, l’effettiva rilevanza di un sistema di questo tipo e il notevole impatto che questo può avere nella comunità sordocieca.