Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità
•
1 j'aime•8,570 vues
Presentazione della tesi di laurea inInformatica di Mario Lombardi svolta presso l'Università degli Studi di Napoli "Federico II". In questo lavoro si è voluto estendere lo sviluppo del progetto «Spoken House» di Informatici Senza Frontiere, basato sul framework Freedomotic, conferendo al sistema una nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da parte di utenti con disabilità. Il caso d'uso proposto punta a semplificare la vita agli utenti con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con persone che suonano al citofono della propria abitazione.
Recommandé
Recommandé
Contenu connexe
Tendances
Similaire à Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità
Similaire à Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità (20)
Plus de freedomotic
Plus de freedomotic (11)
Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità
- 1. UNIVERSITÀ DEGLI STUDI DI NAPOLI “FEDERICO II” Componentistica hardware e software coordinata da smartphone e destinata alla domotica per utenti con disabilità Relatore Prof. Piero Andrea Bonatti Correlatore Ing. Saverio De Vito Candidato Mario Lombardi Matr. N86000637 Corso di Laurea in Informatica Anno Accademico 2016/2017
- 2. Mario Lombardi - N86000637 2/15 MOTIVAZIONI E FINALITÀ: SOGGETTI COINVOLTI: • ENEA - Agenzia nazionale per le nuove tecnologie, l’energia e lo sviluppo eco-sostenibile; • ISF - Informatici Senza Frontiere ONLUS. • Estendere lo sviluppo del progetto «Spoken House» di ISF, conferendo al sistema una nuova e precisa direzione al fine di favorire l’interazione con l’ambiente domestico da parte di utenti con disabilità; • Realizzare un caso d’uso concreto. INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 3. Mario Lombardi - N86000637 IL PROGETTO SPOKEN HOUSE: • Applicazione mobile cross-platform in grado di interfacciarsi con un sistema domotico e agevolare utenti con disabilità visive e/o uditive nel controllo dei dispositivi presenti nell’ambiente domestico. • Applicazione Spoken House; • Framework Freedomotic, per la virtualizzazione dell’ambiente domestico; • Edificio antropizzato. LE COMPONENTI: 3/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 4. Mario Lombardi - N86000637 LA NUOVA IDEA DI SPOKEN HOUSE: • Interfaccia unificata per mezzo dell’applicazione “Spoken House” che, attraverso l’integrazione di micro-controllori, permette l’interazione di utenti diversamente abili (disabili visivi e/o uditivi) con un qualsiasi dispositivo domestico già presente in un’abitazione, non necessariamente <<domotizzata>>. IL CASO D’USO: • Utente con disabilità uditiva (parziale o totale) a cui risulta problematico interagire con persone che suonano al citofono della propria abitazione. 4/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 5. Mario Lombardi - N86000637 FASI DI SVILUPPO: • Creazione oggetto <<Citofono>> su Freedomotic; • Nuovo plugin Freedomotic per: o WebSocket; o Speech-to-Text e Text-to-Speech; • Integrazioni sull’ applicazione Spoken House; • Schema hardware prototipale. 5/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 6. Mario Lombardi - N86000637 CITOFONO COME AUTOMA A STATI FINITI: • Astrazione del funzionamento dell’oggetto reale; • Possibili stati: o Attesa; o Squillo; o Comunicazione; o Apertura. 6/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono (1) • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 7. Mario Lombardi - N86000637 OGGETTO CITOFONO SU FREEDOMOTIC: • File XML, per la definizione di caratteristiche e proprietà; • Classi Java, per la gestione del suo funzionamento oltre che per la definizione di vincoli. 7/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono (2) • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 8. Mario Lombardi - N86000637 PLUGIN PER FREEDOMOTIC: • Modulo per lo sviluppo e la gestione dei processi di funzionamento del caso d’uso. PERCHÈ WEBSOCKET? • Comunicazione bidirezionale e «full duplex»; • Sicurezza «origin-based»; • Trasmissione dati mascherata; • Semplificano le architetture applicative real-time; • E’ possibile implementarla in diversi linguaggi. 8/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket (1) • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 9. Mario Lombardi - N86000637 COMUNICAZIONE PER MEZZO DI WEBSOCKET: • Le classi: o FDWebSocket; o FDWebSocketHandler. • API Jetty; • Creazione e ricezione messaggi: o Il metodo OnMessage; o Formato JSON. 9/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket (2) • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 10. Mario Lombardi - N86000637 CONVERSAZIONE CITOFONICA: • Operazioni di Speech Recognition, da parlato a testo: • Google Cloud Speech API; • Possibilità per l’utente con disabilità uditiva di leggere ciò che dall’esterno viene detto. • Sintetizzazione vocale, da testo a parlato: • Integrazione del plugin MaryTTS; • Trasformazione in voce artificiale del testo che l’utilizzatore ha composto. • Si serve dei meccanismi di comunicazione implementati attraverso la WebSocket creata. Speech-To-Text Text-To-Speech 10/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 11. SCHEMA HARDWARE PROTOTIPALE: Mario Lombardi - N86000637 11/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 12. Mario Lombardi - N86000637 INTERFACCIA APPLICAZIONE SPOKEN HOUSE: • Interfaccia a quattro angoli; • Scambio di messaggi JSON con Freedomotic per mezzo di WebSocket; • Applicazione cross-platform, realizzata con Apache Cordova, utilizzando: o HTML5; o CSS3; o Javascript; o XML. • Gestione eventi legati al funzionamento del citofono. 12/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 13. Mario Lombardi - N86000637 TEST DI FUNZIONAMENTO: • Utente: • Audioleso Postverbale; • Apparecchio retroauricolare. • Componentistica utilizzata: • Raspberry Pi 3; • Freedmotic installato sul Raspberry; • Breadboard collegata al Raspberry, avente pulsante e led; 13/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 14. CONSIDERAZIONI: SVILUPPI FUTURI: • Sistema: o Passaggio da uno stato prototipale ad una messa in opera definitiva; o Rendere (semi)automatico il processo di rilevamento dei dispositivi domestici da parte di Spoken House (ZigBee/Z-Wave). • Conversazione citofonica: o Estensione del caso d’uso anche ad utenti non vedenti; o Perfezionamento del caso d’uso per i non udenti (pre-linguistici). • Maggior livello di concretezza raggiunto per il progetto «Spoken House» con realizzazione di uno scenario reale di utilizzo; • Il progetto realizzato sarà presentato ad ottobre al festival «Informatica e Tecnologie per un uso responsabile e ridurre le disuguaglianze». Mario Lombardi - N86000637 14/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine
- 15. GRAZIE A TUTTI PER L’ATTENZIONE! Mario Lombardi - N86000637 15/15 INTRODUZIONE • Committenti • Sistema da ampliare SVILUPPO • Oggetto citofono • Plugin e WebSocket • Speech-to-Text e TTS • Schema hardware • Interfaccia IL PROGETTO • Nuova idea • Fasi di sviluppo CONCLUSIONI • Test di funzionamento • Sviluppi futuri • Fine