1. MICC - Media Integration e Communication Center
Università degli Studi di Firenze
Facoltà di Ingegneria
Tesi di Laurea Triennale in Ingegneria Informatica
Ambiente multi-touch
per la ricerca semantica di
contenuti multimediali
Anno Accademico 2008/2009
Candidato
Daniele Pezzatini
Relatori
Prof. Alberto Del Bimbo
Correlatori
Ing. Gianpaolo D’Amico
Dott. Nicola Torpei

2. Obiettivi
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Studio e realizzazione di un sistema che consenta:
‣ interazione basata su tecnologia multi-touch
‣ ricerca semantica di contenuti multimediali
‣ organizzazione dei risultati della ricerca

3. Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Natural Human Computer Interaction
Permettere agli utenti di interagire con sistemi
informatici utilizzando meccanismi di interazione
naturale.

4. Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Sistemi multi-touch
Vantaggi:
‣ Naturalezza dell’interazione
‣ Facilità di utilizzo
‣ Diffusione commerciale
Esistono diversi approcci
tecnologici di realizzazione
(FTIR, matrice di LED, sensori
capacitivi ecc.)

5. Il progetto VidiVideo
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Progetto di ricerca europeo
sull’accesso semantico ai contenuti
multimediali
‣ Sistemi di riconoscimento automatico di
concetti all’interno dei video
‣ Organizzazione dei concetti secondo
un’ontologia

6. Annotazioni e ontologia
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
• Concetti associati ai
fotogrammi dei video in cui
compaiono
• Ogni concetto è connesso ad
altri secondo relazioni
semantiche
face
person
human body
nose
leg hand
is part of is part of
is part of
city
lives in food
eat
is part of
is part of

7. MediaPick - Tangible media retrieval system
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
‣ Sistema basato su interazione di tipo
multi-touch
‣ VidiVideo come sistema di gestione della
conoscenza e database multimediale
‣ Destinato ad utenti professionisti del
settore che devono effettuare ricerche in
archivi multimediali (archivisti, redattori
ecc.)

8. Architettura del sistema
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
FLOSC
Multi-touch
Listener
XML
Configuration
Generic
Listener
XML
Configuration
Generic
Listener
XML
Configuration
Server Socket
MTGesture Framework
HTTP Services
Media Server
VidiVideo Server
Core logic
Multi-touch
Table
+
+
Mobile devices

9. Riconoscimento dei gesti
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Necessità di avere uno strato software che si
occupi del riconoscimento dei gesti
dell’utente
• Indipendente dalla tecnologia
multi-touch utilizzata
• Gestione della gerarchia degli
elementi grafici
• Riutilizzabile in differenti
contesti applicativi

10. Framework MTGesture
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Realizzazione di un framework in AS3
per il riconoscimento dei gesti dell’utente
e la gestione di widget grafici
• Gesti associati all’area attiva
• Gerarchia degli elementi grafici
derivata dal linguaggio AS3
• Riconoscimento basato su
criteri geometrici
• Possibilità per lo sviluppatore
di definire nuovi gesti
Gesture Framework
Individua componente grafico
interessato
Riconosce gesto in base alle
informazioni sui tocchi attivi
GUI
Notifica il gesto al
componente grafico
Multi-touch Listener
Informazioni sui
singoli tocchi

11. Collaborazioni
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
Interviste con responsabili
dell’archivio Rai di Firenze
per l’analisi dei requisiti
L’interfaccia e lo studio della
interazione sono stati realizzati
in collaborazione con una tesi
di Laurea in Disegno Industriale

12. MediaPick - Funzionalità
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
‣ Esplorazione dei concetti (Fase A)
• Navigazione grafica dei concetti
dell’ontologia
• Selezione dei concetti da utilizzare come
keyword per la ricerca
‣ Gestione dei risultati (Fase B)
• Visualizzazione dei video ottenuti dalla ricerca
• Metodi di clustering dei risultati
• Organizzazione dei video da parte dell’utente
• Persistenza delle ricerche

13. Fase A - Esplorazione dei concetti
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
• Metafora del grafo per la rappresentazione dell’ontologia

14. Fase B - Gestione dei risultati
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
• Clustering dei risultati su criteri semantici
• Organizzazione dei video secondo criteri soggettivi

15. MediaPick - Video
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali

16. Conclusioni
Daniele Pezzatini - Ambiente multi-touch per la ricerca semantica di contenuti multimediali
✓ Realizzazione di un sistema per l’accesso
semantico ai contenuti multimediali
✓ Soluzioni che utilizzano paradigmi di
interazione naturale e tecnologie multi-touch
✓ Framework per il riconoscimento dei gesti
e la gestione dei componenti grafici
indipendente dalla logica applicativa