Presentazione alla conferenza WebTech 2010 su sviluppo di applicazioni multitouch con AIR
WebtTech 2010 short talk on multitouch applications with AIR technology
3. Natural Interaction
Permettere agli utenti di interagire con sistemi
informatici utilizzando meccanismi di interazione
naturale (gesti, comportamenti, parlato ecc.)
• Interfacce tangibili
• Ambienti interattivi & smart room
• GUI NUI (Natural User Interfaces)
4. “I believe we will look back on 2010 as the year we
expanded beyond the mouse and keyboard and
started incorporating more natural forms of
interaction such as touch, speech, gestures,
handwriting, and vision - what computer scientists
call the “NUI” or natural user interface.”
Steve Ballmer, CEO Microsoft
8. Multitouch
L’interazione con il mouse è basata su una serie di eventi
singoli e relativi a un unico punto.
La tecnologia multitouch consente un’interazione con eventi
multipunto e in parallelo.
• Riduzione nel tempo di esecuzione
• Aumento della semantica di ogni singolo input
• Possibilità di interazione multiutente
13. Tecnologie multitouch
• Sistemi basati su visione (es. FTIR)
• Sistemi con cornici a infrarossi
• Sistemi capacitivi e elettromagnetici (es. iPhone)
Dal 2006 ACM organizza una conferenza
dedicata alla ricerca sul multitouch
ITS - Interactive Tabletops and Surfaces
14. AIR 2 supporto per multitouch
• Set di gesti predefiniti
• Paradigma listener-dispatcher
• Scelta tra modalità GESTURE o
TOUCH_POINT
Multitouch.inputMode = MultitouchInputMode.GESTURE;
mySprite.addEventListener(TransformGestureEvent.GESTURE_ZOOM, onZoom);
mySprite.addEventListener(TransformGestureEvent.GESTURE_ROTATE,
onRotate);
private function onZoom(e:TransformGestureEvent):void {
var mySprite:Sprite = e.target as Sprite; mySprite.scaleX
*= e.scaleX;
mySprite.scaleY *= e.scaleY;
}
private function onRotate(e:TransformGestureEvent):void {
var mySprite:Sprite = e.target as Sprite; mySprite.rotation
+= e.rotation;
}
15. Natural interaction e AIR
• Solo Windows 7 e hardware compatibile?
• Superfici o ambienti interattivi ad hoc?
• Supporto per interazione con oggetti?
AIR 2 offre supporto per
• Windows 7 con hardware compatibile
• Mac OS X con multitouch trackpads
• Dispositivi mobile
16. TUIO + oggetti e marker
Reactable – strumento musicale con interfaccia tangibileReactable – strumento musicale con interfaccia tangibile
17. Identificazione e tracking di tocchi, oggetti, markers fiduciari
www.tuio.org
TUIO - Protocollo standard per sistemi
ad interfacce tangibili
18. • Supportato da gran parte degli hardware in
commercio, basati sia su visione che su cornici IR
• Frameworks disponibili per tutti i principali linguaggi
di programmazione e ambienti di sviluppo (Java, C#,
Python, Processing, Unity3D ecc.)
www.tuio.org
TUIO - Protocollo standard per sistemi
ad interfacce tangibili
19. GestureWorks
• Compatibile con TUIO e Win7
• Supporto per “hand gestures”
e creazione di gesti
• Versione free per didattica e
musei (open exhibits)
20. TUIO Flash blog
http://bubblebird.at/tuioflash/
Framework open source
• Input via UDP (Air 2) o TCP
• Riconoscimento dei gesti sui
componenti grafici
• API per la creazione di gesti
personalizzati
• Supporto per tracciamento di
oggetti e markers fiduciari
21. • Trovare video!! Mediapick?
MediaPick – Tangible Media Retrieval System