2. Introductie
• Evolutie aanraakschermen
– Ondersteuning voor multitouch
– Nieuwe interactietechnieken zoals pinch-to-zoom
– Ze zijn overal
o.a. in gsm’s, GPS-toestellen, tablets en tabletops
Volgende mijlpaal:
Kunnen we gebruikers herkennen?
Bron foto: ZDNet.com.
3. Waarom identiteitsherkenning?
• Samenwerken op tabletops
– Bv. tekenen met aparte kleurinstellingen voor
iedereen
• Einde wachtwoorden: snelle accounttoegang
– Combinatie met cloud?
• Gepersonaliseerde browser
• Bestandstoegang
Foto uit Enriching Touch van Raf Ramakers.
4. Waarom identiteitsherkenning?
• Multiplayerspellen voor tabletops
– Complexe kaart- en bordspellen
– Nieuwe spelconcepten
– Naadloze scorebordintegratie
Screenshot uit Magic: The Gathering - Duels of the Planeswalkers 2012.
5. Bestaande identificatiesystemen
De infraroodring
werkt met tokens
Bootstrapper
werkt met schoenen
Carpus
werkt met handen
Afbeeldingen gebruiken materiaal van Dave Brasgalla, Everaldo Coelho en Mushii.
7. De infraroodring
• Gebruikers moeten een speciale ring dragen
• Elke ring zendt een uniek signaal uit met
Manchester-encodering
• Buurt van de ring = eigen aanrakingen
Foto’s afkomstig uit The IR Ring: Authenticating Users' Touches on a Multi-Touch Display.
9. Bootstrapper
• Gebruikers worden herkend via hun schoenen
• Camera onderaan de tabletop
• Plaatsing van schoenen en handen wordt
aangewend om aanrakingen te herkennen
Foto’s afkomstig uit Bootstrapper: Recognizing Tabletop Users by their Shoes en een demonstratievideo op YouTube.
11. Carpus
• Gebruikers worden herkend aan hun handen
• Overheadcamera registreert activiteit
Systeem ontworpen door Raf Ramakers,
masterstudent UHasselt
Foto’s afkomstig uit Enriching Touch.
12. Beperkingen van Carpus
• Niet alle posturen worden even goed herkend
• Ongeregistreerde gebruikers kunnen er niet
zomaar uitgefilterd worden
• Identificatiesnelheid: merkbare vertraging
– Vertraging van 0,5 tot 2 seconden
– Alternatieven zijn ook traag
Foto afkomstig uit Enriching Touch.
13. Voordelen van Carpus
In vergelijking met de IR-ring:
• Geen ring nodig
• Hand kan niet gestolen worden
In vergelijking met Bootstrapper:
• Andere schoenen dragen mag
• Identiteit kan moeilijk nagebootst worden
14. Carpus: werkwijze
• Een gebruiker raakt het scherm aan
1 Armen scheiden van de achtergrond
(huidsegmentatie)
2 Hand die aanraking
uitvoerde zoeken
3 Handanalyse: best
overeenkomende
gebruiker zoeken
gebruikt Local Binary Patterns
Foto’s afkomstig uit videobeelden die werden opgenomen voor Carpus.
15. Kan Carpus verbeterd worden?
Introductie van armtracking
Het plus-icoontje werd beschikbaar gemaakt door Gentleface.com onder een CC BY-NC-licentie.
16. Wat is armtracking?
• Carpus leeft in het moment
Gebruiker 5? Gebruiker 5? Gebruiker 2?
tijdsverloop
• Er wordt geen rekening gehouden met
eerdere resultaten voor dezelfde hand
17. Wat is armtracking?
• Wat als we eerdere resultaten konden linken?
Arm 1 Arm 1 Arm 1
Gebruiker 5? Gebruiker 5? Gebruiker 2?
Of gebruiker 5?
tijdsverloop
• Huidige frame zegt gebruiker 2, maar in het
verleden was het altijd gebruiker 5
18. Hoe armtracking realiseren?
• Armen over frames heen aan elkaar linken
– Gebruik van object tracking-algoritmes
Video tracking is the process of
locating a moving object (or multiple
objects) over time using a camera.
Bron: Wikipedia
• Opbouwen trackinggeschiedenis per arm
• Waarom volledige arm, niet de hand?
Makkelijker te tracken
Bron foto: cim.mcgill.ca
19. Trackinggeschiedenis
• Bevat vorige resultaten handanalyse
Armnummer Gebruikersnummer Aantal voorkomens
0 0 2
0 1 1
0 2 25
0 3 4
Fictief voorbeeld
• Wanneer betrouwbaar?
– Er is genoeg data voorhanden
“Totaal aantal voorkomens voor arm X ligt hoger dan Y”
– Er is een duidelijke winnaar
“Er bestaat een gebruiker voor arm X waarvan zijn aantal voorkomens minstens Y% van het totaal aantal
voorkomens voor die hand uitmaakt”
20. Armtracking: werkwijze
• In elk frame
– huidsegmentatie
– koppelen gevonden armen aan
armnummers Arm 3
• In frames tijdens of vlak na
touchinteracties
– als de uitvoerende arm te weinig
trackinggeschiedenis heeft:
• handanalyse uitvoeren
• resultaat in geschiedenis opslaan
21. Armtracking: werkwijze
• In frames tijdens touchinteracties
– Rapporteer identiteit van uitvoerende arm
• Te weinig trackinggeschiedenis?
Gebruik handanalyse van Carpus.
• Genoeg trackinggeschiedenis?
Geef de vaakst voorkomende gebruiker voor deze arm door.
