Introduction to eye tracking technology, basic working principles behind the technology, and several examples of research and applications of eye tracking. More information can be found here: http://sunu.staff.ugm.ac.id

1. Eye Tracking:
Teknologi dan Implementasi
Dr. Sunu Wibirama
2016.06.04
1

2. Sunu Wibirama
1/18/16
2
Education
❑ 2008 – now : Lecturer in Department of Electrical Engineering
and Information Technology, UGM, Yogyakarta
❑ 2015 : Visiting researcher in Tampere Unit for
Computer-Human Interaction (TAUCHI),
Tampere University, Finland
❑ 2014 Dr.Eng. Science and Technology Tokai University, Tokyo, Japan
❑ 2010 M.Eng Electronics Engineering KMITL, Bangkok, Thailand
❑ 2007 B.Eng. Electrical Engineering UGM, Yogyakarta, Indonesia
❖ User Experience and Behavioral Research
❖ Eye tracking applications
❖ Virtual and augmented reality technology
❖ Technology commercialization
Positions
Interests

3. Academic and Industrial Partners
University of
Tampere
Finland
Tokai University
Japan
G-Force CRC LLC
San Diego, US
Division of Digital Business
PT. Telkom Indonesia, Tbk.
TUV Rheinland
Indonesia
Shibaura Institute of
Technology
Japan
EMC-Neuromarketing
Indonesia

5. Apa itu Eye dan Gaze Tracking?
▪ Perangkat elektronik yang berfungsi untuk
mendeteksi :
(1) gerakan bola mata (eye tracking)
(2) atensi / arah pandangan kita
(gaze tracking)
▪ Keluaran dari eye tracking :
2D (horizontal, vertical)
3D (horizontal, vertical, torsional)
▪ Keluaran dari gaze tracking :
2D (horizontal, vertical)
3D (horizontal, vertical, depth)
Eye
tracking
Gaze
tracking

6. Apa teknologi di balik eye-gaze tracking
berbasis video processing ?

7. Teknologi dasar deteksi posisi
pupil
Dasar-dasar deteksi
pupil dengan teknik
pengolahan citra digital
Courtesy: S.Wibirama & K.Hamamoto

8. Pupil-Corneal Reflection
Courtesy: Jason Babcock
Courtesy: Aga Bojko
Vektor P-CR

9. Dari eye tracking ke gaze tracking
Mapping posisi pupil atau vektor P-CR ke target kalibrasi pada
monitor komputer
Proses kalibrasi 2D

10. Heat map + gaze sequences

11. Real-time fixation traces

12. Hirarki aplikasi eye-gaze tracking
Eye-gaze tracking
Interaktif dan Asistif Diagnosis dan deteksi
- Aplikasi game
- Kontrol komputer untuk difabel
(assistive technology)
- Virtual reality (teleconference
dengan joint attention)
- Deteksi vertigo dan kelainan lain
- Deteksi atensi pengguna
(user experience)
- Driving security (deteksi kantuk
pada pengendara mobil)
(A.T. Duchowski, 2010)
(sebagai alat masukan) (sebagai teknik analisa)

13. Studi kasus teknologi interaktif dan asistif:
gaze tracking untuk difabel
Pietro (52 tahun):
- web designer
- penyandang ALS (Amyotrophic lateral sclerosis)
- Komunikasi dengan iAble system
Referensi:
Majaranta, Päivi, Hirotaka Aoki, Mick Donegan, Dan Witzner Hansen, John Paulin Hansen,
Aulikki Hyrskykari and Kari-Jouko Räihä. "Gaze Interaction and Applications of
Eye Tracking: Advances in Assistive Technologies.” 1-382 (2012), accessed February 15, 2014.
doi:10.4018/978-1-61350-098-9
(Courtesy: SRLABS )

14. Studi kasus teknologi interaktif dan asistif:
gaze tracking untuk game
The Eye Tribe ($99 eye tracker)
- Mini remote eye tracker
- Untuk perangkat portabel ber-
basis android dan windows
- Port USB 3.0
Referensi:
http://www.damngeeky.com/2013/09/09/13887/the-
eye-tribe-tracker-initiates-hand-free-input-for-android-
devices-and-pcs.html Courtesy: Gaurav (damngeeky.com)

15. Studi kasus teknologi diagnosis dan deteksi:
Studi kegunaan (usability study)
Courtesy: Romano dan Chen (2011)

16. Studi kasus teknologi diagnosis dan deteksi:
video-oculography untuk diagnosa vertigo
Referensi:
S. Wibirama, S. Tungjitkusolmun, and C. Pintavirooj , “Dual-Camera
Acquisition for Accurate Measurement of Three-Dimensional Eye
Movements,” IEEJ Transactions on Electrical and Electronic Engineering,
Vol.8(3), 2013, pp. 238-246.
Nystagmus saat vertigo
Deteksi posisi pupil dan
gerakan torsi iris

17. G-Force CRC LLC
San Diego, US

18. 3D gaze point
Distance of screen 70 cm
screen
user
Referensi:
S. Wibirama and K. Hamamoto, “3D Gaze Tracking on
Stereoscopic Display using Optimized Geometric Method”,
IEEJ Transactions on Electronics, Information, and Systems,
Vol. 134 (3), 2014, pp. 345-352.
Studi kasus teknologi diagnosis
dan deteksi:3D gaze tracking
untuk mendeteksi motion sickness
saat melihat video 3D
Tokai University
Japan

19. 19
Headache
Increased
salivation
Eye strain
Stomach
awareness
Burping
Difficult
to focus
Vertigo
Sweating
Dynamic 3D contents
3D gaze tracking untuk mendeteksi motion
sickness saat melihat video 3D (1/3)
Referensi:
S. Wibirama and K. Hamamoto, "Investigation of Visually Induced
Motion Sickness in Dynamic 3D Content based on Subjective
Judgment, Heart Rate Variability, and Depth Gaze Behavior,"in
Proceeding of The 36th An- nual International Conference of the
IEEE EMBS, Chicago, United States of America, 26-30 August
2014, pp. 4803-4806.

20. 20
3D gaze tracking untuk mendeteksi motion
sickness saat melihat video 3D (2/3)
70 cm
39 cm
3D gaze tracker ECG recorder
Dynamic 3D content

21. sickness
ECG DATA
(Participant # 3 – CG movie no fixation)
DEPTH GAZE DATA
(Compared with Participant # 7)
3D gaze tracking untuk mendeteksi motion
sickness saat melihat video 3D (3/3)

22. “Fruit Ninja” Game (Half Brick Studios)
Participants: 10 participants (8M, 2F). Avg. 25,6 years old
Methods: Mobile eye tracking and Immersive Experience Questionnaire (IEQ)
Tools: iPhone 5 (4 inch) and Google Nexus 7 (7 inch)
Study kasus: analisis kelekatan pengguna mobile game
University of
Tampere
Finland

23. Dasar-dasar ilmu untuk riset eye tracking
▪Pengolahan citra digital (teknik)
▪Computer vision (teknik)
▪Matematika aljabar (teknik)
▪Interaksi manusia dan komputer (teknik)
▪Dasar anatomi mata (kedokteran)
▪Disain eksperimen (psikologi)
▪Statistika untuk riset perilaku (psikologi)
Riset-riset
dasar
Riset-riset
implementasi

24. Take home messages
▪ Eye tracking adalah perangkat elektronik untuk mendeteksi dan
menganalisa gerakan mata (sebagai alat deteksi / diagnosis).
▪ Eye tracking juga bisa dikembangkan untuk alat kendali komputer
berbasis gerakan mata (sebagai alat masukan).
▪ Eye tracking memiliki peran yang penting sebagai alat bantu untuk
difabel (penyandang cacat), alat diagnosa medis untuk penyandang
kelainan sistem penglihatan, maupun alat diagnosis untuk riset
perilaku (behavioral research)
▪ Riset eye-gaze tracking sangat potensial untuk dikembangkan di
Indonesia dengan segmentasi pengguna yang luas

25. Q and A
sunu@jteti.gadjahmada.edu
http://sunu.staff.ugm.ac.id
http://bit.ly/gazetracking
@SunuWibirama

26. Kontak Diskusi
Bagi yang ingin sharing dan diskusi lebih lanjut,
silakan hubungi:
• Twitter: @SocaResearch
• Email: soca.research@gmail.com
Bagi yang ingin bergabung dengan mailing list
kami (SOCA-research@googlegroups.com),
silakan hubungi admin kami di:
soca.research@gmail.com
Dengan Subject Email ”[Permohonan Subscribe
Milis]“
26

27. Seeing is believing. Listening is understanding. Sharing is inspiring.
27
© 2015