CONSERVATOIRE NATIONAL DES ARTS ET METIERS
CENTRE REGIONAL DE RHONE-ALPES
---
Mémoire présenté par
Gaël DUPERREY
---
Brain...
Plan
• Contexte
• Hypothèses
• Choix d’un matériel
• Expérimentations
• Usages
• Conclusion
2 / 31
Contexte Choix du Matér...
3 / 31
Contexte
• LIRIS (Laboratoire d’InfoRmatique en Image et Systèmes d’information)
• SICAL (Situated Interaction, Col...
4 / 31
Principe de fonctionnement
Source : brainpainting.net
Contexte Choix du MatérielHypothèses Expérimentations Conclus...
5 / 31
Cartes cognitives
Source : Impact Epilepsy
Source : pinterest.com
Contexte Choix du MatérielHypothèses Expérimentat...
6 / 31
Histoire
• 1875 : Richard Caton 1er enregistrement
cortex à nu
• 1929 : Hans Berger 1er enregistrement sur
cuir che...
7 / 31
Histoire
• 2000 : William H Dobelle : IND semi-
invasive couplée caméra / ordinateur
rend la vu à la un aveugle
• 2...
8 / 31
Objectifs / Hypothèses
• Universalité
• La BCI fonctionne t-elle avec tout le monde ?
• Activons-nous les mêmes zon...
9 / 31
Types d’Interfaces
Neuronales Directes
• Invasives
• Semi-invasives
• Non-invasives
Source : Graimann et al - 2011
...
10 / 31
Choix du matériel
• Investissement initial peu élevé
• Contraintes
• Le moins contraignant possible (simple d’util...
11 / 31
Emotiv EPOC
• EPOC / EPOC + / Insight
• Choix : EPOC
• 14 électrodes
• Solution saline
• WIFI
• 2 semaines
• 700 $...
12 / 31
Expérimentations
• Contraintes
• Début rapide
• Projet d’Etude 50 (PE50)
• Découverte de la technologie
• Ne pas a...
13 / 31
Protocole expérimental : 1
• Première session
• Premier contact (suite expressive)
• Mouvements du cube (suite cog...
14/ 31
Extrait d’une
expérimentation
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Vidéo sur Yout...
Panel utilisateur
• 17 personnes
• 14 hommes / 3 femmes
• Membres du PE50
• Membres du laboratoire
• Des volontaires (Ecol...
SUS
(System Usability Scale)
• Système normalisé
• Comparer des systèmes/interfaces
• Evaluation quantitative
• 10 questio...
SUS : Résultats
• Score : 62,35
• Minima 35
• Maxima 80
• Moyenne générale : 68
• Equivalent à un D : ok ou bien
• Echanti...
Résultats Impressions
• Casque peu confortable
• Demande beaucoup de concentration
• Frustration facile
• Technologie « am...
Résultats
données brutes SUS
• Le score SUS n’étant pas
probant, analyse des données
brutes
• Répartition des notes
• Prob...
20 / 31
Protocole expérimental : 2
• Suite cognitive
• Pousser / gauche
• Visualisation d’images (16)
• Imagination / Visu...
Résultats
Nombre d’action / utilisateur
• Maximum de 2 à 4
• 4 : association d’expressions faciales
• Optimal de 2
• 2/3 d...
Usages actuels et à venir
• Médicaux
• Sondages / marketing
• Récréatifs
• Artistiques
• Autres
22 / 31
Contexte Choix du ...
Médicaux
• Imagerie cérébrale
• EEG peut réaliser un
premier diagnostic
(Brainscope)
• Aide au handicap
• Accompagnement s...
Récréatif / Artistiques
• Mindflex (Mattel)
• Stillalive : Son of Nor
• Supplément d’âme
24 / 31
Source : Mattel
Source : ...
Récréatif / Artistiques
• Humain augmenté
• Necomimi
• Shippo
• Lisa Park « Eunoia »
25 / 31
Source : Lisa Park
Source : b...
Evolutions
• Domotique
• Commander des appareils
• Allumer/Eteindre une machine,
• Programmer des cycles…
• Big Data
• Sto...
Exemple d’application lampe
• Actions
• Pousser
• Gauche
• Serrer la mâchoire
• Limiter à une lampe
• Pour plus, penser me...
Limitations de notre
projection
• On se limite et on conçoit l’interface en
fonction des possibilités
• Menus déroulants a...
Conclusion
• Universalité
• Oui, mais…
• Degrés de réussite très variés
• Utilisabilité
• Oui, mais…
• Pas assez d’actions...
Conclusion
• Hors handicap, technologie trop immature
• Côté ludique plait, mais encore beaucoup de travail
• Approches :
...
Merci de votre attention.
31 / 31
Annexes
Neurosky
Source : Neurosky
Emotiv Insight
Source : Emotiv
ECoG
électrocorticographie
• Électrodes entre la dure-mère et le cortex
Sources : Wikimedia - Wikipedia
Système 10/20
Electrodes Emotiv EPOC
SUS : 10 questions
• Q1 : Je pense que je vais utiliser ce système fréquemment
• Q2 : Je trouve ce système inutilement com...
SUS : Méthode de calcul
• Pour les questions 1, 3, 5, 7 et 9, le score est la
valeur moins 1
• Pour les items 2, 4, 6, 8 e...
SUS : Résultats
SUS : Score / Mercantile / Adjective
Source : uxpajournal.org
Scénario OpenVibe
• Temporal filter : 12 Hz à 24 Hz (Bêta)
• Simple DSP : x²
Application Puzzle
Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI
Prochain SlideShare
Chargement dans…5
×

Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI

2 472 vues

Publié le

Présentation de support pour la soutenance d'ingénieur CNAM de Gaël Duperrey, du 10 juin 2015. Sujet du mémoire : "Brain Computer Interaction (BCI)
étude des dispositifs, choix, installation et mise en œuvre d’un ensemble de cas d’étude et leur évaluation"

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
2 472
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 415
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Soutenance mémoire d'ingénieur CNAM de Gaël Duperrey sur la BCI

  1. 1. CONSERVATOIRE NATIONAL DES ARTS ET METIERS CENTRE REGIONAL DE RHONE-ALPES --- Mémoire présenté par Gaël DUPERREY --- Brain Computer Interaction (BCI) étude des dispositifs, choix, installation et mise en œuvre d’un ensemble de cas d’étude et leur évaluation Soutenu le 10 juin 2015 --- JURY PRESIDENT M Christophe PICOULEAU Professeur des Universités CNAM Paris MEMBRES M Bertrand DAVID Professeur des Universités EC Lyon M René CHALON Maître de conférences EC Lyon M Claude GENIER Enseignant CNAM Lyon M Franck TARPIN-BERNARD Professeur des Universités Grenoble
  2. 2. Plan • Contexte • Hypothèses • Choix d’un matériel • Expérimentations • Usages • Conclusion 2 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  3. 3. 3 / 31 Contexte • LIRIS (Laboratoire d’InfoRmatique en Image et Systèmes d’information) • SICAL (Situated Interaction, Collaboration, Adaptation and Learning) • Trois thématiques de recherche : • EAIH (Environnements Informatiques pour l’Apprentissage Humain) • IHM (Interfaces Homme-Machine) • Systèmes interactifs adaptatifs • Volonté explorer / évaluer nouvelle interaction Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  4. 4. 4 / 31 Principe de fonctionnement Source : brainpainting.net Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  5. 5. 5 / 31 Cartes cognitives Source : Impact Epilepsy Source : pinterest.com Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  6. 6. 6 / 31 Histoire • 1875 : Richard Caton 1er enregistrement cortex à nu • 1929 : Hans Berger 1er enregistrement sur cuir chevelu • 1969 : Fetz, Schmidt & Baker : singes peuvent apprendre à contrôler entraînement par punition / récompenses • 1980 : Apostolos Gorgopoulos • loi mathématique traduisant direction déplacement du bras en fonction de l’activité cérébrale • Mouvement commandé par plusieurs zones du cerveau • 1990 : Phillip Kennedy : 1ère ICO intracorticale sur un singe • 1999 : décodage activité cérébrale des chats (Berkeley) : reproduire images vues Richard Caton Source : svs.kz Hans Berger Source : archee.qc.ca Source : Wikipedia Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  7. 7. 7 / 31 Histoire • 2000 : William H Dobelle : IND semi- invasive couplée caméra / ordinateur rend la vu à la un aveugle • 2005 : Matt Nagle : tétraplégique. Commander main artificielle • 2007/2008 : Kyoto : reconstruire images captées dans le cerveau • 2014 premier message télépathique entre deux humains Jens Naumann Source : Wikipedia Matt Nagle Source : quotesays.com Source : nouvelobs.com Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  8. 8. 8 / 31 Objectifs / Hypothèses • Universalité • La BCI fonctionne t-elle avec tout le monde ? • Activons-nous les mêmes zones cérébrales pour les mêmes activités ? • Pouvons-nous identifier les zones cognitives ? • Utilisabilité • Reproductibilité • Peut-on reproduire le fonctionnement dans le temps ? Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  9. 9. 9 / 31 Types d’Interfaces Neuronales Directes • Invasives • Semi-invasives • Non-invasives Source : Graimann et al - 2011 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  10. 10. 10 / 31 Choix du matériel • Investissement initial peu élevé • Contraintes • Le moins contraignant possible (simple d’utilisation) • Rapidement disponible • Compatible OpenVibe • Solutions • OpenVibe propose 16 constructeurs • Choix • Solution sans gel • Amplificateur intégré • Grand public : Neurosky / Emotiv Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  11. 11. 11 / 31 Emotiv EPOC • EPOC / EPOC + / Insight • Choix : EPOC • 14 électrodes • Solution saline • WIFI • 2 semaines • 700 $ • Applications • Panneau de contrôle • Kit de développement • Ludiques Source : Emotiv Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  12. 12. 12 / 31 Expérimentations • Contraintes • Début rapide • Projet d’Etude 50 (PE50) • Découverte de la technologie • Ne pas abuser du temps des testeurs • Choix • Utilisation applications d’Emotiv • Panneau de contrôle • Démonstration (Montagne aux esprits) • OpenVibe : Visualisation topographique Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  13. 13. 13 / 31 Protocole expérimental : 1 • Première session • Premier contact (suite expressive) • Mouvements du cube (suite cognitive) • Choix des mouvements • Entraînement par paliers • Démonstration (montagne aux esprits) • Suite cognitive • Questionnaires • Deuxième session • Reproduire mouvements du cube • Re-entraînement / Re-initialisation • Démonstration • Suite Cognitive • Questionnaires Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  14. 14. 14/ 31 Extrait d’une expérimentation Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages Vidéo sur Youtube : https://youtu.be/LJ6iCIroE2c
  15. 15. Panel utilisateur • 17 personnes • 14 hommes / 3 femmes • Membres du PE50 • Membres du laboratoire • Des volontaires (Ecole Centrale, EM) • Origines diverses (France, Chine, Togo) • Classes d’âges variées de 18 à plus de 50 ans) 15 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  16. 16. SUS (System Usability Scale) • Système normalisé • Comparer des systèmes/interfaces • Evaluation quantitative • 10 questions issues de 50 • Echelle de Likert (5 points) • « pas du tout d’accord (1) » à « Tout à fait d’accord (5) » • Si on ne sait pas, on répond « 3 » • Méthode de calcul définie • Score sur 100 16 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  17. 17. SUS : Résultats • Score : 62,35 • Minima 35 • Maxima 80 • Moyenne générale : 68 • Equivalent à un D : ok ou bien • Echantillon succinct • Plus adapter pour comparer • Interfaces entres elles • IHM • Pas pour évaluer une technologie seule 17 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  18. 18. Résultats Impressions • Casque peu confortable • Demande beaucoup de concentration • Frustration facile • Technologie « amusante » • Difficile à appréhender initialement • Applications ludiques plus simples, plus appréciées • Perspectives : • Aide au handicap • Jeux vidéo • Contrôle d’appareils • Remarque : questionnaire trop immature 18 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  19. 19. Résultats données brutes SUS • Le score SUS n’étant pas probant, analyse des données brutes • Répartition des notes • Problème pour la note 3 suite instructions SUS • Un autre questionnaire plus adapté serait plus pertinent 19 / 31 • Q2 : Je trouve ce système inutilement complexe. • Q3 : Je pense que ce système est facile d’utilisation. • Q4 : Je pense que j’aurais besoin d’une assistance technique pour utiliser ce système. Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  20. 20. 20 / 31 Protocole expérimental : 2 • Suite cognitive • Pousser / gauche • Visualisation d’images (16) • Imagination / Visualisation • Images • Serrer la mâchoire • Mouvements du cube (pousser/gauche) • Yeux ouverts/fermés • Panel réduit : 5 personnes • 2 séances : comparaison des observations Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  21. 21. Résultats Nombre d’action / utilisateur • Maximum de 2 à 4 • 4 : association d’expressions faciales • Optimal de 2 • 2/3 des testeurs ont du ré-entrainer • 1/3 a du réinitialiser et entrainer • Problème sans stimulus • Très peu de réussite dans l’application « Suite cognitive » d’affichée. 21 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  22. 22. Usages actuels et à venir • Médicaux • Sondages / marketing • Récréatifs • Artistiques • Autres 22 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  23. 23. Médicaux • Imagerie cérébrale • EEG peut réaliser un premier diagnostic (Brainscope) • Aide au handicap • Accompagnement santé • Gestion du stress par détection et diffusion de musique. Neuroplasticité. (myBrain) 23 / 31 Source : BrainScope Source : myBrain Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  24. 24. Récréatif / Artistiques • Mindflex (Mattel) • Stillalive : Son of Nor • Supplément d’âme 24 / 31 Source : Mattel Source : Studio Stillalive Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  25. 25. Récréatif / Artistiques • Humain augmenté • Necomimi • Shippo • Lisa Park « Eunoia » 25 / 31 Source : Lisa Park Source : braincorner.com.tw Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  26. 26. Evolutions • Domotique • Commander des appareils • Allumer/Eteindre une machine, • Programmer des cycles… • Big Data • Stocker profils • Usage médical • Sondages / Marketing • Smartcities • Adapter la ville en fonction des ressentis usagers • Complément d’interaction avec des mobiliers urbains (Abribus interactif…) 26 / 31 Abribus Interactif de la ville de Paris Source : cio-online.com Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  27. 27. Exemple d’application lampe • Actions • Pousser • Gauche • Serrer la mâchoire • Limiter à une lampe • Pour plus, penser menus déroulants offrant des choix • Validation suivant un délai 27 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  28. 28. Limitations de notre projection • On se limite et on conçoit l’interface en fonction des possibilités • Menus déroulants avec validation de choix • Multimodalité • Géolocalisation • Adaptation de notre besoin à la technologie et non l’inverse 28 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  29. 29. Conclusion • Universalité • Oui, mais… • Degrés de réussite très variés • Utilisabilité • Oui, mais… • Pas assez d’actions (vocabulaire) • Latence • faux positifs • Reproductibilité • Oui, mais… • Aléatoire suivant publics • Beaucoup d’entrainements nécessaires (manque de naturalité) 19 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  30. 30. Conclusion • Hors handicap, technologie trop immature • Côté ludique plait, mais encore beaucoup de travail • Approches : • multimodale • Supplément d’âme • Fonctions cognitives : résolution trop faible (appareil et EEG) • Guide apprentissage / Méthodologie utilisation • OpenEEG / OpenBCI • Electrodes manquantes pour utiliser plus pleinement OpenVibe et ses démo • Cibler fonction cognitive pour limiter usage à quelques électrodes, à un signal précis • On perçoit les utilités, possibilités. 30 / 31 Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
  31. 31. Merci de votre attention. 31 / 31
  32. 32. Annexes
  33. 33. Neurosky Source : Neurosky
  34. 34. Emotiv Insight Source : Emotiv
  35. 35. ECoG électrocorticographie • Électrodes entre la dure-mère et le cortex Sources : Wikimedia - Wikipedia
  36. 36. Système 10/20
  37. 37. Electrodes Emotiv EPOC
  38. 38. SUS : 10 questions • Q1 : Je pense que je vais utiliser ce système fréquemment • Q2 : Je trouve ce système inutilement complexe • Q3 : Je pense que ce système est facile d’utilisation • Q4 : Je pense que j’aurais besoin d’une assistance technique pour utiliser ce système. • Q5 : Je trouve que les nombreuses fonctions de ce système ont été bien intégrées • Q6 : Je trouve qu’il y a trop d’incohérences dans ce système • Q7 : J’imagine que la plupart des personnes pourrait apprendre à utiliser ce système rapidement • Q8 : J’ai trouvé ce système très lourd à utiliser • Q9 : Je suis très confiant(e) dans l’utilisation de ce système • Q10 : J’ai dû apprendre beaucoup de choses avant de pouvoir faire fonctionner ce système.
  39. 39. SUS : Méthode de calcul • Pour les questions 1, 3, 5, 7 et 9, le score est la valeur moins 1 • Pour les items 2, 4, 6, 8 et 10, le score est 5 moins la valeur • Faire ensuite le total des scores et multiplier par 2,5 pour obtenir le score SUS qui varie de 0 à 100
  40. 40. SUS : Résultats
  41. 41. SUS : Score / Mercantile / Adjective Source : uxpajournal.org
  42. 42. Scénario OpenVibe • Temporal filter : 12 Hz à 24 Hz (Bêta) • Simple DSP : x²
  43. 43. Application Puzzle

×