It is a presentation of EEG, Evoked Potentials, P300 and the game Brain Invaders. Brain Invaders is a brain computer interface (BCI) application. Slides are in French.
3. Principe du jeu
JTCVAM 2017
Vous aller devoir tuer un alien parmi des dizaines d’autres uniquement en vous
concentrant sur lui ! Notre système d’analyse des signaux cérébraux se charge
du reste !
Pas de clavier, manette ou oculométrie !
5. JTCVAM 2017
Pour savoir comment ça marche….
1- Principes de base de l’éléctroencéphalographie
2- Les potentiels évoqués (ERP)
3- L’utilisation d’un potentiel évoqué particulier : le P300
4- Application au “P300 speller” et au jeu Brain Invaders
5- Les axes de recherche au GIPSA
7. JTCVAM 2017
Objectif de recherche : détecter chaque flash à partir du signal EEG
Exemple d’activité cérébrale : la réaction à une stimulation lumineuse
8. 2- Les potentiels évoqués (ERP)
JTCVAM 2017
Potentiels évoqués
visuels
Potentiel évoqués
auditifs
Réponses du cerveau à un stimulus externe (auditif, visuel, …)
ou à une tâche cognitive (mémoire, concentration, …)
9. 3- Le P300
JTCVAM 2017
Le P300 : signal cérébral positif ayant lieu ~300 ms après l’apparition d’un
stimulus rare, inattendu sur lequel le sujet est concentré.
Un bon candidat à la détection automatique d’un stimulus attendu par un
sujet!!
P300
10. Brain Invaders : un P300 speller simplifié !
JTCVAM 2017
P300 speller Brain Invaders !
Matrice de stimuli
Détection de P300 sur certains stimuli – On détecte un alien comme on détecte une lettre
11. 4- Application à l’écriture d’un texte par la pensée :
le “P300 Speller”
JTCVAM 2017
Objectif : écrire un texte en épelant chaque lettre.
Exemple lettre “H”
12. Principe d’utilisation
JTCVAM 2017
Mot que le sujet veut écrire = HELLO
Le sujet doit se concentrer sur chaque lettre l’une après l’autre…
A B C D E F
G H I J K L
M N O P Q R
S T U V W X
Y Z Sp 1 2 3
Il commence par la lettre H
13. JTCVAM 2017
A B C D E F
G H I J K L
M N O P Q R
S T U V W X
Y Z Sp 1 2 3
t
Signal EEG
Objectif lettre « H »
14. JTCVAM 2017
A B C D E F
G H I J K L
M N O P Q R
S T U V W X
Y Z Sp 1 2 3
t
Signal EEG
Objectif lettre « H »
15. JTCVAM 2017
A B C D E F
G H I J K L
M N O P Q R
S T U V W X
Y Z Sp 1 2 3
t
Signal EEG
Objectif lettre « H »
16. JTCVAM 2017
A B C D E F
G H I J K L
M N O P Q R
S T U V W X
Y Z Sp 1 2 3
t
Signal EEG
La première lettre est détectée!
Le système est réinitialisé et le sujet se concentre sur le E
H
18. JTCVAM 2017
Différentes techniques d'affichage:
- On flashe chaque alien l'un après l'autre
- On flashe les aliens par groupes
Pour le Brain Invaders
Comme pour le P300 speller, l’ordinateur ne connait pas l’alien que
vous voulez détruire!!!
19. JTCVAM 2017
EEG Avec P300
A chaque stimulation le sujet va produire l’onde EEG correspondant au potentiel
évoqué P300 seulement dans le cas où il regarde l’alien cible
Alien normal
Alien cible
EEG Sans P300
Ca parait facile!!!
20. Limites
JTCVAM 2017
Le signal EEG est bruité
Chaque sujet a des ondes cérébrales différentes
Traitement en temps réel
21. Thèmes de recherche au GIPSA-Lab
JTCVAM 2017
Optimiser la détection du P300 avec le moins d’essais possibles en
utilisant la géométrie Riemannienne pour la classification Cible / nonCible
S’adapter à une grande variété de sujets
Permettre de jouer sur différentes sessions espacées dans le temps avec
les mêmes réglages
Minimiser ou éliminer la phase d'apprentissage. Brain Invaders utilise des
données de paramètres génériques puis en recalibre le système au cours
du jeu avec le signal propre au sujet
Faire jouer plusieurs joueurs simultanément
Combiner la réalité virtuelle et l'EEG
22. Algorithme MDM
JTCVAM 2017
Caractéristiques :
• Apprentissage supervisé
• Une forme de k-means (a moving centroid algorithm)
• Avec deux centroïdes pour chaque classe : “avec P300" et “sans P300"
• Il utilise l'espace riemannien et la distance riemannienne lors du calcul de
la proximité avec chaque des centroïdes
Implementé par le Gipsa-lab dans Brain Invders/OpenVibe (version en
temps réel):
• C++ et Python
• Avec/sans apprentissage
Egalement disponible dans (version offline):
• Matlab toolbox: https://github.com/alexandrebarachant/covariancetoolbox
• Python machine learning library: http://pythonhosted.org/pyriemann
23. JTCVAM 2017
Plug and Play BCI
Paramètres
génériques de
l’algorithme MDM
Utilisateur qui
n’a jamais
joué
Paramètres
adaptés du MDM
24. Applications des interfaces cerveaux-machines
JTCVAM 2017
Le Speller Brainium : un outil de communication pour certains
patients, un logiciel d’AFM-Téléthon
Jeux vidéos avec P300 :
Brain Invaders
Échecs
Puzzle
Pilotage d’objet par la pensée (drone, voiture…)
Les cellules du cerveau=Neurones communiquent entre elles avec des signaux électriques.
Il est possible d’enregistrer cette activité électrique à la surface du crâne grâce à des électrode=EEG
Role du Amplificateur; Ce n'est pas douloureux.
Un signal EEG humain adulte typique a une amplitude d'environ 10 μV à 100 μV lorsqu'il est mesuré à partir de la tête.
L'électroencéphalographie (EEG) est une méthode d'exploration cérébrale qui mesure l'activité électrique du cerveau.
Le signal électrique à la base de l'EEG est la résultat de la sommation des variations de tension synchrones issus d'un grand nombre de neurones.
Alpha – les yeux fermés - Alpha waves are neural oscillations in the frequency range of 7.5–12.5 Hz, originate from the occipital lobe during wakeful relaxation with closed eyes. Alpha waves are reduced with open eyes, drowsiness and sleep. Occipital alpha waves during periods of eyes closed are the strongest EEG brain signals.
En anglais il s'appelle: event related potentials (ERP).
- Le ERP est produite par le cerveau en réponse à : une stimulation externe, notamment sensorielle (un son, une image, etc.) mais aussi à un événement interne, notamment une activité cognitive (attention, préparation motrice, etc.). On parle de potentiel évoqué exogène (en réponse à un stimulus externe) ou endogène (en réponse à une tâche cognitive).
Afin de discerner cette réponse du bruit de fond (toutes les autres ondes émises en continue par le cerveau!), on répète un grand nombre de fois les stimulations, et en faisant la moyenne des réponses obtenues, on peut obtenir de façon fiable la réponse du cerveau au stimulus étudié.
En plus:
Les potentiels évoqués sont utilisés en neurophysiologie humaine pour comprendre l'organisation fonctionnelle du système nerveux et dans les examens médicaux en neurologie.
Ici on voit la representation d’ERP dans le temps (0 – 200 ou 1000 ms).
N170 (130-200ms), lobe occipital, reconnaissance de visage
N100 (80 – 120ms), fort chez les stimuli audio, quand le sujet se trouve face à un stimulus imprévisible ( stimulus inattendu)
Multitude de potentiel évoqués..;
Choisi P300 :
- P 300 car apparait 300ms après détection du stimuli
car signal robuste
ex: stimulation via 2 sons différents, sujet peut y prêter attention ou non à la différence entre les deux sons,
On peut demande au sujet de compter (traitement cognitif/plus élaboré de l’information: prend conscience qu’il existe 2 sons différents) P300
Ç'est une moyen de comprendre que le cerveau fonctionne bien.
La détection du P300 c'est un processus intellectuel (cortex associatif).
L'onde P300 (ou P3) est observée par exemple lorsque le sujet doit détecter des stimuli « cibles » au sein d'une série de différents stimuli comprenant des distracteurs (tâche dite de oddball).
Ici, nous voulons vous montrer la similitude entre le P300 speller et Brain Invaders.
To spell = épeler. On pourrait traduire P300 speller par épeleur à P300
H = visible/pas visible ou couleur vive/couleur faible
Nous avons detecté P300 sur ces deux groupes (une ligne et une colonne) avec le plus grande probabilité et alors ca nous donne la lettre "H".
En remarque : plusieurs essais nécessaires pour que la détection de la cible soit possible (avec marge d’ erreur contrôlée)
Flasher = clignoter
On flashe les aliens par groupes (comme dans le P300 speller, mais ne pas par ligne et par colonne dans Brain Invaders). Dans Brain Invaders on utilise la deuxième technique, car plus rapide!
Vous pouvez choisir/détruire l’allien que vous voulez, mais l'objectif du jeu est de tuer l‘alien rouge. Seul l‘alien rouge donne des points.
Alien vert: le sujet ne regarde pas les aliens normales, alors ca ne donne pas de P300.
Chaque sujet a un cerveau (et des ondes cérébrales) différent(es). Il faut s’adapter! Une phase de calibration peut être nécessaire avant d’être prêt à jouer.
En général il y a deux phases : entrainement et jouer (on dit online), mais nous aujourd’hui on fait les deux dans le même temps.
On utilise BI pour faire de recherche. Chaque fois on vas récupérer l’enregistrement du signal EEG et on peut tester différentes algorithmes du traitement du signal et classification.
– un logiciel d’AFM-Téléthon pour des patients avec le syndrome locked-in
On utilise le P300 pour les jeux où le temps de réactivité il ne faut pas soit trop rapide.
Chaque sujet a un cerveau (et des ondes cérébrales) différent(es). Il faut s’adapter! Une phase de calibration peut être nécessaire avant d’être prêt à jouer.
