SlideShare une entreprise Scribd logo
1  sur  51
Télécharger pour lire hors ligne
Mardi 17 novembre 2020
Intelligence artificielle et bio-inspiration :
s’adapter aux contextes changeants
Nicolas Vecoven
Doctorant en Faculté des Sciences Appliquées,
Département d'Électricité et d'Informatique (Institut
Montéfiore, ULiège)
Guillaume Drion
Chargé de Cours en Faculté des Sciences
Appliquées, Département d'Électricité et
d'Informatique (Institut Montéfiore, ULiège)
LIEGE CREATIVE, en partenariat avec :
Intelligence artificielle et bio-inspiration
La neuromodulation pour une IA adaptative
Les années 2010 ont vu la consécration de l’intelligence artificielle
basée sur les réseaux de neurones
Les performances des réseaux de neurones artificiels
augmentent à une vitesse sans précédent
Mais à quel point l’intelligence artificielle est-elle proche de l’intelligence humaine?
L’IA surpasse les performances humaines dans beaucoup de tâches spécifiques telles que la
reconnaissance d’image, les jeux, etc.
Et en particulier pour les situations dans lesquelles l’IA devra collaborer avec l’humain?
voiture autonomes coexistant avec la conduite humaine
robotique collaborative à large échelle
etc.
Peut-on s’attendre à ce que l’IA devienne omniprésente dans un futur proche?
Exemple: robotique collaborative (Industrie 4.0)
Robotique industrielle
performances surhumaines
dans des “tâches motrices”
Réseaux de neurones artificiels
performances surhumaines
dans des “tâches cognitives”
Robots collaboratifs/humanoïdes?
Example de robotique humanoïde: la compétition RoboCup
Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de
neurones et l’intelligence humaine?
Quelles sont les implications de ces différences?
Comment pouvons-nous surmonter ces différences?
Les réseaux de neurones artificiels: un succès contemporain basé sur de vieilles idées
1943: Neural Nets.

McCulloch and Pitts suggèrent l’idée de s’inspirer
du cerveau pour construire des systèmes
intelligents.
A cette époque, nos connaissances sur le
fonctionnement du cerveau humain étaient très
limitées (ex: Hodgkin, 1948)
Les années 50: la découverte du potentiel d’action
1958: le Perceptron.

Rosenblatt introduit le premier algorithme
d’apprentissage supervisé basé sur la plasticité
Hebbienne.

“Neurons that fire together wire together”
En parallèle, les neuroscientifiques ont commencé
à décrypter la complexité de la signalisation
neuronale.

1952: le potentiel d’action

(Hodgkin and Huxley)
Il créé une machine pouvant jouer au jeu de dames.
1961: “The thinking machine” - MIT Centennial Film
https://www.youtube.com/watch?v=aygSMgK3BEM
“Two years ago I would have said it is very far-
fetched, but today… I suspect if you come back
in four or five years, I'll say . . . sure, they
really think” - Jerome Wiesner.
“I am fairly confident that within 10 to 15 years,
something will emerge from the laboratory that is
not too far from a robot” - Claude Shannon.
70s - 00s: progrès incrémental.

Développement d’architectures de réseaux de
neurones et d’algorithmes d’apprentissage
s’éloignants de la biologie.
Ces mécanismes sont souvent trop complexes
pour être directement traduits en algorithmes
d’IA efficaces.
70s - 00s: avancées majeures dans notre
compréhension de la dynamique neuronale,
la connectivité réseau et les mécanismes
d’apprentissage.
1974: algorithme de Backpropagation

1982: réseaux de Hopfield

1985: machine de Boltzmann

1986: réseaux récurrents
Développement incrémental des réseaux de neurones artificiels sur base du modèle MCP

Avancées majeures en neurosciences
2010s: Développement du deep learning. L’algorithme de backpropagation combiné à
de puissants GPUs contribue à la consécration des réseaux de neurones artificiels
+
Le deep learning se base sur des réseaux gigantesques
composés de neurones à la dynamique élémentaire
Image from: https://cdn.edureka.co/blog/wp-content/uploads/2017/05/Deep-
Neural-Network-What-is-Deep-Learning-Edureka.png
Les réseaux de neurones sont maintenant l’état de l’art pour le traitement de
l’image, la reconnaissance de la parole, les jeux, etc.
Finlayson et al., 2019
Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de
neurones et l’intelligence humaine?
Quelles sont les implications de ces différences?
Comment pouvons-nous surmonter ces différences?
Les réseaux de neurones artificiels actuels se sont inspirés des neurosciences des années
40 et 50, pour ensuite être optimisés pour une implémentation digitale au cours des années,
s’éloignant de la biologie.
Est-ce que les réseaux de neurones artificiels “pensent” comme les humains?
Attaques adversariales - des modifications invisibles pour l’homme peuvent profondément altérer les
performances d’un réseau artificiel. Cela met en évidence le fait que les réseaux de neurones artificiels ne
traitent pas l’information de la même façon que les humains.
Finlayson et al., 2019
Pouvons-nous identifier une différence clé entre la biologie et
l’intelligence artificielle actuelle?
ADAPTABILITE
EXTRAPOLATION
Les humains ont des facultés d’adaptation extraordinaires, au contraire des machines.
Les machines peuvent apprendre des comportements très spécialisés dans des environments spécifiques,
mais manquent souvent des propriétés adaptatives qui rendent le comportement humain robuste et
performant dans la vie de tous les jours.
Il y a un besoin de nouvelles méthodes pour construire des machines possédant des facultés
d’adaptation proches des humains.
Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter
Kandel, Schwartz, Jessel,“Principles of Neural Science”
Kandel, Schwartz, Jessel,“Principles of Neural Science”
Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter
Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter
Kandel, Schwartz, Jessel,“Principles of Neural Science”
Une intelligence artificielle plus humaine?

Retour à la bio-inspiration - Introduction de la neuromodulation
Les facultés d’adaptation humaines dépendent d’un
mécanisme neuronal appelé neuromodulation
Exemple de neuromodulation globale: transitions entre éveil et sommeil.
Les facultés d’adaptation humaines dépendent d’un
mécanisme neuronal appelé neuromodulation
Exemple de neuromodulation clinique: stimulations profondes dans le traitement de la maladie de Parkinson.
(Hammond et al., 2007)
La neuromodulation est un mécanisme par lequel les neurones peuvent rapidement
modifier leur réponse aux stimulations externes en fonction du contexte
NeuromodulationPlasticité synaptique
Apprentissage Adaptation
La neuromodulation exploite la grande complexité de la signalisation neuronale
Extraction des mécanismes de neuromodulation:
un problème multidisciplinaire et multi-échelle
(Yu et al., 2005)
La neuromodulation en intelligence artificielle
Neuroscience Intelligence artificielle
Extrac'on	et	implémenta'on		
des	mécanismes	de	neuromodula'on	
Analyse	du	role	de	la	neuromodula'on	
	dans	l’adaptabilité
Introduction de la neuromodulation dans les réseaux de neurones artificiel:
de nouvelles architectures réseaux
Inputs Outputs
RewardContext
Environment
Top-down
neuromodulation
Bottom-up
neuromodulation
A B Neuromodulation
state #1
Neuromodulation
state #2
Introduction de la neuromodulation dans les réseaux de neurones artificiel:
implémentation simple de dynamiques neurones riches et modulables
0.3nA 0.3nA w < 00w > 00
Neurophysiologie Modèles mathématiques
Algorithmes
+
Isyn
Vpost1
Cs
Iint
Im
f(Vpost
)
Vpre,1
Vpre,3
Vpre,2
_
f(Vpre
)
Intelligence artificielle et bio-inspiration
La neuromodulation pour une IA adaptative
L’intelligence artificielle actuelle manque d’adaptabilité. 

L’adaptabilité biologique dépend de la neuromodulation. 

S’inspirer de la neuromodulation dans les réseaux de neurones artificiels permet
de développer de nouvelles architectures réseaux dédiées à l’adaptation.
d’augmenter les performances des réseaux artificiels par l’exploitation d'une 

dynamique neuronale plus riche et modulable.
Faculté des sciences appliquées.
Département d’électricité, électronique et informatique
Université de Liège
Une approche neuro-inspirée pour le
développement d’algorithmes adaptatifs
Guillaume Drion
Vecoven Nicolas
17 Novembre 2020
nvecoven@uliege.be
1
Apprentissage par renforcement
(Ex. contrôle d’une fraiseuse dans une chaine de production.)
Guillaume Drion Vecoven Nicolas |
2
Réseaux de neurones artificiels.
Couche
d’entrée
Première
couche ...
... Dernière
couche
Sortie
x1
x2
x3
y1
y2
Guillaume Drion Vecoven Nicolas |
3
Mécanisme neuronal de l’adaptation:
neuromodulation
Plasticité
synaptique
Neuro-
modulation
Guillaume Drion Vecoven Nicolas |
4
Réseaux de neurones artificiels
Plasticité synaptique
Optimisation des poids (// plasticité synaptique)
▶ Modification des liaisons entre neurones.
▶ Processus d’apprentissage coûteux, nécéssitant un grand nombre de
données. Ces données ont un coût !
▶ À la base des réseaux de neurones artificiels.
x2 w2
Σ f
Fonction
d’activation
y
Sortie
x1 w1
Poids
x3 w3
Entrées
Guillaume Drion Vecoven Nicolas |
5
Implémentation de la neuromodulation dans
les réseaux de neurones artificiels
x2 w2
Σ f
Fonction
d’activation
y Sortie
x1 w1
Poids
x3 w3
Neuromodulation
Entrées
• Statique à échelle de temps rapide.
• Dynamique à échelle de temps rapide (adaptation d’un
comportement précédemment appris).
Guillaume Drion Vecoven Nicolas |
6
NMD net
Architecture avec neuromodulation
Inputs Outputs
RewardContext
Environment
Top-down
neuromodulation
Bottom-up
neuromodulation
A B Neuromodulation
state #1
Neuromodulation
state #2
Le réseau de neuromodulation maintient un état représentant le problème
actuel, mis à jour à chaque nouvelle donnée reçue.
Guillaume Drion Vecoven Nicolas |
7
Concrètement ...
Habituellement, le nouveau modèle est reconstruit en partant de zéro.
Même si les machines une et deux sont semblables mais pas identiques.
Guillaume Drion Vecoven Nicolas |
8
Concrètement ...
Aucun nouveau modèle ne doit être construit. Grâce à l’entrainement sur
les machines une et deux, le modèle peut s’adapter à la machine 3 avec
très peu de données.
Guillaume Drion Vecoven Nicolas |
8
Exemple du comportement dynamique de
l’architecture
Guillaume Drion Vecoven Nicolas |
9
Interprétabilité ?
On peut regarder le contexte encodé par le réseau de neuromodulation !
▶ Après seulement 30 pas de temps, le réseau est adapté à
l’environnement et ne fait pratiquement plus d’erreur.
▶ Dans cet exemple, les environnements peuvent être distingués au
travers une variable nommée α. Le réseau a appris de lui-même a
encoder l’environnement de manière continue.
Guillaume Drion Vecoven Nicolas |
10
Suite du travail
Etude approfondie des paramètres de neuromodulation
Wi
+ + ∫
Iint
(V)
V V
A
u y u
y1
y2
y3
Input
OutputLinear
(a > 0, b = 0)
Bistable
(a < 0, b = 0)
Spiking
(a < 0, b > 0)
B
Iint
(V) = f(a,b)
Guillaume Drion Vecoven Nicolas |
11
Apprentissage supervisé
Guillaume Drion Vecoven Nicolas |
12
Réseau de neurone récurrent
Guillaume Drion Vecoven Nicolas |
13
Séries temporelles
Guillaume Drion Vecoven Nicolas |
14
Exemple avec paramètres de bistabilité
Des neurones récurrents classiques échouent complètement sur une
simple tâche de ”recopiage”.
Guillaume Drion Vecoven Nicolas |
15
Suite ?
Combiner ces nouveaux paramètres de neuromodulation avec
l’architecture NMD net.
▶ Capacités d’adaptations rapides,
▶ sur des séries temporelles nécéssitant une grande mémoire.
Guillaume Drion Vecoven Nicolas |

Contenu connexe

Similaire à Intelligence artificielle et bio-inspiration : s’adapter aux contextes changeants | LIEGE CREATIVE, 17.11.20

La veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
La veille de Red Guy du 27.03.13 - Notre cerveau change-t-ilLa veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
La veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
Red Guy
 
WygDay - Session Innovation xBrainLab
WygDay - Session Innovation xBrainLabWygDay - Session Innovation xBrainLab
WygDay - Session Innovation xBrainLab
Gregory Renard
 
coursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.pptcoursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.ppt
AyaDrief
 

Similaire à Intelligence artificielle et bio-inspiration : s’adapter aux contextes changeants | LIEGE CREATIVE, 17.11.20 (20)

Acmf n548 interface cerveau machine
Acmf n548 interface cerveau machineAcmf n548 interface cerveau machine
Acmf n548 interface cerveau machine
 
Cfp cyborg
Cfp cyborgCfp cyborg
Cfp cyborg
 
Penser le laboratoire du futur... l'impact de L'IA
 Penser le laboratoire du futur... l'impact de L'IA  Penser le laboratoire du futur... l'impact de L'IA
Penser le laboratoire du futur... l'impact de L'IA
 
Intelligence Artificielle - La technique et l'éthique
Intelligence Artificielle - La technique et l'éthique Intelligence Artificielle - La technique et l'éthique
Intelligence Artificielle - La technique et l'éthique
 
Lorsque l'intelligence artificielle uberise la cybersécurité...
Lorsque l'intelligence artificielle uberise la cybersécurité...Lorsque l'intelligence artificielle uberise la cybersécurité...
Lorsque l'intelligence artificielle uberise la cybersécurité...
 
Cours Conférence INHESJ - IA et cybersécurité
Cours Conférence INHESJ - IA et cybersécuritéCours Conférence INHESJ - IA et cybersécurité
Cours Conférence INHESJ - IA et cybersécurité
 
Intelligence Artificielle et cybersécurité
Intelligence Artificielle et cybersécuritéIntelligence Artificielle et cybersécurité
Intelligence Artificielle et cybersécurité
 
Euratech'trends - l’informatique neuro-inspiré.
Euratech'trends - l’informatique neuro-inspiré.Euratech'trends - l’informatique neuro-inspiré.
Euratech'trends - l’informatique neuro-inspiré.
 
LES AVANTAGES ET LES RISQUES DE LA SINGULARITÉ TECHNOLOGIQUE BASÉE SUR LA SUP...
LES AVANTAGES ET LES RISQUES DE LA SINGULARITÉ TECHNOLOGIQUE BASÉE SUR LA SUP...LES AVANTAGES ET LES RISQUES DE LA SINGULARITÉ TECHNOLOGIQUE BASÉE SUR LA SUP...
LES AVANTAGES ET LES RISQUES DE LA SINGULARITÉ TECHNOLOGIQUE BASÉE SUR LA SUP...
 
L'Open Science face aux Enjeux Éthiques de la Convergence NBIC — Regards depu...
L'Open Science face aux Enjeux Éthiques de la Convergence NBIC — Regards depu...L'Open Science face aux Enjeux Éthiques de la Convergence NBIC — Regards depu...
L'Open Science face aux Enjeux Éthiques de la Convergence NBIC — Regards depu...
 
092208 Presentation Prospec Tic
092208 Presentation Prospec Tic092208 Presentation Prospec Tic
092208 Presentation Prospec Tic
 
La veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
La veille de Red Guy du 27.03.13 - Notre cerveau change-t-ilLa veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
La veille de Red Guy du 27.03.13 - Notre cerveau change-t-il
 
Vivre à l'ère des Intelligences Artificielles
Vivre à l'ère des Intelligences ArtificiellesVivre à l'ère des Intelligences Artificielles
Vivre à l'ère des Intelligences Artificielles
 
Rapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence ArtificielleRapport projet Master 2 - Intelligence Artificielle
Rapport projet Master 2 - Intelligence Artificielle
 
TPE 2005 - Intelligence artificielle
TPE 2005 - Intelligence artificielleTPE 2005 - Intelligence artificielle
TPE 2005 - Intelligence artificielle
 
Conférence Sécurité et Intelligence Artificielle - INHESJ 2018
Conférence Sécurité et Intelligence Artificielle - INHESJ 2018Conférence Sécurité et Intelligence Artificielle - INHESJ 2018
Conférence Sécurité et Intelligence Artificielle - INHESJ 2018
 
WygDay - Session Innovation xBrainLab
WygDay - Session Innovation xBrainLabWygDay - Session Innovation xBrainLab
WygDay - Session Innovation xBrainLab
 
WygDay 2010 - Start Up : xbrainlab
WygDay 2010 - Start Up : xbrainlabWygDay 2010 - Start Up : xbrainlab
WygDay 2010 - Start Up : xbrainlab
 
coursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.pptcoursHPM-M2-RIA-nov05.ppt
coursHPM-M2-RIA-nov05.ppt
 
réseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissageréseaux de neurons temporels dynqmique et apprentissage
réseaux de neurons temporels dynqmique et apprentissage
 

Plus de Nancy BOVY

Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
Nancy BOVY
 
Le potentiel économique des industries culturelles et créatives : un vivier s...
Le potentiel économique des industries culturelles et créatives : un vivier s...Le potentiel économique des industries culturelles et créatives : un vivier s...
Le potentiel économique des industries culturelles et créatives : un vivier s...
Nancy BOVY
 
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
Nancy BOVY
 
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
Nancy BOVY
 
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
Nancy BOVY
 
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
Nancy BOVY
 
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Nancy BOVY
 
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Nancy BOVY
 
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
Nancy BOVY
 
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
Nancy BOVY
 
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
Nancy BOVY
 
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
Nancy BOVY
 
Optimisation topologique et simulation intégrée pour la fabrication additive ...
Optimisation topologique et simulation intégrée pour la fabrication additive ...Optimisation topologique et simulation intégrée pour la fabrication additive ...
Optimisation topologique et simulation intégrée pour la fabrication additive ...
Nancy BOVY
 
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
Nancy BOVY
 
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
Nancy BOVY
 

Plus de Nancy BOVY (20)

Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
Plein gaz : enjeux et perspectives sur la valorisation du CO2 | LIEGE CREATIV...
 
Le potentiel économique des industries culturelles et créatives : un vivier s...
Le potentiel économique des industries culturelles et créatives : un vivier s...Le potentiel économique des industries culturelles et créatives : un vivier s...
Le potentiel économique des industries culturelles et créatives : un vivier s...
 
Les panneaux photovoltaïques : vers de nouvelles filières de valorisation | L...
Les panneaux photovoltaïques : vers de nouvelles filières de valorisation | L...Les panneaux photovoltaïques : vers de nouvelles filières de valorisation | L...
Les panneaux photovoltaïques : vers de nouvelles filières de valorisation | L...
 
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
Rénovation énergétique : l’évolution des enjeux et pratiques | LIEGE CREATIVE...
 
Le rôle de l'alimentation moderne dans le déclenchement des pathologies diges...
Le rôle de l'alimentation moderne dans le déclenchement des pathologies diges...Le rôle de l'alimentation moderne dans le déclenchement des pathologies diges...
Le rôle de l'alimentation moderne dans le déclenchement des pathologies diges...
 
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
Les réseaux de gaz demain : les enjeux d’une conversion énergétique | LIEGE C...
 
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
L’aménagement des espaces de travail NWoW : un idéal fantasmé ? | LIEGE CREAT...
 
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
Consommer plus éthique, à quelles conditions ? | LIEGE CREATIVE, 23.04.2021
 
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
 
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
Changer les mentalités entrepreneuriales pour créer de la valeur sociétale | ...
 
https://www.liegecreative.be/evenements/reinventons-les-possibles-creons-les-...
https://www.liegecreative.be/evenements/reinventons-les-possibles-creons-les-...https://www.liegecreative.be/evenements/reinventons-les-possibles-creons-les-...
https://www.liegecreative.be/evenements/reinventons-les-possibles-creons-les-...
 
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
Financer les projets d'entreprises durables | LIEGE CREATIVE, 19.03.2021
 
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
Éclairage intelligent et respect de la biodiversité | LIEGE CREATIVE, 18.03.2021
 
Hyperconnectivité : vers un droit à la déconnexion ? | LIEGE CREATIVE, 10.03....
Hyperconnectivité : vers un droit à la déconnexion ? | LIEGE CREATIVE, 10.03....Hyperconnectivité : vers un droit à la déconnexion ? | LIEGE CREATIVE, 10.03....
Hyperconnectivité : vers un droit à la déconnexion ? | LIEGE CREATIVE, 10.03....
 
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
Déminéraliser les villes ou comment réintroduire la nature dans les espaces u...
 
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
Penser circulaire en entreprises : quels leviers d'action ? | LIEGE CREATIVE,...
 
Optimisation topologique et simulation intégrée pour la fabrication additive ...
Optimisation topologique et simulation intégrée pour la fabrication additive ...Optimisation topologique et simulation intégrée pour la fabrication additive ...
Optimisation topologique et simulation intégrée pour la fabrication additive ...
 
Les bioplastiques, entre limites et opportunités | LIEGE CREATIVE, 23.02.21
Les bioplastiques, entre limites et opportunités | LIEGE CREATIVE, 23.02.21Les bioplastiques, entre limites et opportunités | LIEGE CREATIVE, 23.02.21
Les bioplastiques, entre limites et opportunités | LIEGE CREATIVE, 23.02.21
 
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.20...
 
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
La santé connectée, un défi technique… et humain ! | LIEGE CREATIVE, 12.02.2021
 

Intelligence artificielle et bio-inspiration : s’adapter aux contextes changeants | LIEGE CREATIVE, 17.11.20

  • 1. Mardi 17 novembre 2020 Intelligence artificielle et bio-inspiration : s’adapter aux contextes changeants Nicolas Vecoven Doctorant en Faculté des Sciences Appliquées, Département d'Électricité et d'Informatique (Institut Montéfiore, ULiège) Guillaume Drion Chargé de Cours en Faculté des Sciences Appliquées, Département d'Électricité et d'Informatique (Institut Montéfiore, ULiège)
  • 2. LIEGE CREATIVE, en partenariat avec :
  • 3. Intelligence artificielle et bio-inspiration La neuromodulation pour une IA adaptative
  • 4. Les années 2010 ont vu la consécration de l’intelligence artificielle basée sur les réseaux de neurones
  • 5. Les performances des réseaux de neurones artificiels augmentent à une vitesse sans précédent
  • 6. Mais à quel point l’intelligence artificielle est-elle proche de l’intelligence humaine? L’IA surpasse les performances humaines dans beaucoup de tâches spécifiques telles que la reconnaissance d’image, les jeux, etc. Et en particulier pour les situations dans lesquelles l’IA devra collaborer avec l’humain? voiture autonomes coexistant avec la conduite humaine robotique collaborative à large échelle etc. Peut-on s’attendre à ce que l’IA devienne omniprésente dans un futur proche?
  • 7. Exemple: robotique collaborative (Industrie 4.0) Robotique industrielle performances surhumaines dans des “tâches motrices” Réseaux de neurones artificiels performances surhumaines dans des “tâches cognitives” Robots collaboratifs/humanoïdes?
  • 8. Example de robotique humanoïde: la compétition RoboCup
  • 9. Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de neurones et l’intelligence humaine? Quelles sont les implications de ces différences? Comment pouvons-nous surmonter ces différences?
  • 10. Les réseaux de neurones artificiels: un succès contemporain basé sur de vieilles idées 1943: Neural Nets.
 McCulloch and Pitts suggèrent l’idée de s’inspirer du cerveau pour construire des systèmes intelligents. A cette époque, nos connaissances sur le fonctionnement du cerveau humain étaient très limitées (ex: Hodgkin, 1948)
  • 11. Les années 50: la découverte du potentiel d’action 1958: le Perceptron.
 Rosenblatt introduit le premier algorithme d’apprentissage supervisé basé sur la plasticité Hebbienne.
 “Neurons that fire together wire together” En parallèle, les neuroscientifiques ont commencé à décrypter la complexité de la signalisation neuronale.
 1952: le potentiel d’action
 (Hodgkin and Huxley) Il créé une machine pouvant jouer au jeu de dames.
  • 12. 1961: “The thinking machine” - MIT Centennial Film https://www.youtube.com/watch?v=aygSMgK3BEM “Two years ago I would have said it is very far- fetched, but today… I suspect if you come back in four or five years, I'll say . . . sure, they really think” - Jerome Wiesner. “I am fairly confident that within 10 to 15 years, something will emerge from the laboratory that is not too far from a robot” - Claude Shannon.
  • 13. 70s - 00s: progrès incrémental.
 Développement d’architectures de réseaux de neurones et d’algorithmes d’apprentissage s’éloignants de la biologie. Ces mécanismes sont souvent trop complexes pour être directement traduits en algorithmes d’IA efficaces. 70s - 00s: avancées majeures dans notre compréhension de la dynamique neuronale, la connectivité réseau et les mécanismes d’apprentissage. 1974: algorithme de Backpropagation
 1982: réseaux de Hopfield
 1985: machine de Boltzmann
 1986: réseaux récurrents Développement incrémental des réseaux de neurones artificiels sur base du modèle MCP
 Avancées majeures en neurosciences
  • 14. 2010s: Développement du deep learning. L’algorithme de backpropagation combiné à de puissants GPUs contribue à la consécration des réseaux de neurones artificiels +
  • 15. Le deep learning se base sur des réseaux gigantesques composés de neurones à la dynamique élémentaire Image from: https://cdn.edureka.co/blog/wp-content/uploads/2017/05/Deep- Neural-Network-What-is-Deep-Learning-Edureka.png
  • 16. Les réseaux de neurones sont maintenant l’état de l’art pour le traitement de l’image, la reconnaissance de la parole, les jeux, etc. Finlayson et al., 2019
  • 17. Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de neurones et l’intelligence humaine? Quelles sont les implications de ces différences? Comment pouvons-nous surmonter ces différences? Les réseaux de neurones artificiels actuels se sont inspirés des neurosciences des années 40 et 50, pour ensuite être optimisés pour une implémentation digitale au cours des années, s’éloignant de la biologie.
  • 18. Est-ce que les réseaux de neurones artificiels “pensent” comme les humains? Attaques adversariales - des modifications invisibles pour l’homme peuvent profondément altérer les performances d’un réseau artificiel. Cela met en évidence le fait que les réseaux de neurones artificiels ne traitent pas l’information de la même façon que les humains. Finlayson et al., 2019
  • 19. Pouvons-nous identifier une différence clé entre la biologie et l’intelligence artificielle actuelle?
  • 21. Les humains ont des facultés d’adaptation extraordinaires, au contraire des machines. Les machines peuvent apprendre des comportements très spécialisés dans des environments spécifiques, mais manquent souvent des propriétés adaptatives qui rendent le comportement humain robuste et performant dans la vie de tous les jours. Il y a un besoin de nouvelles méthodes pour construire des machines possédant des facultés d’adaptation proches des humains.
  • 22. Les humains peuvent très rapidement exploiter le contexte et les connaissances préalables pour s’adapter Kandel, Schwartz, Jessel,“Principles of Neural Science”
  • 23. Kandel, Schwartz, Jessel,“Principles of Neural Science” Les humains peuvent très rapidement exploiter le contexte et les connaissances préalables pour s’adapter
  • 24. Les humains peuvent très rapidement exploiter le contexte et les connaissances préalables pour s’adapter Kandel, Schwartz, Jessel,“Principles of Neural Science”
  • 25. Une intelligence artificielle plus humaine?
 Retour à la bio-inspiration - Introduction de la neuromodulation
  • 26. Les facultés d’adaptation humaines dépendent d’un mécanisme neuronal appelé neuromodulation Exemple de neuromodulation globale: transitions entre éveil et sommeil.
  • 27. Les facultés d’adaptation humaines dépendent d’un mécanisme neuronal appelé neuromodulation Exemple de neuromodulation clinique: stimulations profondes dans le traitement de la maladie de Parkinson. (Hammond et al., 2007)
  • 28. La neuromodulation est un mécanisme par lequel les neurones peuvent rapidement modifier leur réponse aux stimulations externes en fonction du contexte NeuromodulationPlasticité synaptique Apprentissage Adaptation
  • 29. La neuromodulation exploite la grande complexité de la signalisation neuronale
  • 30. Extraction des mécanismes de neuromodulation: un problème multidisciplinaire et multi-échelle (Yu et al., 2005)
  • 31. La neuromodulation en intelligence artificielle Neuroscience Intelligence artificielle Extrac'on et implémenta'on des mécanismes de neuromodula'on Analyse du role de la neuromodula'on dans l’adaptabilité
  • 32. Introduction de la neuromodulation dans les réseaux de neurones artificiel: de nouvelles architectures réseaux Inputs Outputs RewardContext Environment Top-down neuromodulation Bottom-up neuromodulation A B Neuromodulation state #1 Neuromodulation state #2
  • 33. Introduction de la neuromodulation dans les réseaux de neurones artificiel: implémentation simple de dynamiques neurones riches et modulables 0.3nA 0.3nA w < 00w > 00 Neurophysiologie Modèles mathématiques Algorithmes + Isyn Vpost1 Cs Iint Im f(Vpost ) Vpre,1 Vpre,3 Vpre,2 _ f(Vpre )
  • 34. Intelligence artificielle et bio-inspiration La neuromodulation pour une IA adaptative L’intelligence artificielle actuelle manque d’adaptabilité. 
 L’adaptabilité biologique dépend de la neuromodulation. 
 S’inspirer de la neuromodulation dans les réseaux de neurones artificiels permet de développer de nouvelles architectures réseaux dédiées à l’adaptation. d’augmenter les performances des réseaux artificiels par l’exploitation d'une 
 dynamique neuronale plus riche et modulable.
  • 35. Faculté des sciences appliquées. Département d’électricité, électronique et informatique Université de Liège Une approche neuro-inspirée pour le développement d’algorithmes adaptatifs Guillaume Drion Vecoven Nicolas 17 Novembre 2020 nvecoven@uliege.be
  • 36. 1 Apprentissage par renforcement (Ex. contrôle d’une fraiseuse dans une chaine de production.) Guillaume Drion Vecoven Nicolas |
  • 37. 2 Réseaux de neurones artificiels. Couche d’entrée Première couche ... ... Dernière couche Sortie x1 x2 x3 y1 y2 Guillaume Drion Vecoven Nicolas |
  • 38. 3 Mécanisme neuronal de l’adaptation: neuromodulation Plasticité synaptique Neuro- modulation Guillaume Drion Vecoven Nicolas |
  • 39. 4 Réseaux de neurones artificiels Plasticité synaptique Optimisation des poids (// plasticité synaptique) ▶ Modification des liaisons entre neurones. ▶ Processus d’apprentissage coûteux, nécéssitant un grand nombre de données. Ces données ont un coût ! ▶ À la base des réseaux de neurones artificiels. x2 w2 Σ f Fonction d’activation y Sortie x1 w1 Poids x3 w3 Entrées Guillaume Drion Vecoven Nicolas |
  • 40. 5 Implémentation de la neuromodulation dans les réseaux de neurones artificiels x2 w2 Σ f Fonction d’activation y Sortie x1 w1 Poids x3 w3 Neuromodulation Entrées • Statique à échelle de temps rapide. • Dynamique à échelle de temps rapide (adaptation d’un comportement précédemment appris). Guillaume Drion Vecoven Nicolas |
  • 41. 6 NMD net Architecture avec neuromodulation Inputs Outputs RewardContext Environment Top-down neuromodulation Bottom-up neuromodulation A B Neuromodulation state #1 Neuromodulation state #2 Le réseau de neuromodulation maintient un état représentant le problème actuel, mis à jour à chaque nouvelle donnée reçue. Guillaume Drion Vecoven Nicolas |
  • 42. 7 Concrètement ... Habituellement, le nouveau modèle est reconstruit en partant de zéro. Même si les machines une et deux sont semblables mais pas identiques. Guillaume Drion Vecoven Nicolas |
  • 43. 8 Concrètement ... Aucun nouveau modèle ne doit être construit. Grâce à l’entrainement sur les machines une et deux, le modèle peut s’adapter à la machine 3 avec très peu de données. Guillaume Drion Vecoven Nicolas |
  • 44. 8 Exemple du comportement dynamique de l’architecture Guillaume Drion Vecoven Nicolas |
  • 45. 9 Interprétabilité ? On peut regarder le contexte encodé par le réseau de neuromodulation ! ▶ Après seulement 30 pas de temps, le réseau est adapté à l’environnement et ne fait pratiquement plus d’erreur. ▶ Dans cet exemple, les environnements peuvent être distingués au travers une variable nommée α. Le réseau a appris de lui-même a encoder l’environnement de manière continue. Guillaume Drion Vecoven Nicolas |
  • 46. 10 Suite du travail Etude approfondie des paramètres de neuromodulation Wi + + ∫ Iint (V) V V A u y u y1 y2 y3 Input OutputLinear (a > 0, b = 0) Bistable (a < 0, b = 0) Spiking (a < 0, b > 0) B Iint (V) = f(a,b) Guillaume Drion Vecoven Nicolas |
  • 48. 12 Réseau de neurone récurrent Guillaume Drion Vecoven Nicolas |
  • 50. 14 Exemple avec paramètres de bistabilité Des neurones récurrents classiques échouent complètement sur une simple tâche de ”recopiage”. Guillaume Drion Vecoven Nicolas |
  • 51. 15 Suite ? Combiner ces nouveaux paramètres de neuromodulation avec l’architecture NMD net. ▶ Capacités d’adaptations rapides, ▶ sur des séries temporelles nécéssitant une grande mémoire. Guillaume Drion Vecoven Nicolas |