Bien que capables de résoudre des problèmes de plus en plus complexes, les algorithmes d’intelligence artificielle restent très peu robustes. En effet, une fois un modèle entrainé pour effectuer une tâche précise - telle que la prédiction d’usure sur une machine dans une chaine de production, par exemple - il sera très difficile de le réutiliser, même pour une tâche similaire. Imaginons une autre machine du même type... Au vu de la quantité de données, souvent coûteuses, nécessaires pour entrainer et construire de tels modèles, cela peut poser bien des problèmes. Lors de cette rencontre-conférence, nous présenterons une technique permettant d’adapter plus facilement des modèles à d’autres tâches similaires. Cette technique est directement inspirée de la neuromodulation, un phénomène physiologique essentiel du cerveau humain. Cette intelligence artificielle d'un nouveau genre, capable de s'adapter, est issue d’une collaboration de recherche entre un neuroscientifique et un ingénieur informaticien. Nous accentuerons le caractère interdisciplinaire du développement de cette méthode, ainsi que de potentielles applications.

1. Mardi 17 novembre 2020
Intelligence artificielle et bio-inspiration :
s’adapter aux contextes changeants
Nicolas Vecoven
Doctorant en Faculté des Sciences Appliquées,
Département d'Électricité et d'Informatique (Institut
Montéfiore, ULiège)
Guillaume Drion
Chargé de Cours en Faculté des Sciences
Appliquées, Département d'Électricité et
d'Informatique (Institut Montéfiore, ULiège)

2. LIEGE CREATIVE, en partenariat avec :

3. Intelligence artificielle et bio-inspiration
La neuromodulation pour une IA adaptative

4. Les années 2010 ont vu la consécration de l’intelligence artificielle
basée sur les réseaux de neurones

5. Les performances des réseaux de neurones artificiels
augmentent à une vitesse sans précédent

6. Mais à quel point l’intelligence artificielle est-elle proche de l’intelligence humaine?
L’IA surpasse les performances humaines dans beaucoup de tâches spécifiques telles que la
reconnaissance d’image, les jeux, etc.
Et en particulier pour les situations dans lesquelles l’IA devra collaborer avec l’humain?
voiture autonomes coexistant avec la conduite humaine
robotique collaborative à large échelle
etc.
Peut-on s’attendre à ce que l’IA devienne omniprésente dans un futur proche?

7. Exemple: robotique collaborative (Industrie 4.0)
Robotique industrielle
performances surhumaines
dans des “tâches motrices”
Réseaux de neurones artificiels
performances surhumaines
dans des “tâches cognitives”
Robots collaboratifs/humanoïdes?

8. Example de robotique humanoïde: la compétition RoboCup

9. Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de
neurones et l’intelligence humaine?
Quelles sont les implications de ces différences?
Comment pouvons-nous surmonter ces différences?

10. Les réseaux de neurones artificiels: un succès contemporain basé sur de vieilles idées
1943: Neural Nets.
McCulloch and Pitts suggèrent l’idée de s’inspirer
du cerveau pour construire des systèmes
intelligents.
A cette époque, nos connaissances sur le
fonctionnement du cerveau humain étaient très
limitées (ex: Hodgkin, 1948)

11. Les années 50: la découverte du potentiel d’action
1958: le Perceptron.
Rosenblatt introduit le premier algorithme
d’apprentissage supervisé basé sur la plasticité
Hebbienne.
“Neurons that fire together wire together”
En parallèle, les neuroscientifiques ont commencé
à décrypter la complexité de la signalisation
neuronale.
1952: le potentiel d’action
(Hodgkin and Huxley)
Il créé une machine pouvant jouer au jeu de dames.

12. 1961: “The thinking machine” - MIT Centennial Film
https://www.youtube.com/watch?v=aygSMgK3BEM
“Two years ago I would have said it is very far-
fetched, but today… I suspect if you come back
in four or five years, I'll say . . . sure, they
really think” - Jerome Wiesner.
“I am fairly confident that within 10 to 15 years,
something will emerge from the laboratory that is
not too far from a robot” - Claude Shannon.

13. 70s - 00s: progrès incrémental.
Développement d’architectures de réseaux de
neurones et d’algorithmes d’apprentissage
s’éloignants de la biologie.
Ces mécanismes sont souvent trop complexes
pour être directement traduits en algorithmes
d’IA efficaces.
70s - 00s: avancées majeures dans notre
compréhension de la dynamique neuronale,
la connectivité réseau et les mécanismes
d’apprentissage.
1974: algorithme de Backpropagation
1982: réseaux de Hopfield
1985: machine de Boltzmann
1986: réseaux récurrents
Développement incrémental des réseaux de neurones artificiels sur base du modèle MCP
Avancées majeures en neurosciences

14. 2010s: Développement du deep learning. L’algorithme de backpropagation combiné à
de puissants GPUs contribue à la consécration des réseaux de neurones artificiels
+

15. Le deep learning se base sur des réseaux gigantesques
composés de neurones à la dynamique élémentaire
Image from: https://cdn.edureka.co/blog/wp-content/uploads/2017/05/Deep-
Neural-Network-What-is-Deep-Learning-Edureka.png

16. Les réseaux de neurones sont maintenant l’état de l’art pour le traitement de
l’image, la reconnaissance de la parole, les jeux, etc.
Finlayson et al., 2019

17. Quelles ont les différences clés entre l’intelligence artificielle basée sur les réseaux de
neurones et l’intelligence humaine?
Quelles sont les implications de ces différences?
Comment pouvons-nous surmonter ces différences?
Les réseaux de neurones artificiels actuels se sont inspirés des neurosciences des années
40 et 50, pour ensuite être optimisés pour une implémentation digitale au cours des années,
s’éloignant de la biologie.

18. Est-ce que les réseaux de neurones artificiels “pensent” comme les humains?
Attaques adversariales - des modifications invisibles pour l’homme peuvent profondément altérer les
performances d’un réseau artificiel. Cela met en évidence le fait que les réseaux de neurones artificiels ne
traitent pas l’information de la même façon que les humains.
Finlayson et al., 2019

19. Pouvons-nous identifier une différence clé entre la biologie et
l’intelligence artificielle actuelle?

20. ADAPTABILITE
EXTRAPOLATION

21. Les humains ont des facultés d’adaptation extraordinaires, au contraire des machines.
Les machines peuvent apprendre des comportements très spécialisés dans des environments spécifiques,
mais manquent souvent des propriétés adaptatives qui rendent le comportement humain robuste et
performant dans la vie de tous les jours.
Il y a un besoin de nouvelles méthodes pour construire des machines possédant des facultés
d’adaptation proches des humains.

22. Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter
Kandel, Schwartz, Jessel,“Principles of Neural Science”

23. Kandel, Schwartz, Jessel,“Principles of Neural Science”
Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter

24. Les humains peuvent très rapidement exploiter
le contexte et les connaissances préalables pour s’adapter
Kandel, Schwartz, Jessel,“Principles of Neural Science”

25. Une intelligence artificielle plus humaine?
Retour à la bio-inspiration - Introduction de la neuromodulation

26. Les facultés d’adaptation humaines dépendent d’un
mécanisme neuronal appelé neuromodulation
Exemple de neuromodulation globale: transitions entre éveil et sommeil.

27. Les facultés d’adaptation humaines dépendent d’un
mécanisme neuronal appelé neuromodulation
Exemple de neuromodulation clinique: stimulations profondes dans le traitement de la maladie de Parkinson.
(Hammond et al., 2007)

28. La neuromodulation est un mécanisme par lequel les neurones peuvent rapidement
modifier leur réponse aux stimulations externes en fonction du contexte
NeuromodulationPlasticité synaptique
Apprentissage Adaptation

29. La neuromodulation exploite la grande complexité de la signalisation neuronale

30. Extraction des mécanismes de neuromodulation:
un problème multidisciplinaire et multi-échelle
(Yu et al., 2005)

31. La neuromodulation en intelligence artificielle
Neuroscience Intelligence artificielle
Extrac'on et implémenta'on
des mécanismes de neuromodula'on
Analyse du role de la neuromodula'on
dans l’adaptabilité

32. Introduction de la neuromodulation dans les réseaux de neurones artificiel:
de nouvelles architectures réseaux
Inputs Outputs
RewardContext
Environment
Top-down
neuromodulation
Bottom-up
neuromodulation
A B Neuromodulation
state #1
Neuromodulation
state #2

33. Introduction de la neuromodulation dans les réseaux de neurones artificiel:
implémentation simple de dynamiques neurones riches et modulables
0.3nA 0.3nA w < 00w > 00
Neurophysiologie Modèles mathématiques
Algorithmes
+
Isyn
Vpost1
Cs
Iint
Im
f(Vpost
)
Vpre,1
Vpre,3
Vpre,2
_
f(Vpre
)

34. Intelligence artificielle et bio-inspiration
La neuromodulation pour une IA adaptative
L’intelligence artificielle actuelle manque d’adaptabilité.
L’adaptabilité biologique dépend de la neuromodulation.
S’inspirer de la neuromodulation dans les réseaux de neurones artificiels permet
de développer de nouvelles architectures réseaux dédiées à l’adaptation.
d’augmenter les performances des réseaux artificiels par l’exploitation d'une
dynamique neuronale plus riche et modulable.

35. Faculté des sciences appliquées.
Département d’électricité, électronique et informatique
Université de Liège
Une approche neuro-inspirée pour le
développement d’algorithmes adaptatifs
Guillaume Drion
Vecoven Nicolas
17 Novembre 2020
nvecoven@uliege.be

36. 1
Apprentissage par renforcement
(Ex. contrôle d’une fraiseuse dans une chaine de production.)
Guillaume Drion Vecoven Nicolas |

37. 2
Réseaux de neurones artificiels.
Couche
d’entrée
Première
couche ...
... Dernière
couche
Sortie
x1
x2
x3
y1
y2
Guillaume Drion Vecoven Nicolas |

38. 3
Mécanisme neuronal de l’adaptation:
neuromodulation
Plasticité
synaptique
Neuro-
modulation
Guillaume Drion Vecoven Nicolas |

39. 4
Réseaux de neurones artificiels
Plasticité synaptique
Optimisation des poids (// plasticité synaptique)
▶ Modification des liaisons entre neurones.
▶ Processus d’apprentissage coûteux, nécéssitant un grand nombre de
données. Ces données ont un coût !
▶ À la base des réseaux de neurones artificiels.
x2 w2
Σ f
Fonction
d’activation
y
Sortie
x1 w1
Poids
x3 w3
Entrées
Guillaume Drion Vecoven Nicolas |

40. 5
Implémentation de la neuromodulation dans
les réseaux de neurones artificiels
x2 w2
Σ f
Fonction
d’activation
y Sortie
x1 w1
Poids
x3 w3
Neuromodulation
Entrées
• Statique à échelle de temps rapide.
• Dynamique à échelle de temps rapide (adaptation d’un
comportement précédemment appris).
Guillaume Drion Vecoven Nicolas |

41. 6
NMD net
Architecture avec neuromodulation
Inputs Outputs
RewardContext
Environment
Top-down
neuromodulation
Bottom-up
neuromodulation
A B Neuromodulation
state #1
Neuromodulation
state #2
Le réseau de neuromodulation maintient un état représentant le problème
actuel, mis à jour à chaque nouvelle donnée reçue.
Guillaume Drion Vecoven Nicolas |

42. 7
Concrètement ...
Habituellement, le nouveau modèle est reconstruit en partant de zéro.
Même si les machines une et deux sont semblables mais pas identiques.
Guillaume Drion Vecoven Nicolas |

43. 8
Concrètement ...
Aucun nouveau modèle ne doit être construit. Grâce à l’entrainement sur
les machines une et deux, le modèle peut s’adapter à la machine 3 avec
très peu de données.
Guillaume Drion Vecoven Nicolas |

44. 8
Exemple du comportement dynamique de
l’architecture
Guillaume Drion Vecoven Nicolas |

45. 9
Interprétabilité ?
On peut regarder le contexte encodé par le réseau de neuromodulation !
▶ Après seulement 30 pas de temps, le réseau est adapté à
l’environnement et ne fait pratiquement plus d’erreur.
▶ Dans cet exemple, les environnements peuvent être distingués au
travers une variable nommée α. Le réseau a appris de lui-même a
encoder l’environnement de manière continue.
Guillaume Drion Vecoven Nicolas |

46. 10
Suite du travail
Etude approfondie des paramètres de neuromodulation
Wi
+ + ∫
Iint
(V)
V V
A
u y u
y1
y2
y3
Input
OutputLinear
(a > 0, b = 0)
Bistable
(a < 0, b = 0)
Spiking
(a < 0, b > 0)
B
Iint
(V) = f(a,b)
Guillaume Drion Vecoven Nicolas |

47. 11
Apprentissage supervisé
Guillaume Drion Vecoven Nicolas |

48. 12
Réseau de neurone récurrent
Guillaume Drion Vecoven Nicolas |

49. 13
Séries temporelles
Guillaume Drion Vecoven Nicolas |

50. 14
Exemple avec paramètres de bistabilité
Des neurones récurrents classiques échouent complètement sur une
simple tâche de ”recopiage”.
Guillaume Drion Vecoven Nicolas |

51. 15
Suite ?
Combiner ces nouveaux paramètres de neuromodulation avec
l’architecture NMD net.
▶ Capacités d’adaptations rapides,
▶ sur des séries temporelles nécéssitant une grande mémoire.
Guillaume Drion Vecoven Nicolas |