Reservoir Computing - ExecSum&Annexes

150 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
150
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Reservoir Computing - ExecSum&Annexes

  1. 1. de TERWANGNE Cendrine DETHIER Aymeric HAUTECOURT Hadrien LOBET Martin PINPIN Gauthier SCHOULEUR Alex Professeurs: Mr ALLE Mr VAN ZEEBROECK Reservoir Computing Année académique 2015 - 2016 Séminaire pluridisciplinaire de sciences et technologie
  2. 2. 2 Nous tenons à remercier Robin De Gernier pour son accompagnement et ses conseils. Nous remercions aussi Quentin Vinckier pour nous avoir fait visiter le service Opéra de l’ULB et nous avoir éclairé sur les nombreuses subtilités du reservoir computing photonique.
  3. 3. 3 Table des Matières EXECUTIVE SUMMARY........................................................................................................ 5 Partie 1 : Fondements scientifiques et développements technologiques................................ 5 Recurrent Neural Network (RNN)...................................................................................... 6 Echo State Network (ESN) ................................................................................................. 6 Liquid State Machine (LSM).............................................................................................. 6 Reservoir computing........................................................................................................... 7 Reservoir computing photonique........................................................................................ 7 Partie 2: Applications technologiques et économiques .......................................................... 8 Les puces photoniques ........................................................................................................ 8 Télécommunications........................................................................................................... 8 Trading................................................................................................................................ 9 Robotique et reconnaissance vocale ................................................................................... 9 Prévention des crises d’épilepsie ...................................................................................... 10 Partie 3 : Dimensions sociétale et légale .............................................................................. 10 Dimension sociétale.......................................................................................................... 10 Dimension légale .............................................................................................................. 11 Conclusion............................................................................................................................ 11 ANNEXES ............................................................................................................................... 13 Origine du RC .......................................................................................................................... 13 Réseaux de neurones ............................................................................................................ 13 Perceptron et Perceptron mutli-couches ........................................................................... 14 Réseaux dynamiques et statiques...................................................................................... 14 Recurrent Neural Network (RNN).................................................................................... 15 Différents éléments des réseaux de neurones et exemples ................................................... 16 Neurones ........................................................................................................................... 16 Poids.................................................................................................................................. 17 Echo State Networks ............................................................................................................ 18 Introduction....................................................................................................................... 18 Étapes simplifiées de la réalisation d’un Echo State Network.......................................... 18 Représentation mathématique des Echo State Networks : ................................................ 18 Conditions de fonctionnement .......................................................................................... 19 Liquid State Machine............................................................................................................ 19 Introduction....................................................................................................................... 19 Principe et conception....................................................................................................... 20
  4. 4. 4 Avantages.......................................................................................................................... 23 Reservoir computing......................................................................................................... 23 Reservoir computer optique.................................................................................................. 24 Introduction....................................................................................................................... 24 Le réservoir computer optique : présentation générale..................................................... 25 Couche d’entrée analogique du réservoir computer ......................................................... 25 Le réservoir optoélectronique ........................................................................................... 27 Couche de sortie analogique du réservoir computer......................................................... 28 Conclusions sur le RC photonique.................................................................................... 30 Applications technologiques et commerciales ......................................................................... 31 Les puces photoniques avec reservoir computing................................................................ 31 Le reservoir computing dans les télécommunications ......................................................... 33 Application du RC au Trading.............................................................................................. 33 RC au niveau de la détection des crises d’épilepsie :........................................................... 37 Le réservoir computing et la reconnaissance vocale ............................................................ 40 Le reservoir computing en robotique ................................................................................... 41 Le robot Icub..................................................................................................................... 41 Le robot ASIMO............................................................................................................... 43 Risques et dimensions sociétale et légale :............................................................................... 44 Craintes et espoirs de la communauté scientifique............................................................... 44 Sans limite : De Deep Blue à AlphaGo............................................................................. 44 Dimension sociétale :............................................................................................................ 45 MOBILITE : Voitures autonomes .................................................................................... 45 FINANCE : Trading ......................................................................................................... 46 MILITAIRE : Armes autonomes...................................................................................... 47 SANTE : Cancer ............................................................................................................... 47 EMPLOI : Perte d’emplois et compétitivité ..................................................................... 47 Législation européenne ..................................................................................................... 48 Réferences ................................................................................................................................ 50
  5. 5. 5 EXECUTIVE SUMMARY La force du cerveau humain par rapport à la machine réside dans son incroyable capacité à apprendre, avec une très grande efficacité, et à effectuer des tâches aussi complexes que variées. En effet, lorsque notre cerveau effectue une tâche, il sollicite des neurones entre lesquels le lien, appelé poids synaptique, se renforce. C’est en cela que réside le concept d’apprentissage qui permet une optimisation des poids synaptiques améliorant notre réactivité et efficacité lorsque nous nous trouvons dans une situation similaire à une déjà rencontrée. Les réseaux neuronaux artificiels reposent sur ce même principe d’apprentissage ; cela s’appelle le machine learning. En particulier, le reservoir computing est un concept de calcul directement inspiré du fonctionnement de notre cerveau. En effet, pour entraîner le réseau à effectuer une certaine tâche comme, par exemple, reconnaître un visage, il faut calibrer correctement tous les poids synaptiques des neurones qui sont généralement organisés en couches. Ce calibrage s’appelle la phase d’apprentissage. C’est une tâche qui peut prendre énormément de temps, en fonction du nombre de neurones à calibrer. L’avantage principal du reservoir computing par rapport aux autres formes de machine learning est qu’il simplifie considérablement cette étape d’apprentissage. En effet, les poids synaptiques sont attribués aléatoirement (en respectant tout de même certaines contraintes), à l'exception de la dernière couche de neurones qui est la couche de sortie. Étant donné qu’il faut optimiser les poids synaptiques de la dernière couche de neurones uniquement, cela permet de réduire considérablement le temps et la puissance de calcul nécessaires à la phase d’apprentissage. Outre les avantages liés au concept de reservoir computing lui-même, l’utilisation d’un reservoir computer analogique permettrait, selon les états de actuels de la recherche, d’encore accroître ces avantages en offrant des composants informatiques bien moins énergivores, plus rapides et capables de traiter de plus grandes quantités d’informations. En premier lieu, nous allons aborder les différentes étapes qui ont mené au développement du concept de reservoir computing. Pour ce faire, nous introduirons les concepts théoriques des réseaux de neurones artificiels qui en sont à la base. Par la suite, nous analyserons un cas particulier de reservoir computing à configuration optique totalement analogique pour les différents avantages qu’il procure. Deuxièmement, nous allons analyser le potentiel du reservoir computing en termes d’innovation et du point de vue commercial. Nous allons donc parcourir les différentes applications technologiques et commerciales de celui-ci. Et pour finir, nous exposerons les enjeux sociétaux liés au reservoir computing. Partie 1 : Fondements scientifiques et développements technologiques Le concept de reservoir computing tire principalement sa source des Echo State Networks et des Liquid State Machines. Ces deux sujets de recherche sont des adaptations de réseaux de neurones, dont il existe une multitude de déclinaisons. Ainsi, afin d'en expliquer l'essence, nous
  6. 6. 6 allons commencer par brièvement expliquer le plus simple d'entre ceux-ci, le Perceptron, ainsi que sa version plus élaborée, le Perceptron multicouches. Le Perceptron consiste en un réseau à une couche de neurones. Chaque input y est relié aux neurones de l'unique couche du Perceptron par des liaisons auxquelles sont associés des poids qui vont déterminer l'influence de chacun des inputs dans la détermination de l'output. Les neurones appliquent ensuite une transformation (appelée fonction d’activation) à la somme des signaux d’entrée qui lui parviennent. Les Perceptrons ne peuvent résoudre que des problèmes linéairement séparables, d’où l’introduction du Perceptron multicouches, qui permet donc un traitement non linéaire. Recurrent Neural Network (RNN) Ce type de réseau fonctionne de manière analogue aux précédents. Cependant, nous retrouvons ici des connections dites récurrentes, ce qui induit une dynamique d'auto-activation des neurones et dote ainsi le système d'une mémoire. Ceci en fait un outil très puissant, mais les RNNs sont malheureusement difficiles à paramétrer et coûteux en puissance de calcul. Ce sont ces problèmes qui ont incité la recherche à se pencher sur les Echo State Networks et les Liquid State Machine, qui forment ensemble la base du reservoir computing Echo State Network (ESN) Le modèle Echo State Network constitue un des principaux types de reservoir computing. Les ESNs sont généralement composés de trois parties : une couche d’entrée, un réservoir et une couche de sortie. Sa mise en place consiste en quatre étapes : premièrement la création d'un RNN qui servira de réservoir. Deuxièmement, les données d'entraînement passent dans le réservoir puis l'état de celui-ci est récolté ainsi que les signaux de sortie. La troisième étape consiste en l'entraînement des poids : c’est-à-dire que l'on va minimiser l'erreur du système utilisant un ensemble de données d'entraînement contenant des inputs et leurs résultats attendus. Cette méthode est dite “supervisée”. Dans le cas d’un entraînement non supervisé, il s’agira de déterminer et d’affiner des groupes de caractéristiques présentes dans les données. Finalement les poids optimaux sont enregistrés et serviront à analyser de nouveaux inputs. Liquid State Machine (LSM) Les Liquid State Machines utilisent un principe descriptible en examinant un plan d’eau sur lequel des objets sont lancés. Ceux-ci, en percutant la surface liquide, vont provoquer la formation d’ondulations, qui vont interagir et former des figures d’ondes caractéristiques des conditions du lancer de ces objets. En observant la surface d’eau ondulée en un instant t, il est donc possible de déduire des renseignements concernant les perturbations s’étant produites en t-1. De la même manière, le réservoir d’un LSM réagit aux inputs qui lui sont appliqués, et garde en quelque sorte en mémoire les perturbations ayant modifié son état. La structure du LSM est similaire à celle des ESNs. Elle se décompose elle aussi en trois unités : une couche d’entrée, un réservoir, appelé Liquid, et une couche de sortie. Celles-ci possèdent les mêmes fonctions que dans les ESNs. La dernière unité est la seule devant subir un entraînement pour optimiser son utilisation, ce qui constitue un gain de temps appréciable.
  7. 7. 7 Le modèle des LSMs, de par sa configuration, fonctionne à son plein potentiel grâce à un flot de données continu, et débite en conséquence des outputs également en continu ; ce qui en fait un modèle particulièrement adapté à de la reconnaissance vocale, iconographique, ou vidéo par exemple. Deux avantages principaux, communs aux ESNs et LSMs, sont, d’une part, leur puissance de calcul supérieure aux réseaux neuronaux traditionnels, et, d’autre part, l’immédiateté des premiers résultats. Reservoir computing Comme mentionné plus haut, le reservoir computing provient de l’unification des deux domaines de recherches ESN et LSM. Les caractéristiques autrefois propres aux LSMs ont été intégrées aux ESNs et vice-versa. Cependant, et bien que certains continuent à utiliser les appellations ESN et LSM, ces concepts ont évolué et le cadre théorique qui les entoure s’en retrouve donc plus large. Les réservoirs ne sont plus forcément uniformes. En effet, il est évident que des structures spécifiques peuvent obtenir de meilleurs résultats qu’un réservoir standard pour certaines tâches. Ainsi, la recherche tente désormais de comprendre les effets des diverses caractéristiques des réservoirs vis-à-vis de leurs performances pour une tâche donnée, ainsi que de développer des réservoirs adéquats pour ces tâches et de meilleures techniques d’entraînement. Les réservoirs ne sont donc plus aussi fixes, et plusieurs branches de recherche tentent de les optimiser au moyen de divers algorithmes. Reservoir computing photonique Dans cette partie, nous décrivons un type particulier de RC : le RC optique tout analogique. Il est caractérisé par le fait que le traitement de l’information en son sein se fait de manière entièrement analogique. En effet à l’entrée du RC, les données devant être traitées sont codées sur une source lumineuse, il s’agit dans le cas de l’article que nous avons considéré d’une SLED (Super Luminescent Electro-Diode). La sortie du réservoir est elle aussi sous forme analogique : le signal de sortie généré est un signal analogique électrique émis par une photodiode balancée et passant par un filtre passe-bas RLC jouant le rôle d’intégrateur : il fait la somme des états du réservoir multipliés par leurs poids de sortie. Les dynamiques au sein de ce RC optique peuvent être expliquées comme suit : le faisceau lumineux à l’entrée est codé par un modulateur, sur base des données à traiter. Ensuite ce signal lumineux est à nouveau modulé pour y appliquer les poids synaptiques des neurones par un deuxième modulateur. Ces neurones sont virtuels, ils sont représentés par un vecteur de transformations non linéaires appliquées au signal lumineux par ce deuxième modulateur. Le signal est ensuite couplé à un signal précédent par multiplexage temporel via une ligne de délai en fibre optique puis mesuré par une photodiode afin de coder leur somme sur un nouveau signal lumineux, laser celui-ci. Celui-ci sera alors séparé en deux : une partie ira alimenter une photodiode dont la sortie sera digitalisée afin d'entraîner le système, l’autre partie plus
  8. 8. 8 importante du signal sera injectée dans photodiode balancée (elle fait la différence entre deux signaux lumineux qui lui sont appliqués) après avoir été codée par un modulateur à double sortie pour permettre l’application des poids de sortie aussi bien positifs que négatifs au faisceau lumineux, ce qui est impossible avec un seul faisceau lumineux. Ceci est indispensable à la linéarisation. Enfin le signal analogique électrique émis par cette photodiode balancée sera appliqué à un filtre passe-bas placé en intégrateur afin de réaliser la somme des états du réservoir qui sont sous forme analogique électrique. Est alors obtenu le résultat toujours sous forme de signal analogique ; celui-ci sera finalement digitalisé pour pouvoir être analysé expérimentalement. Le traitement de l’information est dès lors terminé. Partie 2: Applications technologiques et économiques À l’heure actuelle, il est encore trop tôt pour exploiter pleinement le reservoir computing pour un usage commercial car cette technologie n’est pas encore assez mûre pour être implémentée de manière efficace, mais nous allons montrer à l’aide d’exemples concrets qu’il s’agit néanmoins d’une technologie dotée d’un très grand potentiel économique. Les possibilités d’applications sont nombreuses dès lors qu’il est admis que le reservoir computing peut traiter des données à très grande vitesse et que le traitement de données est utile dans bien des domaines. Nous avons donc choisi d’explorer quelques applications potentielles qui nous ont paru les plus prometteuses. Les puces photoniques Premièrement, des chercheurs de l’université de Gand ont démontré en 2014 la viabilité des puces photoniques utilisant le reservoir computing. Un des gros avantages de celles-ci est que la partie réservoir de ces puces n’utilise que des composants passifs et ne consomment donc quasiment pas d’énergie. Actuellement les chercheurs sont parvenus à reconnaître de l’information à un débit de 12,5Gbit/s grâce à cette puce, mais ils sont confiants dans le fait de pouvoir augmenter facilement ce débit à 100Gbit/s. La puce qu’ils ont développée en laboratoire a été réalisée sur une plate-forme “Silicon-on-insulator” (SOI) qui a l’avantage d’utiliser les technologies de production actuelles de l’industrie électronique des semi- conducteurs. Cela ouvre donc de belles perspectives de production de masse à bas coûts. Télécommunications Deuxièmement, le reservoir computing permettrait d’améliorer nos systèmes de télécommunications. Une étude menée par des chercheurs de l’université de Gand montre qu’un système photonique utilisant des puces nanomorphiques photoniques peut avoir d’impressionnantes performances en termes de régénération de signal sur une distance de 200km de fibre optique. En optimisant un peu le système, cela représenterait un candidat viable pour la prochaine génération de systèmes de télécommunications. Il reste tout de même deux challenges à surmonter avant de pouvoir envisager un usage commercial à grande échelle. Tout d’abord, il faut pouvoir augmenter la taille du réservoir pour qu’il puisse traiter des tâches plus complexes. Et deuxièmement, il faut pouvoir intégrer efficacement le système de lecture de
  9. 9. 9 l’output du réservoir car actuellement les photo-détecteurs utilisés pour cette tâche sont inefficaces et l’idéal serait donc d’avoir un système entièrement optique. Trading Le RC peut également être utilisé dans le domaine du trading. En effet, selon une étude de Michiel Callens, en entraînant un reservoir computing, il est possible de réaliser des prédictions approximatives des cours de bourse sur une période très courte, de l’ordre de 10 minutes. Étant donné que nous supposons que nos actions vont dépendre de la valeur d’autres actions se trouvant sur le marché, le fait d’utiliser celles-ci comme inputs à notre réservoir va permettre au système de réaliser des prédictions. C’est donc une forme de data-mining. M.Callens a ainsi réalisé l’expérience sur le cours de bourse d’une entreprise en comparant les prédictions réalisées grâce au reservoir computing à ceux d’une prédiction naïve, c’est-à-dire une prédiction qui se base sur les dernières valeurs observées du cours de l’entreprise. Il ressort de cette étude que le reservoir computing arrive à prévoir une estimation plutôt correcte du cours de bourse. Bien qu’utilisable, cette prédiction n’est pas assez aboutie pour être utilisée dans un système de trading automatisé. Malgré le manque de recherches sur l’application du reservoir computing dans le trading, qui est surtout dû au coût de la traduction des données en input pour le réservoir, certaines sociétés de trading sont très intéressées par cette application et par le profit que celle-ci leur pourrait leur apporter. Robotique et reconnaissance vocale Le reservoir computing a été testé avec succès en laboratoire notamment avec l'impressionnante démonstration du professeur Laurent Larger, qui a montré qu’un réservoir computer est capable de reconnaître plus d’un million de mots à la seconde. Le reservoir computing permet de repousser encore les limites des intelligences artificielles des robots et notamment de les rendre plus humains. Le concept de reservoir computing est utilisé avec succès dans les intelligences artificielles des robots humanoïdes Icub et ASIMO. Le projet Icub a été lancé en 2006 par l’ITT (Istituto Italiano di Tecnologia) et s’intègre dans un projet plus vaste rassemblant plusieurs universités européennes. Icub est capable d’apprendre comme un enfant le ferait, il est capable de jouer, de parler, de comprendre des phrases compliquées et possède même un début de conscience de lui-même. Un autre robot utilisant le reservoir computing est le robot humanoïde ASIMO développé par Honda à des fins de recherches. Grâce au reservoir computing, ASIMO est désormais capable de courir, d’éviter des obstacles, de reconnaître des visages, de parler, de pratiquer le langage des signes et d’apprendre de nouveaux gestes rien qu’en observant un humain les exécuter. De nombreuses universités ainsi que des entreprises telles que Honda et IBM ont déjà investi dans de la recherche sur le reservoir computing. Nous pouvons nous attendre à ce que de plus en plus d’entreprises technologiques se penchent sur le reservoir computing au fur et à mesure que cette technologie se développe.
  10. 10. 10 Prévention des crises d’épilepsie Le milieu médical possède déjà un moyen de prédire les crises d’épilepsie, en utilisant un électroencéphalogramme pour mesurer l’activité cérébrale. Cela permet au personnel soignant de pouvoir les contenir en administrant au patient des médicaments ou en réalisant une neurostimulation. Des tests quant à l’efficacité du reservoir computing ont tout d’abord été menés sur des rats et ensuite sur des patients humains. Les résultats sont très étonnants car dans les deux cas, l’utilisation du reservoir computing a surpassé les techniques actuelles utilisant l’électroencéphalogramme. Entraîner un réservoir avec des données, que ce soit avec les différentes formes d’épilepsie présentes chez les rats, ou bien en utilisant une étude réalisée sur des patients humains, permet d’obtenir des résultats probants concernant les animaux, mais une performance mitigée, bien qu’acceptable, concernant les êtres humains. Partie 3 : Dimensions sociétale et légale Dimension sociétale Le reservoir computing, de par sa capacité de traitement de l’information et d’adaptation, prend place au sein du vif débat sur l’intelligence artificielle. De nombreux scientifiques saluent ses applications prometteuses et bénéfiques à l’Homme, telles que l’analyse à grande échelle d’images satellite pour la lutte contre la pauvreté, mais dénoncent également les risques d’abus ou d’éventuelles pertes de contrôle. Ils réclament dès lors une réflexion en vue d’adopter des règles et accords internationaux qui limitent l’utilisation des intelligences artificielles. Les machines intelligentes voient leurs capacités augmenter continuellement et leurs limites constamment repoussées. Ce fut le cas, par exemple, pour la récente victoire d’AlphaGo contre le champion mondial du jeu de Go, exploit que l’on pensait impossible avant des années. Les réseaux neuronaux artificiels prennent une place de plus en plus importante dans nos vies car ils sont indispensables à de nombreuses applications actuelles ou en cours de développement dans des domaines tels que la mobilité, la finance, l’armement et la santé. Les voitures autonomes de Google, par exemple, ont parcouru plus de 2,3 millions de km et comptabilisent seulement un accident en tort. D’autres projets pilotes ont également été lancés en Europe et aux USA ces dernières années. De ce fait, l’espoir est de réduire de 90% les décès de la route d’ici 2050 mais des risques de hacking et de défaillances techniques subsistent. Le Trading à Haute Fréquence augmente la rentabilité des portefeuilles d’actifs mais fragilise le marché boursier en augmentant la volatilité des actifs. Différents crashes engendrant de lourdes pertes ont été causés par dysfonctionnements de software, failles dans les algorithmes ou utilisations abusives, malintentionnées et donc punissables de la part de traders. Dans le domaine militaire, l’utilisation d’armes capables de viser et tirer sans intervention humaine permettrait d’épargner la vie de nombreux soldats, mais pose de grandes questions
  11. 11. 11 éthiques et faciliterait la décision des dirigeants de rentrer en guerre. Les scientifiques craignent une course à l’armement. Les réseaux neuronaux sont également utiles au diagnostic de cancers ainsi qu’au choix de traitements personnalisés. En effet, étant donné que chaque tumeur est unique, le croisement des données (molécules, traitements administrés, réactions du patient, etc.) permettrait de trouver le traitement le plus adapté à chacun des cas en analysant les similitudes. La substitution de l’humain par des machines est possible pour des tâches de plus en plus complexes avec l’intelligence artificielle. De nombreux emplois sont donc menacés mais Mady Delvaux, présidente du groupe de travail sur la robotique pour le Parlement Européen, souligne tout de même l’opportunité de gain en compétitivité et, avec elle, une potentielle relocalisation de la production en Europe. Dimension légale Il n’existe actuellement pas de législation spécifique et adaptée à l’intelligence artificielle (IA) en Europe. Les robots industriels dépendent d’une directive européenne relative aux paramètres techniques et à la sécurité, qui n’inclut cependant pas l’intelligence propre au robot. Les machines dotées d’IA dépendent donc encore de la responsabilité du fait des choses. Cela signifie que la personne qui en a l’usage, la direction, et le contrôle, sera tenue responsable des dommages, sauf en cas de dysfonctionnement où l’on se retournera vers le fabriquant. Néanmoins, la condition de contrôle n’est plus remplie et les IA ne sont plus vraiment des choses. Le Parlement Européen travaille à la création d’un cadre légal adapté et parle même de la conception d’un statut propre aux intelligences artificielles. Cette idée est nuancée par des professionnels du droit qui craignent une déresponsabilisation des personnes impliquées dans la création des IA. La création d’une “personnalité électronique” octroierait des droits et responsabilités juridiques et financières propres, à l’instar de la personne morale pour une société. Mady Delvaux rappelle l’importance d’adopter une législation standardisée et flexible afin de faciliter le développement des technologies liées aux systèmes d’intelligence artificielle en Europe. Conclusion Bien que le concept de reservoir computing reste principalement limité à des projets de recherches, nous avons pu constater le grand potentiel commercial et technologique qu’il représente. En effet, ses propriétés intrinsèques lui permettent de se démarquer des autres réseaux neuronaux artificiels par sa plus grande simplicité, sa rapidité, ainsi que par sa consommation énergétique moindre. De ce fait, cela permet d’envisager le reservoir computing comme une innovation majeure, capable de repousser les limites des calculateurs actuellement disponibles. C’est d’autant plus vrai pour le reservoir computing optique étant donné qu’il
  12. 12. 12 utilise la lumière, dont les propriétés particulières augmentent grandement le débit de traitement de données et permet l’utilisation de composants passifs. Cependant, le reservoir computing nécessite de plus amples développements scientifiques pour pouvoir être exploité commercialement, raison pour laquelle il faudrait entreprendre plus de recherches dans le domaine. Au vu de son potentiel, le reservoir computing représente assurément une opportunité d’investissement à saisir.
  13. 13. 13 ANNEXES Origine du RC Le concept de reservoir computing provient de l’unification de plusieurs domaines de recherches. Les deux principaux étant l’Echo State Network et le Liquid State Machine qui relèvent tous les deux du domaine de la computational neuroscience dont les principes émanent principalement de la biologie. Tous deux s’inspirent du fonctionnement du cerveau humain afin de procéder à des calculs et traitements d’informations (inputs). Les réseaux de neurones artificiels dont il est question sont généralement structurés en plusieurs couches à travers lesquelles les inputs se propagent en subissant des transformations permettant le traitement d’informations, à l’instar des neurones humains. À côté de ces deux domaines principaux, nous trouvons également les techniques de backpropagation decorrelation qui proviennent quant à elles du domaine appelé machine learning, dont les fondements sont principalement statistiques. Ayant de nombreuses caractéristiques communes, les chercheurs à l’origine des différentes initiatives ont choisi de joindre leurs connaissances sous un même nom, à savoir le reservoir computing. Le reservoir computing repose sur des réseaux de neurones qui s’occupent du traitement à proprement parler de l’information. Réseaux de neurones Il existe une multitude de réseaux de neurones artificiels, chacun possédant des architectures, fonctionnalités et caractéristiques différentes.
  14. 14. 14 Perceptron et Perceptron mutli-couches Inventé en 1957, le Perceptron est considéré comme étant le réseau de neurones le plus simple. Il s’agit en fait d’un réseau à couche unique permettant la résolution de problèmes linéaires et fonctionnant uniquement en feed-forward. Cela signifie que, en dehors de la période d’apprentissage, les différents inputs traversent la mono-couche des neurones, qui sont tous connectés à l’unique sortie, sans former de cycle. A chaque connexion est également associée une certaine importance statistique, appelée poids synaptique. La combinaison linéaire de ceux- ci se voit ensuite appliquer une fonction d’activation qui permet un traitement des inputs. Au cours de la période d’apprentissage, l’output est évalué avec des échantillons d’inputs différents afin de définir les poids synaptiques optimaux fournissant le meilleur taux d’output correct. Le principe d’apprentissage de base veut que deux neurones excités conjointement voient un lien entre eux se créer ou se renforcer. Cette première version du Perceptron étant limitée aux problèmes de type linéaire, il a fallu envisager une version plus complexe dotée de plusieurs couches et sorties. C’est ainsi que le Perceptron à multicouches fut imaginé un peu moins de 30 ans plus tard et fut doté d’un système de rétropropagation. La rétropropagation consiste en l’analyse continue des outputs et des erreurs afin d’optimiser les poids synaptiques reliant chacun des neurones d’une couche à tous les neurones des couches adjacentes. Réseaux dynamiques et statiques Un réseau neuronal est qualifié de dynamique lorsque le système adapte continuellement ses propriétés au fur et à mesure qu’il reçoit et traite de l’information. Au contraire, les réseaux sont dits statiques lorsque l’output n’est utilisé que lors de la période d’apprentissage afin de fixer les poids synaptiques. Une fois cette étape effectuée, l’information est transmise en feedforward uniquement. [1]
  15. 15. 15 Au sein de la catégorie des réseaux dynamiques, l’on retrouve les réseaux récurrents. Recurrent Neural Network (RNN) Les Recurrent Neural Networks sont des réseaux de neurones dont chacun des paramètres sont optimisés. Au départ, le réseau est initialisé en attribuant aléatoirement des poids entre chaque neurone, puis le système est optimisé en ajustant les poids ainsi que les fonctions d’activation des neurones, jusqu’à ce que le Recurrent Neural Network arrive à un état minimisant l’erreur entre ce qui est donné en entrée et ce qui est attendu du réseau en sortie. [2] À la différence des simples réseaux de neurones de type feed-forward, les RNNs peuvent développer une dynamique d’auto-activation dans le temps qui les dotent ainsi d’une mémoire. Ce processus est entretenu par le système lui-même grâce à ses connections récurrentes ce qui, mathématiquement, en fait un système dynamique et non pas une simple fonction [3]. Les RNNs sont donc des outils très puissants, mais ceux-ci sont tout de même soumis à certaines contraintes :  Le changement graduel des paramètres du réseau de neurones pendant l’apprentissage mène à ce qui pourrait être appelé des points de non-retour à partir desquels l’information du gradient dégénère et ne peut plus mener à une erreur globalement minimale.  Changer un seul paramètre peut être coûteux en puissance de calcul, surtout si le réseau de neurones est grand.  Trouver des dépendances dans des systèmes avec de grandes mémoires est non trivial du fait que l’information du gradient diminue exponentiellement au cours du temps.  Les algorithmes d’apprentissage les plus avancés font appel à de nombreuses notions mathématiques et nécessitent un paramétrage complexe. L’utilisation des RNNs se voit dès lors réservée aux plus avertis. Ceci a mené à une nouvelle approche des RNNs, initiée par les travaux de Buonomano, et suivie par les travaux de Jaeger sur les Echo State Networks, ainsi que les travaux de Maess sur les Liquid State Machines.
  16. 16. 16 Différents éléments des réseaux de neurones et exemples Neurones Les neurones intervenant dans les réseaux de neurones et donc dans le reservoir computing sont dits formels. Il s’agit d’une représentation d’un neurone biologique. Ces neurones sont dotés de plusieurs entrées (ce qui correspond aux dendrites dans les neurones biologiques). Les signaux provenant de ces entrées sont additionnés ; le neurone y applique ensuite une fonction de transfert (qui correspond à l’action des axones). Les neurones utilisés dans le reservoir computing peuvent être soit analogiques soit numériques, et peuvent être soit simulés par ordinateur pour obtenir une réponse théorique, soit assemblés (dans un circuit par exemple) pour un traitement analogique. [4] En voici quelques exemples :  Neurones sigmoïdaux  Threshold logic gates  Tangente hyperbolique  Neurones de Fermi  Spiking neurons Exemple de circuit électronique pour une fonction d’activation (neurone) tangente hyperbolique :
  17. 17. 17 Poids Comme mentionné plus haut, les neurones sont reliés entre eux par des liens auxquels sont associés des poids, des coefficients, altérant l’effet de l’information qui est transmise au neurone suivant. Ce schéma représente une interconnexion où la valeur du poids est stockée sous sa forme analogique en tant que charge dans les deux condensateurs. Le circuit multiplie la différence de voltage des deux condensateurs avec le voltage d’entrée.
  18. 18. 18 Echo State Networks Introduction Les Echo State Networks fournissent une architecture déterminée pour l’entraînement supervisé des Recurrent Neural Networks [5]. Bien qu’il existe de nombreuses variantes, l’idée de base est de créer un grand Recurrent Neural Network fixe de manière aléatoire qui va appliquer au travers de chacun de ses neurones un filtre non-linéaire au signal d’entrée. Les signaux de sortie de ce Recurrent Neural Network, ou signaux de réponse, vont ensuite être assemblés par combinaison linéaire entraînable pour obtenir une sortie avec une erreur minimale par rapport à l’output désiré. L’avantage majeur de ce type d'entraînement est que le réservoir en tant que tel n’est pas entraîné de manière extensive, ce qui nécessite donc moins de connaissances ou encore d’expérience par rapport aux algorithmes d'entraînement. Étapes simplifiées de la réalisation d’un Echo State Network  Création d’un Recurrent Neural Network fixe et aléatoire. Le choix des neurones ainsi que leur nombre sont libres, mais influencent bien sûr les performances. Ce RNN fera office de réservoir.  Récupération de l’état du réservoir : les données d'entraînement sont passées dans le réservoir, puis l’état du réservoir et les signaux de sortie (qui sont donc des transformations non linéaires des signaux d’entrée) sont récoltés.  Apprentissage : celui-ci peut se faire de deux manières. Il peut être supervisé ou non. Dans le premier cas, les outputs attendus pour les inputs d'entraînement (teacher outputs) sont fournis au système qui se chargera ensuite de minimiser l’erreur entre les deux, en ajustant ses poids de sorties par l’application de techniques de régression linéaire sur les poids de sortie. Dans le second cas, le système ne reçoit que les inputs, et doit décider par lui-même sur quels éléments se baser pour grouper les données. Il existe aussi des méthodes intermédiaires, qui ne donnent par exemple qu’une partie du teacher output.  Ces poids seront enregistrés et serviront à analyser de nouveaux inputs en utilisant le même réservoir. Comme précisé précédemment, il existe plusieurs variantes aux Echo State Networks. Il en existe comportant différents types de neurones, avec ou sans connexions directes entre l’input (et donc elles aussi entraînables) et l’output, avec des feedbacks vers les réservoirs etc. En ce qui concerne l'entraînement des poids de sortie, celui-ci peut être réalisé par n’importe quel algorithme de régression linéaire. Représentation mathématique des Echo State Networks : Chaque neurone applique une transformation aux signaux qui lui parviennent. Dans ce cas, les transformations sont traduites mathématiquement comme suit :
  19. 19. 19 où x(n) est l’état du réservoir au temps discret n, 𝑓 est la fonction d’activation du neurone, W est la matrice de poids du réservoir, est la matrice de poids du signal d’entrée, u(n) est le signal d’entrée, est la matrice de feedback (pas forcément présente) et y(n) est le signal de sortie. L’état du système étendu z(n) = [x(n) ; u(n)] au temps n’est obtenu en joignant le signal d’entrée à l’état du réservoir. Le signal de sortie s’obtient à partir de ce système étendu comme suit : Où g est une autre fonction d’activation, qui est typiquement une fonction identité, mais peut aussi être une sigmoïde ou autre, et Wout est la matrice de poids du signal de sortie qui sera entraînée [4]. Conditions de fonctionnement 1. Echo state property : Cette propriété signifie que le réservoir va asymptotiquement effacer toute information sur ses conditions initiales, que le réseau oublie progressivement son état initial. Cette condition est empiriquement vérifiée lorsque le spectre radial de la matrice de poids du réservoir est inférieur à 1. 2. Les tâches données aux Echo State Networks ne peuvent nécessiter une mémoire non- limitée dans le temps. Liquid State Machine Introduction Avant de nous attaquer à l’explication proprement dite de ce type de reservoir computing, il nous semble également important d’introduire le sujet de manière didactique ; ce dernier est en effet complexe, à l’instar du thème principal.
  20. 20. 20 L’approche choisie se base sur une analogie, celle d’un réservoir d’eau dans lequel plusieurs objets sont jetés. Lorsque ceux-ci pénètrent dans l’eau, ils provoquent la formation de vagues, d’ondulations à la surface de l’eau, dont les caractéristiques sont liées au type de projectile. En reproduisant cette expérience en faisant varier le type d’objets lancés et les intervalles de temps entre les lancers, des modèles particuliers, uniques, de vagues peuvent être observés. L’eau permet ici de visualiser les ondes de propagation dues à une perturbation ; elle intègre et capture des informations relatives aux événements récents qui l’ont affectée. En examinant la surface du réservoir d’eau à un temps t, il est donc possible de déduire des renseignements concernant la/les perturbation(s) s’étant produites en t-1. Une capture d’image instantanée de la surface d’eau en t permet bien sûr de voir l’état de la surface d’eau à cet instant t, mais révèle également des informations temporelles et spatiales sur les événements ayant eu lieu avant t, et en t. Cette analogie illustre l’idée sous-jacente derrière les Liquid State Machines (LSM, ou Machines à État Liquide MEL), celle de convertir des données entrantes (inputs) temporelles en une représentation spatiale par le biais d’un support pouvant être stimulé, le liquide ; c’est ensuite en apprenant à « lire l’état du liquide [6] » que des informations peuvent être inférées au sujet des données entrantes temporelles. Principe et conception L’appellation « Liquid State » provient du fait qu’un des composants des LSM a été conçu de façon à réagir d’une manière semblable à celle d’un réservoir d’eau liquide, c’est-à-dire de manière dynamique à des perturbations, des inputs. Cet élément proprement dit est simplement nommé « Liquid » dans les modèles LSM ; nous le détaillerons par après, en même temps que les autres composants du système. Les LSM, ainsi que les ESN abordés précédemment, sont des algorithmes relativement nouveaux qui peuvent traiter des problèmes contenant des données de séries chronologiques. Dans ces deux grands modèles, un liquide (ou réservoir) reçoit comme inputs des données de séries chronologiques, qui le font passer par des états dynamiques, qui dépendent du flux d’informations temporel. Le liquide est ensuite lu après une période temporelle spécifique par un réseau de lecture entraîné à représenter l’état d’un liquide selon un output particulier. La configuration théorique d’une machine à état liquide est présentée à la figure ci-dessous.
  21. 21. 21 Nous remarquons tout d’abord les deux éléments principaux, et indispensables, du modèle, à savoir le Liquid et le Readout. Notons en outre la présence de composants de conversion, qui peuvent s’avérer nécessaire lorsque le signal d’input n’est pas adapté au Liquid qui suit immédiatement. Détaillons maintenant les différents composants en présence : Unité de conversion : c’est l’élément qui convertit l’input envoyé dans le système de manière à le rendre exploitable par le réservoir, le Liquid, qui suit. Le signal d’entrée peut être continu ou discret ; selon le type d’utilisation de la MEL, l’unité de conversion modifiera le type du signal, passant de continue à discret (dans le cas d’un traitement par ordinateur par exemple) et inversement. La conversion peut également intervenir lorsque le Liquid consiste en un « Spiking Neural Network » ; ce type de réseau, sur lequel nous reviendrons, requiert que les signaux soient sous forme de pics. Dans ce cas, il est donc nécessaire de convertir les données entrantes en ce qui est appelé des trains de pics, qui sont des séries de pics survenant à des instants différents. Liquid (ou réservoir) : c’est le cœur du modèle qui nous occupe. Il est composé d’un ensemble de neurones artificiels, et plus précisément dans ce cas, d’un « spiking neural network ». Cela consiste en un certain nombre de neurones, ayant chacun leur propre état d’activation, autrement appelé le potentiel de membrane (référence directe à la biologie). Des connections sont établies d’un neurone à l’autre ; les points de contact sont appelés synapses. Chaque input appliqué à un neurone change son potentiel de membrane ; si ce changement porte le potentiel au-delà d’un certain seuil (pic, voir figure 1) appelé le seuil de décharge, le neurone émet un signal vers les autres neurones qui lui sont connectés. Ensuite, si le neurone ne reçoit plus d’input, le potentiel de membrane retombe jusqu’au potentiel de repos, près à réémettre dès qu’il aura reçu suffisamment d’inputs. Ce processus de décharge implique que les anciennes informations, en quelque sorte stockées dans le neurone, disparaissent au fur et à mesure pour faire place aux nouvelles ; cette mémoire évolutive s’appelle « fading memory ».
  22. 22. 22 Figure 1 : seuil de décharge, ou pic, d'un neurone, et schéma biologique correspondant Notons en outre que l’ensemble des neurones sont répartis "spatialement", toujours virtuellement bien sûr, au moyen d’un retard temporel défini. De cette manière, les connections entre neurones s’effectuent en fonction de leur agencement ; des neurones proches auront plus de chances de s’interconnecter que des neurones éloignés l’un de l’autre. Par ce biais, la propagation d’informations dans le Liquid semble suivre une certaine structure, notamment grâce aux connections récurrentes qui empêchent l’arrêt pur et simple du signal lorsque celui- ci atteint les bords virtuels du Liquid. Ces connections aléatoires sont adaptées à n’importe quel type de tâche et constituent d’ailleurs l’un des points forts du modèle LSM, qui est que le Liquid n’est pas lié à une tâche unique, et qu’il est donc possible de l’exploiter pour exécuter plusieurs tâches simultanément. C’est donc ce système complexe de neurones fonctionnant par pics qui reproduit en quelque sorte le comportement d’un réservoir d’eau (d’où l’appellation Liquid) ; il réagit aux inputs qui lui sont appliqués en émettant un signal qui sera ensuite exploité. Il sert de préprocesseur en amplifiant la gamme de fonctions possibles issues des flux d’inputs que la MEL peut apprendre. Unité Readout : c’est la fonction d’une MEL qui va, à partir d’une capture d’image instantanée de l’état du Liquid qui est appelée « readout moment », tirer des conclusions sur l’échantillon. Elle est définie comme une fonction qui transforme les états internes du Liquid en des valeurs d’output définies, afin de pouvoir exploiter les résultats. C’est la seule partie du modèle qui nécessite un entraînement ; cela permet d’éviter l’étape fastidieuse de l’entraînement du Liquid, qui est comme évoqué précédemment un « spiking neural network ». Le readout peut alors reconnaître les inputs grâce aux échantillons appréhendés précédemment. Le modèle LSM fonctionne idéalement de manière continue ; il est capable de gérer un flux d’informations permanent, et débite également en output un flux continu. Deux propriétés fondamentales du Liquid peuvent enfin être notées. La première concerne la séparation : il s’agit de la capacité du Liquid à montrer une activité différente pour différents
  23. 23. 23 échantillons. La deuxième est l’approximation : c’est la capacité de l’unité Readout à rendre compte de l’activité du Liquid selon les résultats désirés. Avantages Le modèle des Liquid State Machines présentent plusieurs avantages : Les MEL utilisent un « spiking neural network », et donc des « spiking neurons » ; ces derniers, qui communiquent en envoyant des pulsations, ont montré au cours de leur développement une puissance de calcul supérieure aux neurones codés traditionnellement ; Le fonctionnement des MEL impliquant un « spiking neural network » qui ne nécessite pas d’entraînement, ce lourd processus est évité dans la conception, ce qui implique un gain de temps considérable par rapport à d’autres méthodes ; Le modèle MEL est capable de fournir une réponse demandée à n’importe quel instant, que l’input soit en cours de traitement ou ait déjà été traité. Il n’est donc pas nécessaire d’attendre la fin d’un calcul pour obtenir les premiers résultats ; Les MEL sont donc multitâches comme évoqué précédemment. Plusieurs tâches peuvent donc être effectuées parallèlement, que ce soit pour des inputs différents, ou pour un input unique traité de plusieurs manières ; Enfin, le modèle qui nous occupe est réaliste du point de vue biologique. Il s’avère donc très utile dans l’étude du système nerveux, du cerveau, et notamment du cortex, partie du cerveau qui effectue des calculs sur des flux d’inputs permanents. Reservoir computing Comme mentionné plus haut, le reservoir computing provient de l’unification des deux domaines de recherches expliqués à l’instant (ESN & LSM). Cependant, et bien que certains continuent à utiliser les appellations ESN et LSM, ces concepts ont évolué et le cadre théorique qui les entoure s’en retrouve donc plus large. Les caractéristiques autrefois propres aux LSM ont été intégrées aux ESN et vice-versa. Les réservoirs ne sont plus forcément uniformes. En effet, il est évident que des structures spécifiques peuvent obtenir de meilleurs résultats qu’un réservoir standard. Ainsi, la recherche s’évertue désormais à comprendre les effets des diverses caractéristiques des réservoirs vis-à- vis de leurs performances pour une tâche donnée, ainsi que de développer des réservoirs adéquats pour ces tâches et de meilleures techniques d’entraînement. [3] Les réservoirs ne sont donc plus aussi fixes, et plusieurs branches de recherche tentent de les optimiser avec divers algorithmes (ex. Evolino, Genetic Algorithms). Il est aussi fait mention d’adaptation des réservoirs grâce à des règles d’apprentissage non supervisées. [2] Nous retrouvons ainsi une définition plus actuelle du reservoir computing qui est d’entraîner le reservoir et le readout séparément et différemment.
  24. 24. 24 Reservoir computer optique Introduction Dans cette partie de notre travail, nous allons décrire un type de reservoir computer complètement analogique. Nous avons choisi pour ce faire de nous baser sur un article [7] en particulier, récemment sorti, qui selon nous met bien en valeur la façon dont fonctionne le reservoir computing et permet également d’avoir une bonne visualisation d’une concrétisation du concept de reservoir computing, étant donné qu’il s’agit d’un champ de recherche scientifique assez large. Parmi les différents types de reservoir computer, les RC analogiques sont remarquables pour leur rapidité et en particulier les RC analogiques travaillant avec des signaux lumineux. En effet, le fait de travailler avec la lumière permet une vitesse de transfert des données quasiment instantanée. La lumière permet également différents types de multiplexages pour accroître la capacité du RC (aussi bien temporelle que fréquentielle). Cependant, ces RC sont actuellement limités par deux éléments : d’une part, le "nombre" de neurones qui composent le réservoir et, d’autre part, le fait qu’il faille un pré- et/ou un post- processing des données depuis le numérique vers l’analogique, à l’entrée et à la sortie. Le nombre de neurones limite la performance du RC dans la mesure où, au plus il y a de neurones, au plus l’information peut être traitée rapidement. Au plus également les neurones peuvent se baser sur un nombre important d’états des neurones « avoisinants » issus d’étapes temporelles antérieures pour déterminer les états du réservoir (pour rappel, les RC optiques travaillent en unités de temps discrètes afin de différencier les états des neurones à différents moments). D’un autre côté, ce nombre de neurones est aussi limité à la hausse. Avoir trop de neurones dans un même système entraîne des problèmes de bandes passantes et de pertes (par exemple dans la ligne de délai si elle devient trop longue). Le fait que, pour l’instant, il faille encore pré- et/ou post-processer les données pour les transformer en forme analogique prend beaucoup de temps en comparaison avec la vitesse à laquelle les informations sont traitées dans le réservoir s’il était entièrement analogique. Dans cet article, il est proposé d’utiliser un réservoir computer tout analogique. Ainsi les données à l’entrée sont analogiques tout comme celles à la sortie. Il y a dans ce modèle de RC deux étapes importantes : premièrement la transformation et le codage du signal d’entrée en analogique lumineux (implémentation d’une couche d’entrée analogique) et deuxièmement la génération d’un signal de sortie analogique électrique (implémentation d’une couche de sortie analogique). L’implémentation de la couche d’entrée analogique est relativement simple comparée à l’implémentation de la couche de sortie. En effet la couche d’entrée consiste en le codage du signal d’entrée puis sa multiplication par des poids aléatoires. La difficulté de l’implémentation d’une couche de sortie analogique réside dans le fait que la compilation des états du réservoir nécessaire au calcul du résultat du RC doit se faire en appliquant des poids arbitraires positifs et négatifs aux états de ce réservoir, et ensuite de les additionner, ce qui demande une précision et une capacité de calcul importantes. De plus, le fait de travailler avec la lumière ne permet pas
  25. 25. 25 directement d’effectuer ces opérations étant donné que la lumière ne peut pas prendre de valeur négative. Il a donc fallu mettre au point un système permettant de telles opérations sous forme analogique. [7] [8] Le réservoir computer optique : présentation générale Un RC est généralement composé de trois parties distinctes : une couche d’entrée, le réservoir en tant que tel et enfin la couche de sortie. La première et la deuxième partie sont les parties particulièrement concernées par l’article utilisé. L’explication et la description de chacune de ces parties se fera ci-après ; nous pouvons cependant déjà remarquer le trajet du signal lumineux d’une extrémité à l’autre du reservoir computer. Nous pouvons également noter l’existence d’une ligne de délai, l’existence de deux sources lumineuses, de plusieurs modulateurs d’intensité lumineuse, … Leur rôle sera expliqué plus bas. Couche d’entrée analogique du réservoir computer
  26. 26. 26 Nous pouvons voir dans le schéma ci-dessus que la couche d’entrée est composée de deux parties : le lieu où l’on introduit le signal lumineux codé sur base de l’input u(t), et ensuite le lieu où on applique le masque m(t) au signal lumineux codé. Dans un réservoir computer basé sur une dynamique de délai avec un seul neurone non linéaire, le masque d’entrée est primordial parce qu’il casse la dynamique du système en donnant à chaque variable interne xi(n) une dépendance différente sur les données d’entrée u(n). Le signal d’entrée optique est généré au moyen d’une source lumineuse super luminescente (SLED). L’utilisation d’une source de lumière incohérente empêche les interférences entre le signal entré dans la cavité (le réservoir) et le signal déjà présent dans la cavité qui est lui cohérent puisqu’il vient d’une source de lumière cohérente (le laser dans le schéma du réservoir qui sera vu plus loin). Ce faisceau lumineux est une première fois modulé par un modulateur d’intensité lumineuse Mach-Zehnder. Ce modulateur MZ génère un signal optique en fonction d’un signal électrique qui lui est soumis. Dans ce cas-ci, il est appliqué au modulateur MZ un signal proportionnel aux données d’entrée u(t). Ce signal u(t) est généré par un Arbitrary Waveform Generator (AWG). L’intensité du signal optique est alors entré dans le réservoir computer et est donné par : Où les données d’entrée u(t) ont été redimensionnées de façon à ce qu’elles soient comprises dans l’intervalle [0, 1]. I0 est l’intensité lumineuse de la SLED utilisée comme source. La multiplication de ce signal optique par le masque d’entrée m(t) est ensuite effectuée. Pour ce faire, nous utilisons exactement la même méthode que pour coder la SLED comme le montre le schéma. Le signal optique après multiplication par le masque d’entrée a une intensité : Ici aussi le masque m(t) est déterminé dans l’intervalle [0 , 1]. Le signal optique passe ensuite dans un atténuateur optique afin d’ajuster la force du signal d’entrée dans le réservoir (il s’agit du coefficient β dans l’équation de la dynamique du système qui sera décrite plus loin). Le signal arrivera ensuite dans la photodiode à feedback qui produira un signal proportionnel à (où T représente le temps du signal lumineux de passage dans la ligne de délai et T’ le temps de traiter l’ensemble des N données d’entrée u(t)) αx(t − T) + βm(t)u(t). Le AWG génère une tension :
  27. 27. 27 Où Vπ est la tension de demi phase du modulateur MZ. Ce modulateur MZ est ajusté de sorte à ce que le masque m(t) soit : À noter que la phase dans la tension générée par le AWG est telle qu’elle est annulée pour les t = nT’ quand le signal d’entrée u(t) est discontinu. De cette façon, le signal envoyé dans le réservoir est une fonction continue et ainsi la synchronisation entre le signal d’entrée u(t) et le masque m(t) est grandement simplifiée. Il semble également que les performances obtenues dépendent fortement de p et qu’elles sont significativement améliorées lorsque le masque mp(t) contient deux fréquences p/T’ et q/T’. Le masque d’entrée est alors donné par : Et le signal optique introduit dans le réservoir s’annule donc toujours pour t = nT’ et assure donc la continuité de celui-ci. Le réservoir optoélectronique Le réservoir est constitué d’une ligne de délai et d’un seul neurone non linéaire. La ligne de délai est une fibre optique d’environ 1.7 km de long. Elle permet un multiplexage temporel des données dans le réservoir, c’est-à-dire des états xi du réservoir qui sont représentés par une certaine intensité lumineuse comprise dans une certaine fenêtre temporelle. Lorsque la lumière arrive à la fin de la ligne de délai, elle est ajoutée au signal d’entrée du réservoir. L’addition des deux faisceaux lumineux est faite par une photodiode à feedback qui transforme la somme des deux rayons lumineux en une certaine tension qui va ensuite être amplifiée pour venir finalement diriger un modulateur MZ. Ce modulateur MZ va donc coder les informations contenues dans le signal reçu de la photodiode sur le laser, comme cela est visible sur le schéma.
  28. 28. 28 Le signal sinusoïdal optique généré par le modulateur MZ est alors utilisé comme le signal non linéaire du réservoir. Le signal de sortie du modulateur MZ est séparé en deux faisceaux ayant chacun 50% de l’intensité lumineuse dudit signal. La première moitié est envoyée dans la couche de sortie et l’autre moitié est, elle envoyée dans la ligne de délai. L’atténuateur optique permet d’ajuster le gain de feedback de la cavité. Le temps de passage dans la ligne de délai est d’environ T ≈ 8.4µs. La dynamique du système peut alors être exprimée de la façon suivante : En considérant un réservoir avec N variables internes, en définissant la durée θ de chaque variable interne par la relation T = (N + k)θ (où T est le temps de passage dans la ligne de délai et k est le degré de désynchronisation que l’on souhaite obtenir). Le signal est alors converti en unité de temps discrète u(n) en un signal continu u(t) pour un une durée T’= Nθ . De cette façon en temps continu, le signal d’entrée du réservoir est représenté par un signal : u(t)= u(n) où t ϵ ](n-1) T’ , nT’ ] La valeur de la variable interne xi(n) est donnée par la valeur moyenne de x(t) sur l’intervalle ](i-1)θ+(n-1)T’ , i θ+(n-1)T’]. La valeur interne xi(n) est déterminée par la donnée d’entrée u(n) multipliée par le masque d’entrée mi. En temps continu le masque d’entrée est représenté par une fonction m(t) de période T’. La dynamique temporelle du système peut être représentée par : En unité de temps discrète, la dynamique a la forme suivante : Cette équation est en fait l’équation d’évolution des données au sein du réservoir, associée à ce modèle. Couche de sortie analogique du réservoir computer
  29. 29. 29 La couche de sortie doit produire le résultat y(n) du réservoir computer. Cela se fait en deux étapes : premièrement la mesure des états internes du réservoir x(t) et deuxièmement produit le résultat y(n) lui-même. Comme montré sur le schéma ci-dessus, le signal optique est séparé en deux : 30% est dirigé vers une photodiode de sortie qui transforme le signal optique en un signal analogique électrique qui est ensuite enregistré dans un digitaliseur. Ce signal sera utilisé durant la phase d’entraînement pour calculer les états internes du réservoir x(t) et les coefficients de sortie Wi. Les 70% restants arrivent dans un modulateur MZ à double sortie. Ces deux sorties sont complémentaires et connectées à l’entrée d’une photodiode balancée. La raison pour laquelle on utilise un tel processus est que pour générer le résultat y(n) du réservoir computer, il faut pouvoir appliquer des poids positifs et négatifs aux états internes du réservoir. L’utilisation d’un modulateur MZ à double sortie couplé à une photodiode balancée permet d’appliquer des poids positifs ou négatifs aux états internes du réservoir. Le signal ensuite émis par la photodiode balancée est filtrée par un filtre passe bas RLC donc le rôle est d’accomplir une intégration analogique des états internes du réservoir une fois que leur poids Wi leur a été appliqué. Le résultat du filtre RLC est ensuite amplifiée puis enregistré dans le digitaliseur. Le signal résultant à chaque instant t = nT’ est le résultat du réservoir computer y(n). Ces résultats y(n) sont alors récupérés pour être comparés aux résultats de modèles différents de réservoir computer ayant opéré le même type de tâches. Les performances du système peuvent alors être déterminées comparées aux meilleurs modèles établis jusqu’ici (qui ne sont pas forcément analogiques). Le modulateur MZ à double sortie dans cette couche de sortie est dirigé par un signal produit par un AWG. Cet AWG génère une fonction continue dans le temps w(t). De la sorte, le signal à la sortie du modulateur MZ est w(t).x(t). En écrivant h(t) la fonction de réponse du filtre RLC suivi de l’amplificateur, le signal de sortie qui sera enregistré par le digitaliseur yc(t) s’exprime de la façon suivante :
  30. 30. 30 L’intégration se faisant via le filtre disposé comme intégrateur, celle-ci se fait sur un intervalle de temps τ∈]−∞,t]. La fonction w(t) des poids est donc une fonction périodique de période T’ définie par : Où pour rappel θ est la durée de chaque état du réservoir. La fonction de résultat du réservoir y(n) étant exprimée en unités discrètes de temps, elle est égale à la valeur de la fonction de résultat du réservoir yc(n) en temps continu au temps nT’. On a donc : y(n) = yc(nT’). On peut l’exprimer de la façon suivante : Conclusions sur le RC photonique Dans cet article est présenté un type de réservoir computer tout analogique. En effet, un ordinateur n’y est utilisé uniquement que pour calculer les poids arbitraires appliqués dans la fonction de sortie du réservoir Wi. Ce modèle met donc en avant une façon de faire passer un signal entièrement analogique au sein d’un réservoir computer et ouvre ainsi la voie à des développements futurs. Il est une étape clé dans le développement d’implémentations futures dans d’autres outils informatiques ainsi que dans le développement d’ordinateurs analogiques dédiés au process de tâches impliquant des signaux complexes à large bande. Cet article constitue également une preuve de principe quant à la faisabilité d’un réservoir computer totalement autonome, et représente donc une étape importante vers la mise en cascade ou en chaîne de réservoirs computers entre eux. Bien que de nombreux problèmes techniques restent à résoudre, qu’une des difficultés majeurs réside dans la précision de calcul nécessaire au grand nombre de facteurs modifiables dans un tel système, ou encore le fait que juste qu’ici il semble qu’il faille adapter le filtre de sortie à la tâche pour assurer la performance du réservoir computer et qu’aucune raison n’ait encore été trouvée pour cela, la recherche expérimentale sur les réservoirs computers analogiques optiques semble ouvrir des portes de développement technologique aux outils de calcul et de processing actuels pour accroître leur capacité et leur efficacité tout en assurant une utilisation grandement réduite d’énergie de par le fait que les éléments optiques sont passifs et nécessitent dès lors très peu d’énergie. Un autre point à soulever est le fait que jusqu’ici le reservoir computer analogique reste assez peu précis comparé au digital. Cela s’explique par le fait qu’en digital tout est calculé « à la virgule près » alors qu’en analogique, les systèmes sont très fortement sensibles au bruit et sont donc forcés de réaliser des approximations. Ceci dit, les chercheurs mettent en place des systèmes pour réduire cet impact dû au bruit qui atteint le réservoir computer : ils ont introduit dans les données servant à l’entraînement un bruit de façon intentionnelle de façon à rendre le système plus robuste au bruit. En effet, en mettant du bruit dans les sets de données utilisées
  31. 31. 31 pour réaliser l’entraînement du réservoir computer, les poids appliqués aux données tiennent compte de ce bruit et permettent de rendre le système moins sensible à celui-ci. Même si cet article est récent (il date du 3 mars 2016), de nouvelles avancées ont déjà été réalisées dans ce secteur de la recherche. En effet, en utilisant les caractéristiques de la lumière pour opérer un multiplexage spatial en parallèle, les performances de tels réservoirs computers ont pu être améliorées : le multiplexage en parallèle permet de travailler plusieurs données simultanément mais aussi de réduire les pertes et les perturbations occasionnées par le passage du signal optique dans la fibre optique de délai. Cela a nécessité quelques aménagements comme l’utilisation de sources de lumières différentes et implique des développements mathématiques plus complexes. Un autre élément amené par ce nouveau modèle de réservoir computer tout analogique est l’utilisation d’un intégrateur entièrement optique c’est-à-dire que les poids Wi sont également calculés analogiquement, ce qui n’est pas encore le cas dans l’exemple décrit ci-dessus. Applications technologiques et commerciales À l’heure actuelle, il est encore trop tôt pour exploiter le reservoir computing directement pour un usage commercial et il est souvent considéré comme de la recherche fondamentale mais nous allons montrer à l’aide d’exemples concrets qu’il s’agit néanmoins d’une technologie avec un très grand potentiel économique. Le secteur privé tout comme le secteur public ont donc tout intérêt à investir massivement dans le reservoir computing pour pouvoir exploiter cette opportunité ; d’ailleurs la Hewlett-Packard Development Company [9] et l’université de Gand [10] ont tous deux déjà déposé un brevet lié au reservoir computing. Les possibilités d’applications sont quasiment infinies dès lors que l’on sait que le reservoir computing peut traiter des données à très grande vitesse et que le traitement de données est utile dans d’innombrables domaines. Nous avons donc choisi d’explorer quelques applications potentielles qui nous ont paru les plus prometteuses. Les puces photoniques avec reservoir computing Bien que l’idée ne soit pas nouvelle, les puces photoniques par opposition aux puces électroniques sont une innovation relativement récente. Elles font de plus en plus parler d’elles de par leurs performances potentielles impressionnantes et l’annonce en mai 2015 de la création d’une puce photonique par IBM [11]. L’entreprise avait en effet annoncé la création d’une puce photonique capable de transférer des données à un débit de 100Gbits/s pour des applications dans les centres de données et le Big Data. Ce qui est intéressant, c’est que le reservoir computing représente un grand potentiel dans le domaine des puces photoniques. Actuellement, les puces photoniques telles que celles en développement chez IBM servent à transférer des données et ont donc vocation d’améliorer les
  32. 32. 32 émetteurs/récepteurs. En revanche elles ne peuvent pas efficacement traiter et interpréter cette information et c’est là que le reservoir computing intervient. Un article scientifique [12] publié par Kristof Vandoorne et ses collaborateurs en mars 2014 démontre l’efficacité des puces photoniques en silicium utilisant le reservoir computing pour différentes tâches telles que des opérations booléennes avec mémoire ainsi que de la reconnaissance d’information tenant en 5 bits et encore de la reconnaissance vocale de chiffres. Dans cet article, il est question d’une puce expérimentale à 16 nœuds (cf. fig2). Un des gros avantages de celle-ci est que la partie “réservoir” de la puce n’utilise que des composants passifs et ne consomme donc quasiment pas d’énergie. Cette puce a une surface totale de 16 mm2 mais sa taille peut encore être réduite. Figure 2 : Architecture de la puce expérimentale à 16 nœuds dans une configuration 4x4. Toutes les connexions sont bidirectionnelles mais avec seulement un input (la flèche noire), la lumière se propage en suivant les flèches bleues. La puce étudiée en laboratoire par ces chercheurs est potentiellement capable de traiter plusieurs centaines de Gbits/s mais ils ont dû se limiter à 12,5 Gbits/s étant donné les limitations techniques imposées par l’input et l’output, c’est-à-dire par les modulateurs et les détecteurs à leur disposition. Bien que le taux d’erreur dans l'interprétation de l’information par la puce ne soit pas encore négligeable, ceci démontre quand même le potentiel des puces photoniques utilisant le reservoir computing. Cette puce a été réalisée sur une plate-forme “Silicon-on-insulator” (SOI) qui a l’avantage d’utiliser les technologies de production actuelles de l’industrie électronique des semi- conducteurs. Cela ouvre donc de belles perspectives de productions de masse à bas coûts. En conclusion, étant donné les performances remarquables de cette puce expérimentale, cela ouvre la voie à une toute nouvelle manière de traiter l’information de manière ultra-rapide et très peu gourmande en énergie. Ces puces permettront de créer des ordinateurs spécialisés pour certaines tâches, beaucoup plus rapides qu’aujourd’hui, et dotés d’une puissance de calcul presque sans limite. Ceci implique la possibilité de pouvoir traiter des problèmes pratiques que nos ordinateurs actuels ne sont pas capables de résoudre efficacement, comme par exemple la prédiction de catastrophes naturelles telles que des tsunamis, tremblements de terres, etc. Il serait même potentiellement possible de prédire des crises boursières. De plus, nous pourrions exploiter de tels ordinateurs dans les
  33. 33. 33 systèmes de télécommunications et dans le domaine de l’imagerie médicale pour pouvoir classer et traiter les images. Le reservoir computing dans les télécommunications L’université de Gand et l’Université Libre de Bruxelles ont depuis plusieurs années entrepris beaucoup de recherches et d’expérimentations sur le reservoir computing en vue d’améliorer nos systèmes de télécommunications actuels. Des chercheurs de l’université de Gand ont publié en 2015 un article scientifique intitulé “photonic reservoir computing approaches to nanoscale computation” [13] dans lequel ils démontrent que les puces nanomorphiques photoniques utilisant le reservoir computing sont un candidat plus que viable pour la nouvelle génération de systèmes de télécommunication. L’expérience décrite dans leur article utilise une puce à 16 nœuds très similaire à celle décrite précédemment. Les chercheurs ont montré qu’un système photonique utilisant des puces nanomorphiques photoniques peut avoir d’impressionnantes performances en termes de régénération de signal sur une distance de 200km de fibre optique. Un tel système permettrait de traiter des images directement depuis un signal optique, typiquement d’usage dans les systèmes de télécommunication moderne, tout en consommant peu d’énergie et avec une très grande bande passante. Il reste tout de même deux challenges à surmonter pour un usage commercial à grande échelle. Premièrement, il faut pouvoir augmenter la taille du réservoir pour qu’il puisse traiter des tâches plus complexes. En effet, le fait d’utiliser des nœuds passifs permet d’être plus efficient au niveau de la consommation énergétique mais à cause des pertes dans le système, le signal optique ne peut pas aller suffisamment loin que pour pouvoir utiliser la pleine capacité d’un réservoir plus large. Un deuxième challenge est d’intégrer efficacement le système de lecture de l’output du réservoir. Actuellement, il faut plusieurs photo-détecteurs assez onéreux pour exploiter le système. En plus de cela, ces détecteurs sont assez inefficients énergétiquement. Application du RC au Trading Le RC peut également être utilisé dans la finance et plus particulièrement au niveau du « day- trading ». Il s’agit tout d’abord d’expliquer en quoi le « day-trading » diffère du trading habituel. Il s’agit d’une pratique réalisée par les traders consistant à acheter et à vendre des produits financiers durant un très court laps de temps. Cela se joue souvent à l’heure, à la minute, voire à la seconde près. Ce type de spéculation à très courte durée est une forme de trading à haute fréquence. Selon une étude de Michiel Callens, étant donné qu’en pratiquant le day-trading, le spéculateur peut garder ses actions/son capital investi(es) pendant un temps aussi court que 30 minutes, il a été décidé de fixer une période de prévision de 10 minutes. L’entraînement du réservoir sera donc effectué sur cette période prédéfinie.
  34. 34. 34 Étant donné que les actions vont supposément être influencées par la valeur d’autres actions se trouvant sur le marché, le fait d’utiliser ces autres stocks comme inputs au réservoir va pouvoir être plus que bénéfique aux prédictions. Figure 3: Chaque signal est d'abord transformé en signal d’entrée, après quoi celui-ci passe par un saut de phase aléatoire de ≠ fi ou + fi ajoutés. Ces signaux sont ensuite additionnés et seulement alors, ils sont transmis aux amplificateurs optique à semi-conducteur (AOS). Exemple de performance : La figure 4 ci-dessous nous montre les résultats d’une expérience réalisée sur la SMA (Simple Moving Average) des actions de l’entreprise ACKB. En effet, les données se trouvant à gauche de la ligne rouge ont été utilisées dans la phase de training de notre réservoir. Les nouvelles données se trouvant à droite ne sont que pures prédictions réalisées grâce au réservoir. Nous retrouvons donc trois courbes sur notre graphique : la valeur réelle de l’action (en bleu), la prédiction naïve, c’est-à-dire une prédiction qui se base sur la dernière valeur observée (en rouge) et notre prédiction réalisée grâce au reservoir computing (en vert).
  35. 35. 35 Figure 4 : Exemple de résultat sur un ensemble de données. Trois agrandissements ont été réalisés et expliqués respectivement dans les figures 4.1, 4.2 and 4.3. Lorsque nous analysons la figure 4.1, on peut remarquer que la prédiction (en vert) rejoint la tendance recherchée (en bleu) mais surtout, change avant la prédiction naïve. C’est particulièrement bien visible au point 22.150 où notre prédiction coïncide avec la valeur de l’action. Nous notons qu’un trader ayant eu accès à notre technologie aurait pu prédire la valeur de l’action pratiquement 10 minutes avant la prédiction naïve. Figure 4.1: Zoom n°1 de la figure 4. Malheureusement, lorsque nous regardons la figure 4.2 de plus près, nous pouvons nous apercevoir que notre prédiction dépasse la valeur actuelle. Cet effet indésirable pourrait induire notre trader en erreur et le pousser à prendre de mauvaises décisions.
  36. 36. 36 Figure 4.2: Zoom n°2 de la figure 4. Cette dernière figure nous montre qu’il arrive à notre courbe de ne pas saisir directement la tendance affichée par la valeur du SMA [14]. Malgré le fait que notre prédiction détecte le changement de tendance en même temps que la prédiction naïve (au point 22.720), elle arrive tout de même à se corriger rapidement. Bien que notre prédiction a échoué à détecter le changement de tendance, elle surpasse largement la prédiction naïve en prédisant une meilleure estimation du SMA. Figure 4.3: Zoom n°3 de la figure 4. Cette expérience nous a permis de voir que le reservoir computing arrive à donner une estimation plutôt correcte du SMA du cours de l’action ACKB. Bien qu’utilisable, l’utilisation de notre prédiction n’est pas encore optimale dans un système de trading automatisé. Malheureusement le manque de recherches sur l’application du RC au trading est surtout dû au fait que la traduction des données en input pour le réservoir est très difficile et coûte extrêmement cher. Il va de soi que certaines entreprises spécialisées dans le trading sont, en
  37. 37. 37 effet, intéressées par l’utilisation du RC pour le trading à haute fréquence. Si les recherches vont bon train, les performances du réservoir pourront très vite être transformées en profit. RC au niveau de la détection des crises d’épilepsie : L’épilepsie est un trouble neurologique du cerveau qui atteint environ 1% de la population mondiale (à peu près 100.000 personnes en Belgique) [14]. Ce dysfonctionnement est caractérisé par des crises épileptiques qui apparaissent de manière récurrente. Les chercheurs ont découvert un moyen de prédire ces crises avant qu’elles n’apparaissent. Les récentes recherches [15] dans le domaine médical ont permis de découvrir que le reservoir computing pourrait détecter les crises d’épilepsie de manière plus précise que les méthodes conventionnelles. Des tests ont été menés sur des animaux et plus précisément sur des rats. Les résultats sont très étonnants car dans tous les cas, l’utilisation du reservoir computing en analysant les différentes données, a surpassé les techniques actuelles utilisant l’électroencéphalogramme. Les nombres de FPPS (False Positive Per Seizure), tout comme ceux de FNPS (False Negative Per Seizure) ainsi que le délai de détection ont significativement diminué grâce à l’apport du RC.
  38. 38. 38 Figure 5 [6] : Représentation des performances du système entraîné, soit en utilisant l’ensemble des données disponibles avec (AL*) ou sans Active Learning (full), ou soit en utilisant un sous-ensemble de données avec (AL) ou sans Active Learning (small). Les 6 graphiques ci-dessous nous montrent la performance réalisée en utilisant ou non notre système RC entraîné, soit sur l’ensemble des données disponibles, soit sur un sous-ensemble de données choisies aléatoirement. Nous remarquons tout d’abord 2 colonnes, représentant 2 types de crises épileptiques différentes présentes chez les rats, ainsi que 3 rangées représentant les résultats des différentes expériences respectivement sur les FPPS, FNPS, et sur le délai de détection des crises. La figure 5 nous montre qu’avec un nombre restreint de données (small), il y a un plus grand nombre de FPPS et FNPS. Concernant le délai de détection, il n'y a pas de règle générale valable pour les deux ensembles de données. Par contre, lorsque l’Active Learning est utilisé (AL sur la figure 5), l’amélioration est notable. Nous remarquons par contre un nombre égal ou inférieur d’apparitions de FPPS lorsque l’ensemble des données est utilisé (full et AL*). Il en est de même avec le nombre de crises manquées (FNPS). Même si la meilleure solution reste l’utilisation de l’ensemble des données (AL*), les résultats suivant l’utilisation de l’Active Learning sont fort semblables. Maintenant que le RC a atteint des résultats prometteurs concernant la détection des crises d’épilepsies sur les animaux, nous allons nous intéresser aux résultats qu’il peut apporter sur les humains. Tout comme pour les animaux, nous allons analyser les résultats qu’apporte le RC grâce à l’Active Learning sur les patients humains atteints de crise épileptique. Nous allons baser notre étude sur un ensemble de données qui ont été collectées lors d’une étude au « Children’s Hospital Boston », appelée « Scalp dattes » [16]. Celle-ci consiste à analyser les enregistrements d’électroencéphalogrammes de 24 patients du service pédiatrique atteints d’épilepsie. Ils ont été suivis pendant plusieurs jours après retrait de leurs médicaments antiépileptiques afin de caractériser leurs symptômes et d’évaluer si une intervention chirurgicale est nécessaire.
  39. 39. 39 Figure 6 : Le nombre de FPPS, de FNPS ainsi que le temps de détection pour la méthode de détection des crises d’épilepsie basée soit, sur le RC (E), soit en utilisant la technique de détection générale (G) et comparés avec l’expérimentation de l’Active Learning sur le “Scalp dataset”. Le nombre de FPPS varie de 0 à 10 et le délai de détection de -20 à 40 secondes. [17] Les résultats expérimentaux présentés dans la figure 6 montrent que l’AL réduit de manière significative le nombre de fausses crises à un très raisonnable 0,5 FPPS pour l'ensemble des données Scalp. Le délai de détection diminue légèrement ; par contre, le nombre de crises manquées (FNPS) est passé de 28% à 36% pour l'ensemble de données. Bien que ce type d’AL provoque de nombreux FNPS, il peut être considéré comme une technique possible pour la réalisation d'un détecteur de crise spécifique au patient. Ce nombre pourrait même diminuer si le système devait être utilisé sur des périodes de temps plus longues puisque de meilleurs résultats sont atteints si toutes les données sont utilisées et pas seulement
  40. 40. 40 une partie. Malheureusement, plus de tests doivent être réalisés pour obtenir des résultats dignes de ce nom, mais nous sommes sur la bonne voie. Pour conclure, le fait d’entraîner notre réservoir en utilisant les symptômes d’une crise d’épilepsie ainsi que les données de l’état d’activité neuro-cérébrale du patient fournies par l’électroencéphalogramme permettent d’obtenir des résultats probants concernant les animaux, par contre une performance mitigée bien qu’acceptable concernant les êtres humains. Le réservoir computing et la reconnaissance vocale De nos jours, les ordinateurs surpassent notre cerveau dans de nombreux domaines mais il subsiste tout de même des exceptions. Par exemple, les tâches complexes requérant de l’apprentissage comme la classification et l’identification de mots. Le reservoir computing peut pallier à cette faiblesse comme l’a démontré le professeur Laurent Larger [18] de l’institut FEMTO-ST et son équipe grâce à son démonstrateur en 2011. Ce démonstrateur de reservoir computing a reconnu plus d’un million de mots à la seconde. Avec de telles performances, le reservoir computing photonique a largement dépassé ce qu’il est possible de faire numériquement. [19] Figure 7: Démonstrateur de reservoir computing photonique (Romain Martinenghi / FEMTO- ST) Le système fonctionne sur base de lumière injectée dans une fibre optique enroulée servant de réservoir. Le réseau de neurones artificielles n’est pas réparti spatialement mais temporellement. Ce système a beau reconnaître des mots tels que des chiffres isolés a une vitesse hallucinante, il faut le perfectionner afin qu’il puisse à terme comprendre et interpréter des phrases à cette même vitesse. Dans le cadre du projet Icub, de très belles performances ont été obtenues pour des phrases complexes comme nous le détaillons plus bas dans la section liée à la robotique.
  41. 41. 41 Le reservoir computing en robotique Le reservoir computing est actuellement une des pistes d’amélioration les plus prometteuses au niveau de l’intelligence artificielle et la robotique. De nombreuses recherches sont déjà entreprises dans ce but avec les célèbres robots Icub et Asimo. Le robot Icub Figure 8 : Démonstration du Robot Icub lors du salon Innorobo 2014 à Lyon. Le projet Icub, développé initialement par l’IIT (The Istituto Italiano di Tecnologia) dans le cadre du projet RobotCub en 2006 qui regroupe plusieurs universités européennes, consiste en la création d’un robot humanoïde intelligent en open-source. Le projet utilise la technologie du reservoir computing et a montré des résultats très encourageants qui démontrent une nouvelle fois la viabilité du reservoir computing. Le robot Icub réalisé par l'équipe dirigée par Peter Ford Dominey de l'unité Inserm 846 (Institut pour les cellules souches et cerveau de Lyon) est doté de 53 moteurs pour pouvoir bouger sa tête, ses bras, ses jambes, son buste et ses jambes. Il est équipé d’un système lui permettant d’entendre, de parler et de percevoir les mouvements et la configuration de son corps grâce à des accéléromètres. Il est capable de comprendre ce qu'on lui dit et d'anticiper la fin d'une phrase. Il est aussi capable de comprendre et d’exécuter des tâches manuelles comme déplacer un objet précis à un endroit précis. Les chercheurs ont notamment posté une vidéo sur internet
  42. 42. 42 dans laquelle ils demandent oralement au robot de pointer du doigt une guitare (représentée par une boite) et ensuite de déplacer un violon (aussi représenté par une boite) sur la gauche. Cette prouesse technologique a été rendue possible par le reservoir computing. Cette technologie permet au robot d'apprendre, puis de comprendre des phrases nouvelles, avec une structure grammaticale nouvelle. Il peut faire le lien entre deux phrases et peut même prédire la fin de la phrase avant qu'elle ne survienne. Ces travaux ont été publiés par Xavier Hinaut et Peter F. Dominey dans la revue Plos One et dans la revue Frontiers in NeuroRobotics. [20] Grâce au reservoir computing le robot Icub peut de manière plus générale, apprendre une grande variété de tâches comme le ferait un enfant. Des chercheurs de l’Universitat Pompeu Fabra (UPF) ont notamment réussi à lui apprendre à jouer un jeu de tennis virtuel appelé en anglais “paddle war”. C’est un jeu dans lequel chacun des joueurs doit tenir un pad en plastique et doit envoyer une balle virtuelle dans le but adverse tout en empêchant son adversaire de marquer des buts. Les chercheurs ont même réussi à lui inculquer différentes émotions et l’on peut voir dans une de leurs vidéos de démonstration que le robot se comporte et parle presque comme un enfant en train de jouer durant la partie de “paddle war”. Le robot fait par exemple des commentaires comme “got it !”, “haha” ou encore “bloody hell !”. Figure 9 : Robot Icub en train de jouer au jeu “paddle war” avec un des chercheurs. Dans la figure ci-dessous, on peut voir qu’une des chercheuses caresse le robot et celui-ci y réagit en disant “I like when you touch me in this way”, le fait que le robot se rende compte de la signification de ce geste ou du moins qu’il réagisse comme si c’était le cas est très impressionnant.
  43. 43. 43 Figure 10 : Une des chercheuses caresse le robot [21] Une autre étude démontre que le robot Icub commence même désormais à avoir un début de conscience de lui-même. [22] À terme, une intelligence artificielle utilisant le reservoir computing pourrait donc permettre de grandement augmenter l’intelligence artificielle des robots et de les rendre plus “humains”. D’ailleurs, Peter Ford Dominey a dit en 2013 dans un article de presse [23] : « Aujourd’hui, les ingénieurs ne peuvent tout simplement pas programmer toutes les connaissances requises dans un robot. Nous savons maintenant que la façon dont les robots vont acquérir leur connaissance du monde sera réalisable en partie grâce à l'apprentissage - comme le font les enfants. » Le robot ASIMO ASIMO est le célèbre robot humanoïde développé par Honda à des fins de recherches. Le première version d’ASIMO remonte à octobre 2000 et en est aujourd’hui à sa 6ème version. Les recherches menées dans le cadre du projet ASIMO ont permis de mieux comprendre la marche humaine et l’intelligence artificielle.
  44. 44. 44 Les chercheurs peuvent apprendre de nouveaux gestes à ASIMO rien qu’en les lui montrant [24]. Grâce au reservoir computing, le robot peut en effet analyser le geste montré par un humain, et le reproduire. Le reservoir computing permet à ASIMO de faire de véritables prouesses. En effet ASIMO peut modifier sa trajectoire tout en marchant alors que les autres robots intelligents doivent s’arrêter pour pouvoir changer de trajectoire. Mais ce n’est pas tout, ASIMO peut aussi courir, parler, pratiquer le langage des signes, reconnaître des visages, sauter à cloche pied et mémoriser des choses. Il est par exemple capable de reconnaître une personne qu’il a déjà vue auparavant. Risques et dimensions sociétale et légale : Craintes et espoirs de la communauté scientifique Étant un réseau de neurones artificiels et donc doté d’une capacité à traiter et interpréter à très grande vitesse les informations reçues, le reservoir computing vient prendre place au sein du très actif débat entourant l’intelligence artificielle. En effet, l’intelligence artificielle (IA) a fait couler beaucoup d’encre ces dernières années. Que ce soit l’opinion publique, les media, de hauts responsables ou d’éminents scientifiques, tous s’interrogent sur son avenir ; certains se montrant plus inquiets que d’autres comme le montre cette déclaration du très célèbre physicien Stephen Hawking qui estime que « le développement d'une intelligence artificielle complète pourrait sonner le glas de l'humanité » car les humains, limités par une lente évolution biologique, ne seraient plus en mesure de rivaliser. Elon Musk, fondateur de Tesla, qualifie l’IA de « potentiellement plus dangereuse que les bombes atomiques ». Tous deux avertissent de la possibilité que l’IA puisse évoluer à point surpassant le contrôle humain. Bill Gates, qui s’oppose à l’avis d’Eric Horvitz, chef de recherche chez Microsoft, considère également l’IA comme une menace [25]. Ces trois grands noms se sont joints à l’action de l’institut américain Future of Life, qui est à la source d’une lettre ouverte signée par des centaines de scientifiques et qui réclame des recherches approfondies sur l’impact sociétal potentiel de l’IA afin que celle-ci reste bénéfique à la société [26]. Ces scientifiques affirment que les bénéfices sont majeurs car l’intelligence artificielle pourrait par exemple aider à trouver une solution à la pauvreté en collectant et analysant des informations sur images satellite permettant de cartographier celle-ci. La crainte que les signataires expriment est liée à une potentielle mauvaise programmation ou son utilisation par des personnes malveillantes [27]. Sans limite : De Deep Blue à AlphaGo Grande star des années 90, Deep Blue, ordinateur développé par IBM dès 1985 fut la première pièce d’intelligence artificielle à remporter une partie d’échec contre un champion mondial en titre, à savoir, Garry Kasparov. La compétition se fit en 6 parties (1996-1997) dont la première fut gagnée par Kasparov et au cours desquelles la machine fut améliorée, d’où son surnom « Deeper Blue ».
  45. 45. 45 En mars 2016, AlphaGo gagna 4-1 contre Lee Sedol, champion mondial du jeu de la décennie - le jeu de go - et fut le premier programme à battre un joueur professionnel humain alors que l’on croyait cet exploit possible au mieux dans dix ans. Ce jeu originaire de Chine, et vieux de plus de 2500 ans, est beaucoup plus complexe que les échecs car les positions possibles sont aussi nombreuses que le nombre d’atomes dans l’univers. Le programme s’appuie sur des méthodes d’intelligence artificielle de base utilisant des réseaux de neurones pour imiter les joueurs professionnels et améliorer le programme en apprenant de parties jouées contre lui- même [28]. Dimension sociétale : Les exemples qui suivent ne sont certes pas exhaustifs, mais bien représentatifs des opportunités mais aussi des risques liés à l’intelligence artificielle et ses potentielles dérives dans de nombreux domaines. MOBILITE : Voitures autonomes Les véhicules autonomes de Google, qui arpentent les routes américaines depuis plus de 6 ans, correspondent aujourd’hui à plus de 2,3 millions de kilomètres parcourus en mode autonome et 17 accidents pour lesquels la faute incombait à autrui. Cependant, le 14 février 2016 marqua le 1er accident impliquant une voiture robotisée en tort [29]. Bien que l’accident fut bénin, il souleva néanmoins des questions de responsabilité. La justice américaine, par le biais de la National Highway Traffic Safety Administration (NHTSA), prit position et reconnut dès lors le système d’intelligence artificielle des véhicules autonomes comme des conducteurs à part entière si le véhicule satisfait aux normes techniques de sécurité et en absence de contrôle humain. Les responsables de Google ne nièrent pas leur part de responsabilité et ont dès lors adapté leurs algorithmes afin d’améliorer le processus décisionnel. Ils clament cependant que la fiabilité de leurs voitures reste de loin supérieure à celle des conducteurs humains. Une étude de la “Virginia Tech University” affirme que les voitures autonomes de Google ont un taux de 3,2 accidents par million de miles contre 4,2 pour les conducteurs humains. Cependant, beaucoup d’accidents mineurs entre humains ne sont pas reportés à la police et certains potentiels accidents de voitures autonomes furent évités par intervention humaine [30]. La

×