Dominique Gruyer, Univ Gustave Eiffel Perception, IA et Mobilité Autonome

1. Perception et IA,
une nécessité pour la mobilité automatisé.
Avantages et limites
Séminaire IA VA du 26/11/2021
Dominique Gruyer
Sio-Song Ieng
Mokrane Hadj-Bachir
Séminaire « Intelligence Artificielle et Véhicules Automatisés»
(Episode 1: Perception pour les VA)

2. Des humains / usagers qui
Utilisent / interagissent / coopèrent
avec des
Technologies et des moyens de
mobilité sur
Des infrastructures dédiées et
adaptées pour se
Déplacer efficacement et de manière
optimale selon
4 critères principaux (sécurité / énergie
et pollution / mobilité / confort et santé)
pour des
Objectifs personnels ou économiques
Conducteurs/
Usagers
Technologies
/Systèmes
Trafic/
Mobilités
Routes/
Infrastructures
critères:
Sécurité
Energie
Trafic
Confort-Santé
Fortes interactions et dependences
des contraintes et des acteurs
Agglomérations, villes, territoires
Société
2
Les domaines
ont besoin
d’information
L’éco-système de la mobilité terrestre
Mobilité automatisé: Trains, Navettes, Transports en commun,
Véhicules automatisés individuels, Drones …

3. • Causes de la majorité des accidents: les
défaillances humaines:
• manque de visibilité,
• saisie d’information sommaire ou précipitée,
• détournement de l’attention,
• mauvaise compréhension,
• mauvaise anticipation.
• Causes secondaires:
• alcool,
• inexpérience,
• transgression des règles,
• fatigue et vigilance,
• âge,
• conditions climatiques
• Constatation: remédier aux défaillances
humaines
• Nécessité de l’aider pour les tâches de
Perception, Interprétation, Décision, Action
• Développement de systèmes d’aide à la conduite
embarqués actifs et/ou informatifs
• Oui, mais quels systèmes, quels modélisations→ IA?
Le VA et l’IA, pour quoi faire?
Une question de sécurité, d’énergie, de pollution, de mobilité, et de confort

4. Mais l’IA, qu’est ce que c’est?
Essai de définition et différence avec l’humain
La conduite automatisée: processus stochastique avec une tendance non déterministes (non répétables) et peut donner des réponses
qui ne sont correctes qu’avec une certaine probabilité. Ceci amène la notion d’incertitude.
• L’humain n’apprend pas la conduite durant 20 heures mais depuis sa naissance (perception, identification, reconnaissance, compréhension)
L'humain, quant à lui, extrait des règles, des symboles et des abstractions de haut niveau de chaque environnement et les utilise
pour extrapoler à de nouveaux paramètres et scénarios sans avoir besoin d'une formation explicite.
L’IA est l’ensemble des théories, techniques, méthodes, et algorithmes permettant de reproduire et de simuler « au
mieux » l’intelligence humaine et ses principes de résolution de problèmes: perception, identification, reconnaissance,
segmentation.
Suivant le problème à traiter et les informations à disposition, l’IA par apprentissage peut être déclinée en 2 approches globales:
• Par extrapolation: Extraire des règles à partir de données éparse et les appliquer à l'ensemble de l'espace du problème.
• Par interpolation: Utilise un échantillonnage très riche de l'espace du problème pour calculer les espaces entre les échantillons.
• L’apprentissage (Deep Learning) est fondamentalement défectueux car il ne peut qu'interpoler.
• Les réseaux de neurones profonds extraient des modèles de données paramétriques, mais ils ne développent pas de modèles
causaux de leur environnement.
• Nécessité d’entrainer le réseau précisément sur les différentes nuances du problème qu'ils veulent résoudre.
• Quelle que soit la quantité de données sur laquelle un algorithme d'apprentissage est entrainé, on ne peut pas lui faire confiance, car il y
aura toujours de nombreuses situations nouvelles où il échouera (comment expliquer la raison de la défaillance?).
Sans la notion d’abstraction et de manipulation de symboles, les algorithmes de Deep Learning ne pourront pas atteindre des capacités de
conduite de l’humain. L’amélioration peut-être par l’IA hybride, qui combine des ANN et une IA symbolique pour donner la capacité de
traiter les abstractions.

5. Mais l’IA, qu’est ce que c’est
Proposition d’une modélisation/caractérisation des IAs
C’est dans les années 70 que Herbert Simon a proposé un schéma de la prise de décision
suffisamment général pour pouvoir être reconnu comme un modèle canonique de la
décision.
L’adaptation de ce modèle et de ses 4 phases permet de modéliser/caractériser l’IA.
 La première phase s’occupe du diagnostic du problème et de l’exploration-reconnaissance des
conditions dans lesquelles il se pose : c’est la phase d’intelligence (au sens militaire de renseignement).
Cette phase correspond à la modélisation/représentation des connaissances:.
 La seconde phase est la phase de conception et de formulation des voies possibles offertes à la
résolution du problème. Approches par extrapolation, par interpolation, par apprentissage ou non,
paramétrique ou non …
 La troisième phase se charge du choix d’un mode d’action particulier parmi les actions possibles :
c’est la phase de sélection et de décision. Cette étape consiste à faire un choix et à donner une solution
acceptable et sous contrainte parmi toutes les solutions possibles. Mise en place de stratégies et
logiques de raisonnement: causal, inductive, déductive.
 Et enfin nous avons la phase d’évaluation de la solution provisoirement retenue comme satisfaisante.
Cette phase, appelée phase de bilan, peut déboucher sur la réactivation de l’une des trois phases
précédentes ou, au contraire, sur la validation de la solution reconnue comme satisfaisante. C’est lié à la
notion d’apprentissage (classique, concurrent, avec récompense, …)
• cadre de discernement,
• référentiel de définition,
• Sources spécialisées (bba et
bbf: basic belief function),
• espace des épreuves  ,
• espace des évènements 
• Graphe
• Espace de mesures floues
• Chaine de Markov
Objectifs:
• Optimisation et recherche
opérationnelle,
• Réduction de dimension,
reconnaissance de forme,
Méthodes:
• Approches supervisées
(classification)
• Approches non supervisées
(Clustering)
• Régressions linéaire/non linéaires
• Parcours de graphe
• Association, combinaison
• Bio-inspiration
,
• Mesures de décision (plausibilité,
crédibilité, communalité,
propbabilité, nécessité,
possibilité…)
• Programmation logique
• Fonctions d’activation
• Défuzzification
• Fonction cout
• Reward
• Niveau de conflit, de
contradiction, d’ambiguïté
• Niveau de confiance
• …

6. L’IA n’est pas que supervisée et par apprentissage!
Essai de synthétique et de classification des principales approches d’IA

7. La perception pour le VA, qu’est ce que c’est?
Beaucoup de données, de capteurs, d’acteurs, … d’objectifs
Machine Learning et la perception: de multiple objectifs
Exemple d’architecture de perception dynamique locale

8. Capteur Neuromorphique: inspiration du vivant
Détection et suivre les objets dynamiques de la scène
Une caméra nouvelle génération qui simule la vision biologique
Les informations sont:
• position de l’événement → pos=(x,y)
• La date de l’événement : t
• La variation de la luminosité (polarisation):
vl=1 (éclaircissement), 0 (assombrissement)
Passage de
l’intensité sombre de
route à une couleur
plus claire de la
voiture : vl=1
Passage de
l’intensité claire de la
voiture à la couleur
plus sombre de la
route : vl=0
Détection des obstacles avec le sens de déplacement
Détection des piétons
traversant la rue
Détection des véhicules
sur l’autoroute

9. Détection et suivi d’obstacles: Projet TORNADO et YOLO v3
Comment aider le VAC a passer les points singuliers avec une aide de l’infrastructure
Objectif: Le système de perception sur l’infrastructure diffuse les informations de
détection qui sont reprojetées dans une carte HD dans le VA
YOLOv3:
• topologie petite et simple
• réseau fortement convolutif par opposition aux autres réseaux ayant des
couches entièrement connectées pour la classification (FCN).
• Détection à partir d’images facile et rapide
Yolov3 offre la capacité de traiter des images de n'importe quelle taille.
Mais il y a un problème:
• nombreux paramètres de réseau.
• Plus la structure est simple, plus les équations sont complexes
Solution:
• Augmentation de la résolution.
• Loss function complexe avec 3 niveaux de paramètres différents
YOLOv3 utilise 3 niveaux de détection (3 tailles de bounding boxes) et10 étapes
de résolution différentes (convolution).
.
https://blog.paperspace.com/how-to-implement-a-yolo-object-detector-in-pytorch/
Non détection

10. Détection et suivi des marquages routiers,
Approche par fusion multi-capteur et par approche multi-agents
Méthodes IA: multi-agents, régression non linéaire, clustering, classification,
algorithme Hongrois (couplage de cardinalité optimale).
Utilisation: KAIROS, eFuture, Have-it, ABV, CooPerCom …
Thèse Marc Revilloud
(VEDECOM-UGE)
Travail D. Gruyer, S.S. Ieng, M. Revilloud, E. Pollard
(UGE)

11. Détection et suivi des marquages routiers,
Approche par fusion multi-capteur et par approche multi-agents
TED : Taux de détection de la voie courante.
TFD : Taux de Fausse Détection
TA : Taux d’ambiguïté
TND: Taux de Non Détection
Agents
Mobileye

12. Ego-localisation par approche bio-inspirée:
L’OKPS: fusion des méthodes SWARM et particulaire
• Une localisation hybride réactive et coopérative s’appuyant sur l’utilisation
de particules, du SWARM, et d’un rééchantillonnage
• Gestion dynamique de la distribution des particules: mécanisme d’attraction
et répulsion
• Adaptation d’une méta-heuristique d’optimisation (PSO) à un problème de
localisation
• Stratégie de gestion locale/global de l’évolution pour un compromis
réactivité/coopérativité
• Mise en œuvre d’une fonction de Fitness adaptée (poids des particules)
• Approche intégrant l’inertie, la performance locale, la performance globale
• Particules plus efficace que dans le PF (moins de rééchantillonnage)
Position
courante
Meilleure
performance
personnelle Pb
Meilleure
performance du
voisinage Gb
Nouvelle
Position
Direction courante
(inertie)
Comportement
Tendances
Optimisation PSO
Fitness

13. Quantifier et modéliser la qualité et les performances des données et des capteurs
Quelques échantillons d’images de
La base de test MIO-TCD
Matrices de confusion pour 4 classes sans OOD (gauche) et avec 50% d’OOD (droite)
Résultat de classification d’images incluant des échantillons “in-distribution” et OOD
Nombre d’échantillons OOD détectés en
fonction du seuil de rejet.
• Approche avec UBC : Gestion de l'incertitude pour la classification
d'objets en Deep Learning dans un environnement de conduite autonome
• Méthode de Deep Learning par théorie des croyances (EDL)
• Algorithme modifié pour classer différents véhicules routiers à partir de
l'ensemble de données MIO-TCD (surveillance du trafic)
• Entrainement d’un réseau AlexNet pour collecter des croyances sur chaque
label de classe et les utiliser pour calculer les paramètres d'une distribution
de Dirichlet

14. Avantages et inconvénients intrinsèques
Approches à base d’IA par apprentissage
• Les systèmes de perception à base d’IA (par apprentissage) peuvent fonctionner plus rapidement, plus efficacement, plus précisément, de manière
potentiellement plus fiable et impartiale que les humains sur un large éventail de problèmes (si bien ciblé)
• Le système par apprentissage ne peut reproduire que ce qu’on lui a appris: nécessité de disposer de dataset de très grande taille représentant les
cas d’usage les plus pertinent et représentatifs
• cas d’usage du fonctionnement nominal
• cas d’usage en fonctionnement critique
• défaillances capteurs dues à des conditions environnementales défavorables
• Signalisation illisible et non disponible
• Bruit sur les données
• Difficile d’introduire des dépendances de causalité spatiale, temporelle, évènements
• Graphes, bases de règles, calcul des prédicats du premier ordre et langage dynamique (programme s’adaptant en temps réel: système de rétro propagation et
de preuve de règles (preuve de convergence))
• Il faut pouvoir modéliser des connaissances incertaines
• Probabilité
• Théorie des croyances
• Problème d’explicabilité en cas de résultat dégradé ou faux et de quantification de la qualité des données :
• Comment une IA parvient à des conclusions a longtemps été considérée comme un mystère.
• Le domaine de l'explicabilité est encore un défis: quel niveau de déterminisme?
• Des méthodes proposées mais instables: En cas de petite variation dans la perception: problème de répétabilité, réplicabilité,
• Proposition: construire des bases de données d’explications « correctes » → recherche de faits susceptibles d’expliquer une décision
• La quantification de l’incertitude peut aider à empêcher l'IA de produire des décisions/diagnostics trop confiants
• Problème d’apprentissage renforcé, apprentissage à la volé, apprentissage temps réel
• Comment valider la consistance et quelle confiance donner?
• Problème de non régression: nouvelle version globalement meilleure mais certain cas
• L’IA devrait prendre des décisions de manière plus impartiale que les humains.
• Mais problème possible de biais intégrés dans les données sur lesquelles les IA sont entrainées → Peut entraîner une discrimination automatisée.
• L’IA manque de sens commun: la capacité à parvenir à des conclusions acceptables et logiques basées sur un vaste contexte de connaissances que
les humains tiennent généralement pour acquis:
• Coder et modéliser le raisonnent, les conflits, et les ambiguïtés pour prendre les décisions les « moins mauvaises » et pas obligatoirement les plus logiques au
sens mathématique?
Problème du black swan: évènement
imprévue et d’une probabilité d’occurrence
très faible

15. Taxonomie des attaques pour les systèmes par apprentissage
• L'axe horizontal caractérise le format de l'attaque: Monde physique ou numérique.
• L'axe vertical caractérise la perceptibilité de l'attaque, soit perceptible par l'homme, soit imperceptible par l'homme.
Attacking Artificial Intelligence
AI’s Security Vulnerability and What Policymakers Can Do About It
Marcus Comiter
Belfer Center Paper
https://www.belfercenter.org/sites/default/files/2019-08/AttackingAI/AttackingAI.pdf
Attaques numériques: Perceptibles, comme les
lunettes superposées à l'image d’un visage, ou
imperceptibles, comme avec les images de panda
et de canard.
Attaques physiques: Perceptibles, comme avec le
panneau Stop ou les lunettes jaunes, ou imperceptibles,
comme avec la tortue imprimée en 3D et la balle de
baseball.
Attaque invisible: Une petite quantité de bruit
invisible par l'œil humain est ajoutée à l'ensemble
de l'image qui amène à mal classer l'image sans en
changer l'apparence
Attaque visible: Un petit motif d'attaque est
apposé sur l'objet physique, ce qui oblige le
classifieur à mal classer l'image avec un petit
changement dans son apparence.
• Reprogrammation du model cible: Mappage d’étiquettes dans un classifieur (ImageNet) afin
d’effectuer une tâche définie.
• L’apprentissage externalisée (par le cloud) introduit de nouveaux risques de sécurité : un attaquant
peut créer un réseau entrainé de manière malveillante (un réseau de neurones avec porte dérobée ou un
BadNet) → propagation de l’infection
• Le transfert de model d’apprentissage: l'utilisateur télécharge involontairement un modèle entraîné
de manière malveillante

16. Dominique Gruyer
dominique.gruyer@univ-eiffel.fr
Sio-Song Ieng
Sio-song.ieng@univ-eiffel.fr
1 0 O C T O B E R 2 0 1 9 | V O L 5 7 4 | N A T U R E
Mokrane Hadj-Bachir
Mokrane.Hadj-Bachir@esi-group.com
Merci de votre attention