Dans le cadre de l’aide à la conduite automobile, nous proposons dans ce projet de fin d’étude une méthode de suivi de virages à partir de panneaux indiquant leurs rapprochement. Nous avons conçu dans une première étape une méthode originale de reconnaissance et suivi des panneaux routiers à bords rouges en temps réels. La deuxième étape est destinée à la localisation 3D de panneaux par stéréo-vision. La dernière étape consiste à développer une méthode robuste d’extraction des contours des marquages qui se base sur la corrélation croisée normalisée. Nous avons utilisé l’algorithme de RANSAC pour mettre en correspondance les points de contours détectés avec un modèle prédéfini décrivant la courbure de la route. Les paramètres de cet algorithme ont été ajusté pour estimer d’une façon très précise les paramètres du modèle.

1. Ministère de l’Enseignement Supérieur et de la Recherche Scientifique
Université de la Gabes
Ecole Nationale d’Ingénieurs de Gabes
Département de Génie Communication et Réseau
PRÉSENTATION DE PROJECT DE FIN ETUDES
PFE
intitulé
Détection et suivi de virages routiers à partir de panneaux
routiers indiquant leurs rapprochement
Encadré par :
Mme Ben Romdhane Nedra
Réalisé par :
Rabii Elbeji
Année Universitaire : 2014 - 2015

2. Plan
Contexte général
Architecture de notre système ADAS
Détection, Classification et suivi de panneaux
Localisation de panneaux par stéréovision
Suivi de marquage au sol des virages
Conclusion et Perspectives

3. Systèmes ADAS
Vision Industrielle
Contexte général
Domaines d’application de la vision par ordinateur
Robots
1. Advanced Drive Assistance System
1
Médicaments Composants électroniques Nourritures
ExplorateursHumanoïdes Systèmes d'aide à la conduite
Travail à la chaîne

4. Contexte général
Domaines d’application de la vision par ordinateur
Selon l'OMS : « les accidents de la route dans le monde tuent chaque année
environ 1,3 million de personnes et font de 25 à 50 millions de blessés. »
2
2. Organisation Mondiale de la Santé
Décès de la route pour 100 000 habitants, par région.
Source OMS 2013
- L'alcool ou la drogue.
- Le non-port de la ceinture de sécurité
- Le non port du casque pour les cyclistes ou
motards.
- Le non respect des règles de sécurité routière.
- L'usage du téléphone mobile au volant qui
détourne l'attention
- La vitesse.
 Causes :

5. Détection de panneaux
Classification de panneaux
Suivi de panneaux
Localisation 3D
Suivi de virage
Détection de Marquages au sol
Suivi de lignes droitesVirage ? Non
Oui
Image Image
Panneau ?
Existe ?
Non
Oui
Non
Oui
Image
Architecture de notre système ADAS

6. Environnement de travail
Samsung_NP270
Processeur : i3 , 2.40 GHz
Capacité de RAM : 4 Go
Caractéristiques
de PC
Ubuntu 14.04 LTS
Noyau linux : 3.19
Système
d’exploitation
Langages de
programmation
Bibliothèques

7. Détection, Classification
et suivi de panneaux

8. Détection, Classification et Suivi de panneaux
I. Détection de panneaux
1. Réduction de bruit au niveau de l’image par un lissage avec un filtre non linéaire qui est
le filtre bilatérale
Le paramètre h permet de régler la
similarité photométrique du filtre.
Image Original
Après filtrage
h = 10
Après filtrage
h = 20
Après filtrage
h = 30

9. 2. Segmentation basée sur la couleur rouge dans l’espace HSV
 Nous travaillons, comme beaucoup d’auteurs, uniquement sur les signaux à
bords rouges, en particulier les panneaux de signalisation des virages.
Image
Filtrée
0<H<10 ; 60<S<255 ; 150<V<255
150<H<360 ; 50<S<255 ; 0<V<150
images claires
Images sombres
4. Hue Saturation Value
4
Détection, Classification et Suivi de panneaux
I. Détection de panneaux

10. Image originale Premier seuillage Deuxième seuillage
Image originale Premier seuillage Deuxième seuillage
Détection, Classification et Suivi de panneaux
I. Détection de panneaux
 Le deux segmentations sont
effectués en parallèles.
 Interruptions au niveau de
contours à cause de
obstacles ou des
dégradations aigues de la
couleur rouge.
2. Segmentation basée sur la couleur rouge dans l’espace HSV

11. 3. Transformation Morphologique de fermeture
Premier seuillage Deuxième seuillage
Premier seuillage Deuxième seuillage
Morphologie de fermeture
Morphologie de fermeture
 La taille de noyau utilisée
pour la morphologie de
fermeture est (2x20)
pixels.
 On remarque que les
régions d’intérêts
deviennent plus
compactes
Image originale
Image originale
Détection, Classification et Suivi de panneaux
I. Détection de panneaux

12. Image originale
Image originale
Extraction des régions d’intérêts
Extraction des régions d’intérêts
4. Extraction de régions d’intérêts par la recherche sur les contours
 En utilisant l’algorithme de
Suzuki et Abe (1985) qui
permet le suivi de
frontières en faisant une
discrimination entre les
frontières extérieures et
intérieures et les
composants connectés.
Caractéristique Min Max
Largeur 6 96
Hauteur 6 96
Largeur/Hauteur 0,3 1,2
Détection, Classification et Suivi de panneaux
I. Détection de panneaux

13. Détection, Classification et Suivi de panneaux
II. Classification de panneaux
DescripteursLocauxGlobaux
Sift Surf Harris Hog Haar Fourier5 6 7
5. Scale-invariant feature transform
6. Speeded up robust features
7. Histogram of oriented gradients
 Le processus d’organisation
et de prédiction de
descripteurs est appelé
classification.
 Deux étapes :
1. L’étape de formation
de classifieur
(Entraînement de
classifieur).
2. L’étape de prédiction.
ClassifieurForêts
aléatoires
Réseaux de
neurones
Machine à
Vecteurs de
Support
SVM
Adaptive
boosting
Adaboost
8
8. Support Vector Machine
8

14. Séparation des classes avec un
noyau polynômial
Séparation des classes avec un
noyau linéaire
Séparation des classes avec un
noyau RBF
Deux classes de valeurs réels aléatoires
9. Radial Basis Function.
 Plusieurs types de noyaux.
On distingue le noyau :
• Linéaire
• Polynômial
• RBF
Détection, Classification et Suivi de panneaux
II. Classification de panneaux
1. Classificateur proposé : Machine à vecteurs de support (SVM)

15. Détection, Classification et Suivi de panneaux
II. Classification de panneaux
1. Classificateur proposé : Machine à vecteurs de support (SVM)
 gamma : le paramètre qui
désigne le degré de liberté de
la fonction gaussienne de
base radiale.
 C : est le paramètre de la
fonction de coût de la marge.
Paramètres de noyau RBF
gamma = 0,1
C = 1,0

16. 2. Descripteur proposé : Histogramme de gradients orientés (HOG)
Image
Image
Blocs
Cellules Histogramme local Normalisation
Fonctionnement
 Les descripteurs HOG
représentent les vecteurs
d’informations issus des
histogrammes normalisés
pour chaque cellule.
 Plusieurs variables à varier ?!
Taille de l’image
Taille de chaque
cellule
Nombre des
histogrammes par
cellule
Taille de chaque
bloc
Ces paramètres ont un influence important sur la vitesse
de traitement que sur la qualité de classification.
Le choix de la taille de bloc agit d’une manière importante
et remarquable sur la qualité de classification.
32x32
pixels
4x4
pixels
9
8x8
pixels
12x12
pixels
16x16
pixels
32x32
pixels
?
Détection, Classification et Suivi de panneaux
II. Classification de panneaux

17. Données réelles
Positif Négative
Données
estimées
Positif Vrai Positif (VP) Faux Positif (FP) Précision
Négatif Vrai Négatif (VN) Faux Négatif (FN) Valeur Préd Neg
Sensibilité Spécificité Exactitude
 La matrice de confusion est
un tableau à double entrée
calculé en comparant les
résultats issus de la
classification et les classes
d’apprentissage définies.
 L’idée de la courbe ROC
est de faire varier le
«seuil» de 1 à 0. Pour
chacune de ce variations,
on calcule la sensibilité et
la spécificité de l’examen
au seuil fixé.
Base de données de panneaux à bords rougesMatrice de confusion et courbe ROCMatrice de confusionCourbe ROC
 25 classes regroupés en 3
groupes pour le choix de
la taille de bloc.
 60% de images de
chaque classe sont
utilisées pour
l’entraînement ou la
formation de classifieur
et 40% sont utilisées
pour le test.
 Nous avons utilisé une
base de données
publique de la pays
d'Allmagne.
 Cette base contient les
différents types de
panneaux, environ 50000
images bien recadrées
avec différentes
résolutions.
Basededonnéeset
outilsd’évaluation
Base de données
Panneaux de limite de vitesse
Panneaux circulaires
Panneaux triangulaires
Outils d’évaluation
10
10. Receiver Operating Characteristic.
Sensibilité = Rappel =
VP
VP + FN
Spécificité =
VN
VN + FP
Précision =
VP
VP+ FP
Valeur Prédictif Négatif =
VN
VN + FN
Exactitude =
VP + VN
VP+ FP + VN + FN
(0, 1)
(0, 0)
(1, 1)
1 - spécificité
sensibilité
A
B
C
 Un test idéal (A) donne une séparation nette entre les classes offrant ainsi
une courbe ROC passant par le coin supérieur gauche. Un test sans aucune
discrimination (C) donne une courbe allant du point de coordonnées (0, 0)
au point (1, 1). Habituellement, la courbe passe quelque part entre ces
deux extrêmes (B).

18. Bloc de taille 8x8 pixels. Bloc de taille 12x12 pixels.
Bloc de taille 16x16 pixels. Bloc de taille 32x32pixels.
2. Descripteur proposé : Histogramme de gradients orientés (HOG)
Détection, Classification et Suivi de panneaux
II. Classification de panneaux
Courbe ROC
10. Receiver Operating Characteristic.
 La combinaison des blocs
(colonne x ligne) qui donnent
les meilleurs résultats est
(12x12) pixels pour les trois de
groupes de classes entrainées.
Tests et résultats

19. 3. Evaluation de notre classifieur SVM avec les descripteurs HOG
Matrice de confusion
Rappel = 93,46 %
Spécificité= 99,91 %
Exactitude = 97,96 %
Précision = 97,96 %
VPN = 97,96 %
Détection, Classification et Suivi de panneaux
II. Classification de panneaux

20. 4. Comparaison aux d’autres types de classsifieurs
Matrice de confusion
Classifieur de forêts d’arbres décisionnels RTrees11
10. k-Nearest Neighbor.
11. Random Trees.
 En comparent la sensibilité (Rappel) de chaque classifieur, on remarque que
le SVM présente une robustesse plus fort à détecté les Vrai-Positifs que les
autres classifieurs (K-NN et RTrees).
Rappel (SVM) = 0,9346
Classifieur de k plus proches voisins K-NN 10
Détection, Classification et Suivi de panneaux
II. Classification de panneaux

21. Base de donnéesTests et résultats
Approche
Vrai
Positifs
Faux
Positifs
Faux
Négatifs
Précision Rappel
[Long et al., 2011] 398 88 59 81,89% 87,08%
[Jack et Majid, 2012] 430 90 25 82,69% 94,50%
Notre méthode 458 73 14 86,25% 97,03%
Base de données des images de scènesRésultats de l’étude comparatif
Nous avons utilisés la base de
données publique de de
[Houben et al., 2013].
Cette base contient 900 images
scènes de taille (1360x800
pixels) de différentes types de
panneaux routiers.
100 images utilisées pour la
formation de classe négative et
800 pour l’étude comparatif.
Détection+Classification
ÉtudeComparative
12. Fast Approximate Nearest Neighbor
12
13. Maximally Stable Extremal Regions

22. TechniquesMeanshiftCamshiftKalman
Flot
optique
Détection, Classification et Suivi de panneaux
III. Suivi de panneaux
14. Continuously Adaptive Mean Shift.
14
1. Détection de points d’intérêts de Harris
 En général, ces points sont choisis car ils ont la propriété d’être parmi les points les
plus stables dans les images.
 Nous avons fixé un nombre maximal de points d’intérêts égale à 10.
Le suivi de panneaux permet de diminuer le coût de temps
de calcul dû à la phase de reconnaissance (détection et
classification).
Le suivi permet aussi d’affaiblir le risque de perte de
panneaux par les obstacles.
Le suivi d’objet en général permet de se concentrer sur
une région bien précise sans balayer toute l’image.
1. Détection de
points d’intérêts de
Harris
2. Suivi de points
par l’algorithme
itératif de
Lukas-Kanade

23. Image à l’instant t+1
2. Suivi des points d’intérêts de Harris : Algorithme de Lucas-Kanade
Image à l’instant t Flot optique de suivi
Détection, Classification et Suivi de panneaux
III. Suivi de panneaux

25. Localisation de panneaux
par stéréovision

26. En stéréophotométrie, la scène et le capteur sont fixes, seule la
source lumineuse se déplace.
La stéréophotométrie consiste à estimer la structure
tridimensionnelle d’une scène supervisée par une caméra et
soumise successivement à différentes sources d’illumination.
L’inconvénient majeur de cette technique est que dans la réalité
les scènes sont généralement dynamiques.
 La stéréoscopie est une méthode de vision passive inspirée de
la vision humaine permettant d’obtenir l’information de relief
d’une scène à partir de deux projections bidimensionnelles de
la même scène.
Localisation de panneaux par stéréovision
Localisation
d’objets
Active Passive
Structure from
Motion
Stéréoscopie
Stéréophotométrie
LIDAR
Capteur RFID
RADAR
1. RAdio Detection And Ranging.
2. LIght Detection And Ranging.
3. Radio Frequency IDentification.
1
2
3
 Interférence.
 Energie
 Coût de temps de
calcul.
 Coût de matériel et de
l’implémentation.
 Matériaux absorbants.
 …
Structure from
Motion
Stéréoscopie
Stéréophotométrie
Passive
 Le principe consiste à estimer les paramètres du mouvement
d’une ou des caméras ainsi que la structure 3D d’une scène
observée en ne se basant que sur une séquence d’images.
 Le problème de la vision des reliefs basée sur le mouvement est
que le rendu tridimensionnel n’est pas toujours précis pour des
environnements extérieurs.
Contexte général

27. Localisation de panneaux par stéréovision
Méthode adoptée pour l’extraction de profondeur
Extraction
de
profondeur
Rectification
des images
Calibration de
capteur
Stéréo
triangulation
Calcul de la
disparité
Profondeur

28.  Nous avons utilisé la base de données stéréo
publique de [Menze et Geiger, 2015] lancé en
septembre 2015.
 400 paires d’images (gauches et droites) prises
dans plusieurs scènes routières à des instants
différentes.
Voiture de Kitti database
Localisation de panneaux par stéréovision
Processus d’extraction de profondeur
1. Base de données : Kitti database
Entraxe ou
Baseline

29. Les coordonnés en
pixels de projection
d’un point 2D.
Camera gauche
Auto - Calibrage
Les coordonnées d'un
point 3D dans le monde
réels (dans l’espace).
La matrice fondamentale de taille (3x3)
de capteur stéréo
La matrice de la caméra,
ou la matrice de
paramètres intrinsèques.
Localisation de panneaux par stéréovision
Processus d’extraction de profondeur
2. Calibrage de capteur vision
Relation entre les différents repères :
fx =fy = f
La longueur
focale
(cx , cy)
Les coordonnées
de Centre optique
La matrice de
paramètres
extrinsèques.
R
La matrice
de Rotation.
T
La matrice de
translation.
R T
Calibrage par des mires
Camera droite
La matrice essentielle de taille (3x3) de
capteur stéréo
Plusieurs repères :

30.  On a utilisé le descripteur Sift pour la recherche de correspondances de points objets entre
les deux images (gauches et droites). La taille de descripteur est 128.
Localisation de panneaux par stéréovision
Processus d’extraction de profondeur
3. Rectification de paires d’images stéréoscopiques
Auto - Calibrage
Vue de gauche Vue de droite

31. MéthodesRésultats
NCC
Normalized Cross-Correlation
SAD
Sum of Absolute Differences
SSD
Sum of Squared Differences
Programmation
dynamique
Flot de graphe
(Graph-cut)
Relaxation
Localisation de panneaux par stéréovision
Processus d’extraction de profondeur
4. Calcul de la carte de disparité sur les images rectifiées
DisparitéGlobale Locale
 Montre de meilleurs résultats.
 Réglage spécifique de paramètres pour
chaque image.
 Ne sont pas adaptées aux applications
temps réels.
SAD
Sum of Absolute Differences
 Soit I1 et I2 les images mises en correspondance et d est la disparité, l’équation
définissant le calcul de la disparité avec la méthode locale SAD est :
 Elle correspond à la somme des différences quadratiques entre termes
correspondants des deux fenêtres.
Disparité au niveau de gris
Disparité au niveau RGB

32. Localisation de panneaux par stéréovision
Processus d’extraction de profondeur
5. Calcul de profondeur : Stéréo - Triangulation
 La profondeur d’un point dans une scène est
inversement proportionnelle à la disparité.
Pour notre exemple :
B = 0,54 m
f = 721,53 pixels
Vue de gauche

33. Suivi de marquage au
sol des virages

34. Suivi de marquage au sol de virages
1. Sélection du masque
Méthode proposée pour le suivi de virages
 Hypothèse : Le modèle de route défini est celui d’une route plane avec courbure en
suivant l’hypothèse de la région d’intérêt « ROI ».
 La sélection de la ROI est faite grâce à la connaissance a priori de la géométrie de
virage. Notre ROI à été défini comme une forme de trapèze.
Line de l’horizon
Virage gauche Virage droit
Taille :
640x480 pixels

35. Suivi de marquage au sol de virages
2. Suppression de la perspective
Méthode proposée pour le suivi de virages
 Le processus consiste à augmenter l’écartement entre les deux voies en courbure
par un changement de la géométrie de ROI pour obtenir de lignes plus au moins
droites et une vue proche de celle en vol d’oiseau(en anglais Bird eyes’ view).
Suppression de la perspective de virage
Taille :
128x256 pixels

36. Méthode proposée pour le suivi de virages
Template choisie pour l’extraction de la
ligne droite (2x25 pixels).
Template choisie pour l’extraction de la
ligne gauche (2x25 pixels).
Suivi de marquage au sol de virages
3. Approche par corrélation : template matching
 Cette technique cherche à mettre en évidence les régions de l’image rassemblant le
plus à l’objet recherché par le calcul d’une mesure de corrélation.
 On a utilisé deux templates pour séparer les deux voies d’un virage.
Virage droite Virage gauche
 Les descripteurs de l’objet à détecter doivent correspondre à environ 65% ou
plus à ceux de templates prédéfini..

37. Images en lignes droites Images en lignes avec courbures
Techniques Vrai-Positifs Faux-Positifs Vrai-Positifs Faux-Positifs
Hough 81,71% 18,34% 85,41% 14,59%
Template
Matching
95,6% 4,4% 92,28% 3,72%
Etudecomparative
delatechniquede
templatematching
aveclatechniquede
Hough
5
 La méthode de Aly est plus
lente que notre méthode a
cause de la taille de la région
d’intérêt ainsi que le
processus de filtrage
intermédiaire.
 Nous avons utilisé une
section de 100 images de
lignes droite et une autre de
100 image de lignes avec
courbure.
Résultats pour la section de 100 images avec lignes droites
Résultats pour la section de 100 images avec lignes avec courbures
Valeurs moyennes de taux de détections des points de contours.

38. Suivi de marquage au sol de virages
4. Modélisation ou suivi spatial du virage avec RANSAC
Méthode proposée pour le suivi de virages

39. Suivi de marquage au sol de virages

40. Conclusion
- Une nouvelle méthode permettant la reconnaissance et le suivi de panneaux
routiers .
Rappel = 86,25% , précision = 97,03%
- Une méthode adoptée pour la localisation 3D de panneaux dans une scène
routière.
- Une nouvelle méthode de suivi de marquage au sol de virage.

41. Il serait intéressant d’étendre la détection des panneaux à d’autres objets comme les
piétons, les cyclistes et même les animaux pour diminuer les risques des accidents.
Perspectives
Il serait envisageable d’utiliser la détection de voitures voisines pour estimer la distance
de sécurité. Pour cela une séparation des pistes est nécessaire pour prendre en
compte les voitures sur les voies secondaires.
 Versunsystèmedetransporttotalement intelligent

42. Merci pour votre
attention