SlideShare une entreprise Scribd logo
Tébourbi Riadh, SUP'COM 2005 IMAGERIE 3D 08/10/2007 Ecole Supérieure des Communications de Tunis  Cours Tébourbi Riadh
Quelques références Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],- O livier  Faugeras .  Three-Dimensional Computer Vision, MIT Press, 1993. ,[object Object],[object Object],[object Object],[object Object]
Contexte Tébourbi Riadh, SUP'COM 2005 Vision par ordinateur  :  branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.    ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un  modèle algorithmique  qui, vu de l'extérieur, possède des propriétés semblables.
Vision 3D Tébourbi Riadh, SUP'COM 2005 Vision binoculaire Perception 3D Objet 3D 1 er  point  de vue 2 ème  point  de vue Problème difficile de la  vision artificielle
Introduction Tébourbi Riadh, SUP'COM 2005 Vision 3D :  Méthodes passives : Méthodes actives : ,[object Object],- Analyse de déphasage ou de distorsion du signal  émis -  Stéréoscopie   (deux  images ou plus)   - Monoscopie   (une seule  image) : étude des formes
Méthodes actives Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],Techniques coûteuses. Objets étudiés proches et immobiles . Exemples d’imagerie 3D:   Imagerie médicale   (Tomographie CT, scanner X, résonance magnétique nucléaire) ,  Holographie ,…
Méthodes passives Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],L ’information 3-D est obtenue par recherche de points homologues entre deux images ou plus : la différence de projection du même point physique appelée  disparité  est directement liée à l ’élévation. ,[object Object],La stéréovision reproduit le processus de la vision binoculaire chez l’homme.
Stéréovision: Principe Tébourbi Riadh, SUP'COM 2005 M Image gauche Image droite m1 m2 Reconstruction 3D Mise en correspondance Modèle caméra gauche Modèle caméra droite
Etapes de la reconstitution 3D par stéréovision Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Acquisition : Photos Tébourbi Riadh, SUP'COM 2005 ,[object Object],H B A
Acquisition   :   Stéréoscopie aérienne Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
Acquisition   :   Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite - Acquisition non instantanée - Centre optique mobile Perspective  subcylindro  conique
Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite J ème  jour (J+cycle) ème  jour Couverture stéréoscopique Stéréoscopie verticale
Tébourbi Riadh, SUP'COM 2005 orbite Instant t Instant t+90s Couverture stéréoscopique Stéréoscopie avant-arrière : cas de HRS  Stéréoscopie satellitaire :
Tébourbi Riadh, SUP'COM 2005 Stéréoscopie satellitaire Jour j Jour j’ Orbite  descendante Orbite  ascendante Couverture stéréoscopique Stéréoscopie latérale : cas de HRG
Exemples d’images stéréoscopiques Tébourbi Riadh, SUP'COM 2005 Photos
Tébourbi Riadh, SUP'COM 2005 Aériennes
Tébourbi Riadh, SUP'COM 2005 Satellitaires (SPOT5)
Tébourbi Riadh, SUP'COM 2005 Satellitaires (IKONOS)
[object Object],Tébourbi Riadh, SUP'COM 2005
Modélisation du capteur Tébourbi Riadh, SUP'COM 2005 BUT : Déterminer le modèle géométrique associé au processus de saisie d'une image stéréoscopique à l'aide d'une caméra (capteur)    déterminer les paramètres liés à ce modèle.   Déterminer relation  coordonnées Image/scène ,[object Object]
Géométrie d’une caméra « sténopé » Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
Géométrie du capteur SPOT Tébourbi Riadh, SUP'COM 2005 Barrette CCD Orbite du satellite Sens du défilement balayage push broom Perspective conique par ligne
Modélisation du capteur Tébourbi Riadh, SUP'COM 2005 Modèle “ à trou d’épingle” Ou modèle sténopé ou « pinhole model »    Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra).   C P p
Modèle “ à trou d’épingle” Tébourbi Riadh, SUP'COM 2005 b) Projection a) Transformation R + T I- Géométrie d’une caméra b) a) R c R w m 2 (u,v) m 1 (u,v) P( X w , Y w , Z w ) C 2 C 1 Z Y X u v S: facteur d’échelle M: matrice 3    4 1 Z Y X M w w w                          s sv su 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
Tébourbi Riadh, SUP'COM 2005 b)  Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image   Ku  et  Kv  facteurs d’échelle de l’image respectivement dans la direction de u  et de v(pixels/mm),  f  :  focale exprimée en mm et  u 0  et  v 0  :coordonnées en pixels du centre de l'image   u 0 , v 0 ,   u  et   v   représentent les paramètres intrinsèques de la caméra
Remarque Tébourbi Riadh, SUP'COM 2005 Si on pose alors avec et Soit:
Tébourbi Riadh, SUP'COM 2005 a)  Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z). = transformation rigide qui se compose d’une rotation et d’une translation    Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra
Tébourbi Riadh, SUP'COM 2005 Peut s’écrire: Avec:
Tébourbi Riadh, SUP'COM 2005 Et  Donnent: M (3  4) appelée la matrice de projection de la caméra
Tébourbi Riadh, SUP'COM 2005 Résumé
Relation 2D/3D Tébourbi Riadh, SUP'COM 2005 Elimination de s   . Relations linéaires entre (u,v) et (Xw,Yw,Zw). . Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues. Trouver les coefficients de M ? 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
Etalonnage de la caméra Tébourbi Riadh, SUP'COM 2005 L’étalonnage de la caméra = calcul des coefficients m ij  de M ,[object Object],[object Object]
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005    Utilisation une mire ,[object Object],[object Object],   GPS Exemple:
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour chaque point i : 1  i   N Résoudre un système linéaire homogène à 2N équations:
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Le système peut être écrit: Il faut éviter la solution évidente mij=0    Poser des contraintes.
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:    Contrainte m34    0 (m34 = Tz)    2 contraintes :
Tébourbi Riadh, SUP'COM 2005 Etalonnage (suite)    R31, R32 et R33 sont les éléments d’une matrice de rotation R : Nous pouvons écrire: Donc contrainte :  Or
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Utilisation de la contrainte  m34    0  : on divise le système d’équations par m34 on obtient: Nous cherchons les qij = mij/m34    Résolution de ce système par la méthode des moindres carrés ( pseudo-inverse ):
Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Une fois les qij trouvés nous cherchons les mij sachant que: Soit: D’où Et
Calcul des paramètres intrinsèques et extrinsèques de la caméra   Tébourbi Riadh, SUP'COM 2005 M =(mij) : fonctions des paramètres intrinsèques et extrinsèques. En tenant compte de: - La matrice R est orthogonale - L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0)   On obtient:
Précision de l’étalonnage Tébourbi Riadh, SUP'COM 2005 Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs :  Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier:  Une erreur  calculée en reconstituant les coordonnées (u i ,v i ) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uc i ,vc i ) de ces points de référence et calculer l’erreur : qui est la moyenne des erreurs résiduelles et:  qui est la variance de ces erreurs.
Géométrie d’un système stéréoscopique Tébourbi Riadh, SUP'COM 2005 1) Position relative des deux caméras   2) Géométrie épipolaire   3) La matrice essentielle   4) La matrice fondamentale
Position relative des deux caméras  Tébourbi Riadh, SUP'COM 2005 Pour chaque caméra i P w =(X w ,Y w ,Z w ) t   Rappel:
Tébourbi Riadh, SUP'COM 2005 Pour les deux caméras, nous pouvons alors écrire   En éliminant Pw entre les deux équations, nous obtenons:   avec As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts
Tébourbi Riadh, SUP'COM 2005 En introduisant dans cette dernière équation les coordonnées de la projection de P w  dans l'image rétinienne gauche  et droite  , nous pouvons écrire :
Tébourbi Riadh, SUP'COM 2005 En éliminant Z1   Avec:    équation qui décrit l' ensemble  des points  (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche   =  une droite appelée  droite épipolaire   Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite
Géométrie épipolaire Tébourbi Riadh, SUP'COM 2005 e1 et e2 sont appelés les épipoles   Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2   sont appelées les lignes épipolaires   Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1   m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2
Contrainte épipolaire Tébourbi Riadh, SUP'COM 2005 Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite
Exemple Tébourbi Riadh, SUP'COM 2005
La matrice essentielle  Tébourbi Riadh, SUP'COM 2005 Coefficients de la droite épipolaire:   Droite épipolaire qui peut s'écrire, en introduisant la matrice E, sous la forme:
La matrice essentielle  Tébourbi Riadh, SUP'COM 2005 Equation de la droite épipolaire peut s’écrire: et Donne: p i =(x i ,y i ,1)t   avec E est appelée la matrice essentielle   E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite   Transformation épipolaire droite-gauche   E t
La matrice fondamentale  Tébourbi Riadh, SUP'COM 2005 Rappel: pour chaque caméra i:   avec et En remplacant dans Nous obtenons = matrice fondamentale (3 x 3)   Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire
Mise en correspondance Tébourbi Riadh, SUP'COM 2005 (X w ,Y w ,Z w ) (scène)    projections (U 1 ,V 1 ) (image gauche) et (U 2 ,V 2 ) (image droite) i=1,2    Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                
Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème simplifié:  a)  contrainte épipolaire m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2 Analytiquement: 0 1 1 1 1 2 2                      v u F v u F: matrice fondamentale (3 x 3)
Tébourbi Riadh, SUP'COM 2005 Contrainte épipolaire Image de référence   Image de recherche   Ligne épipolaire   m C 1 C 2 Espace de recherche monodimensionnel (≈ ligne)
Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème encore simplifié:  b)  Rectification des images m 1 m 2 m’ 1 m’ 2 u’ 1 u’ 2 disparité : d = u’ 2  – u’ 1
Tébourbi Riadh, SUP'COM 2005 Exemple d d’
Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Paramètres:  H B m 1 m 2 u 1 u 2 disparité : d = u’ 2  – u’ 1
Géométrie des images rectifiées (2) Tébourbi Riadh, SUP'COM 2005    La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H   Matrices de rotation (égales)  : Vecteurs de translation:   Transformation rigide gauche-droite (simple translation)
Géométrie des images rectifiées (3) Tébourbi Riadh, SUP'COM 2005 Matrice essentielle:  Matrice fondamentale:   Si pour les deux caméras  α u  =  α v   Disprité = f(Z w ,B,H)
Mise en correspondance Tébourbi Riadh, SUP'COM 2005 Objectif: Trouver, pour un élément géométrique dans une image (résultant d'une projection d'un objet 3D de la scène sur l'image), sont élément homologue ( ou correspondant) dans l'autre image ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Tébourbi Riadh, SUP'COM 2005 Mise en correspondance par corrélation p l l fenêtre de  corrélation  fenêtre de  recherche  Image gauche  Image droite  d min  d max
exemple Tébourbi Riadh, SUP'COM 2005
Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique Sous-échantillonnage de facteur 2 Sous-échantillonnage de facteur 2 Reconstruction  grossière Reconstruction fine
Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique
Approche hiérarchique Tébourbi Riadh, SUP'COM 2005 Construction d‘une pyramide Propagation de la disparié ,[object Object],[object Object]
Approche par régions Tébourbi Riadh, SUP'COM 2005 Extraction  de régions Extraction  de régions Mise en  correspondance Carte de disparité    Besoin de moyens d’extraction de régions ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A B C
Détection de contours Tébourbi Riadh, SUP'COM 2005 Régions    Fermeture de contours Élimination des contours orphelins Buit    pré-filtrage des images  A
Classification Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],A
Mise en correspondance des régions Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Restriction du domaine de recherche B
Critère de similarité Tébourbi Riadh, SUP'COM 2005 Attributs spatiaux Attributs de texture a k (R i ) attribut géométrique de la région  R i  . A = nombre d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc. B
Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
Carte des disparités Tébourbi Riadh, SUP'COM 2005 Idéale
Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 ,[object Object],[object Object]
Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les points ne sont pas forcément dans le même ordre dans les deux images.
Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les tailles et distances ne sont pas les mêmes d’une image à l’autre.
Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Occlusions : des objets ou  parties  d’objets sont cachés. La correspondance n’existe pas dans ce cas.
Carte des disparités Tébourbi Riadh, SUP'COM 2005
Interpolation de la carte des disparités Tébourbi Riadh, SUP'COM 2005 Images stéréo Plane Polynomiale Rationnelle Interpolations Nature de la scène Médiane . . .  Mise en correspondance Images des disparités calculées
Tébourbi Riadh, SUP'COM 2005 Image disparités seuil=0.8 Filtre médian Fenêtre 3*3 Filtre médian Fenêtre 5*5 Filtre médian Fenêtre 7*7 Modèle 3-D Image gauche Interpolation   médiane
Interpolation   rationnelle Tébourbi Riadh, SUP'COM 2005 Image gauche Image des hauteurs: seuil =0.8 Résultat de l’interpolation rationnelle
Tébourbi Riadh, SUP'COM 2005 Densification : interpolation médiane Densification : interpolation rationnelle Densification : interpolation plane Carte des disparités
Calcul des coordonnées 3D Tébourbi Riadh, SUP'COM 2005 i=1,2 m ij  connus (u 1 ,v 1 ), (u 2 ,v 2 ) connus 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                 Système de 4 équations 3 inconnues Résolution par moindres carrés.
Modélisation 3D Tébourbi Riadh, SUP'COM 2005 Etalonnage Etalonnage
Modélisation 3D Tébourbi Riadh, SUP'COM 2005
Tébourbi Riadh, SUP'COM 2005 Visualisation 3D
Visualisation 3D Tébourbi Riadh, SUP'COM 2005
Tébourbi Riadh, SUP'COM 2005 Navigation 3D
Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H H, B Résolutions ?
Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H Compromis 2   H a R R y x    B H ) B , H ( R z     B H 2 A  1  B H
Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible » Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire  Avec étalonnage: Sans étalonnage ?
Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 F peut estimée calculée à partir de l'ensemble des points homologues  m 1 (u 1 ,v 1 ) et m 2 (u 2 ,v 2 )   K= [u 1 u 2 , v 1 u 2 ,u 2 ,u 1 v 2 ,v 1 v 2 ,v 2 ,u 1 ,v 1 ,1] et  F définie à un facteur multiplicatif près   On peut poser F 33  = 1 Avec
Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Pour un couple j de points homologues on peut écrire    Pour n points (n>7) homologues: système linéaire n équations à  8 inconnus. Résolution Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit ) Méthodes non linéaires: Least  Median of  Squares ou  LMedS, RANSAC
Estimation de la matrice fondamental par LMedS Tébourbi Riadh, SUP'COM 2005    En entrée: n correspondances extraites des deux images stéréoscopiques     l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m 1 (u 1 ,v 1 ,1) t  et m 2 (u 2 ,v 2 ,1) t :   (Fm 1 ) k  est le k-ième élément du vecteur Fm 1 .
Détection et appariement de points d'intérêts  Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale
Extraction des points d’intérêt  Tébourbi Riadh, SUP'COM 2005    Plusieurs détecteurs « corners detectors  » ,[object Object],[object Object],Moravec Susan Harris
Exemple résultat Harris Tébourbi Riadh, SUP'COM 2005
Appariement des points d’intérêts  Tébourbi Riadh, SUP'COM 2005    Corrélation + relaxation    La matrice fondamentale peut être calculée
Rectification Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale Calcul des matrices de rectification Rectification Mise en correspondance
Rectification Tébourbi Riadh, SUP'COM 2005 Objectif: trouver deux matrices H1 et H2 de rectifications  Pour deux points correspondants: Matrice fondamentale des images rectifiées: Une première paire de matrices de rectification H 01  et H 02 , il suffit de décomposer F en valeurs singulières  :
Famille des matrices de rectification Tébourbi Riadh, SUP'COM 2005 L'ensemble des paires de matrices de rectification (H 1 ,H 2 ) se déduisent de H 01  et H 02  par les relations:   Variété de dim. 9    Trouver deux paires de rectification qui distordent le moins possible les images
Tébourbi Riadh, SUP'COM 2005 Exemples
Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005    Poser des contraintes 1) d'=u' 2 -u' 1  =d
Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005 2) Conservation des lignes épipolaires    calculer les coins de l’image rectifiée Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole  e 1  à l'infini.  Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée
COMPLEMENTS Tébourbi Riadh, SUP'COM 2005
Méthode du pseudo-inverse  Tébourbi Riadh, SUP'COM 2005    Résoudre le système d’équations linéaires suivant    Q = vecteur n (inconnus) K = Matrice m*n C = vecteur n
Méthode du pseudo-inverse Tébourbi Riadh, SUP'COM 2005 K.Q-C=e   e représente un vecteur erreur   La meilleure solution  Q est celle qui minimise le module du vecteur erreur   On cherche  Q tel que   soit minimum   En différenciant par rapport à  Q, on obtient : La matrice  (K t K) -1 K t
Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Caméra gauche Caméra droite

Contenu connexe

Tendances

Investigation
InvestigationInvestigation
Investigation
Nawal Yatim
 
curriculum vitae
curriculum vitaecurriculum vitae
curriculum vitae
Elyes MANAI
 
Presentation pfe application de pointage ASP.NET
Presentation pfe application de pointage ASP.NETPresentation pfe application de pointage ASP.NET
Presentation pfe application de pointage ASP.NET
Meher Zayani
 
Presentation PFE
Presentation PFEPresentation PFE
Presentation PFE
asma amri
 
Démarche de la recherche scientifique
Démarche de la recherche scientifiqueDémarche de la recherche scientifique
Démarche de la recherche scientifique
MATENE ELHACENE
 
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuagesUtilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
Marc Yeranosyan
 
OUVRAGE RDM 2020.pdf
OUVRAGE RDM 2020.pdfOUVRAGE RDM 2020.pdf
OUVRAGE RDM 2020.pdf
GeorgesEponon
 
MÉMOIRE DE SOUTENANCE
MÉMOIRE DE SOUTENANCE MÉMOIRE DE SOUTENANCE
MÉMOIRE DE SOUTENANCE
Med Lamine Bouguessa
 
Audition petit cnam_v1
Audition petit cnam_v1Audition petit cnam_v1
Audition petit cnam_v1Mathieu Petit
 
Merise
MeriseMerise
Merise
basy15
 
Partie 1 - Assainissement sur AutoCad 2007 et 2004
Partie 1  -  Assainissement sur AutoCad 2007 et 2004Partie 1  -  Assainissement sur AutoCad 2007 et 2004
Partie 1 - Assainissement sur AutoCad 2007 et 2004
Ahmed EL ATARI
 
Bases de données Spatiales - POSTGIS
Bases de données Spatiales - POSTGISBases de données Spatiales - POSTGIS
Bases de données Spatiales - POSTGIS
Omar El Kharki
 
Cours: Le nivellement
Cours: Le nivellementCours: Le nivellement
Cours: Le nivellement
bitagogo
 
Chp2 - Cahier des Charges
Chp2 - Cahier des ChargesChp2 - Cahier des Charges
Chp2 - Cahier des Charges
Lilia Sfaxi
 
Rapport De PFE
Rapport De PFERapport De PFE
Rapport De PFE
Nadir Haouari
 
La gestion de la production dans openerp
La gestion de la production dans openerpLa gestion de la production dans openerp
La gestion de la production dans openerp
ENSAM Casablanca
 
Compte rendu n°2(focométrie)
Compte rendu  n°2(focométrie)Compte rendu  n°2(focométrie)
Compte rendu n°2(focométrie)
Hatem Jebali
 
Ingenierie de formation
Ingenierie de formation Ingenierie de formation
Ingenierie de formation
safaejoubi
 
Mini projet d'hydraulique routiere
Mini projet d'hydraulique routiereMini projet d'hydraulique routiere
Mini projet d'hydraulique routiereBla Alain Marcel Yao
 
espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé
saoula khereddine
 

Tendances (20)

Investigation
InvestigationInvestigation
Investigation
 
curriculum vitae
curriculum vitaecurriculum vitae
curriculum vitae
 
Presentation pfe application de pointage ASP.NET
Presentation pfe application de pointage ASP.NETPresentation pfe application de pointage ASP.NET
Presentation pfe application de pointage ASP.NET
 
Presentation PFE
Presentation PFEPresentation PFE
Presentation PFE
 
Démarche de la recherche scientifique
Démarche de la recherche scientifiqueDémarche de la recherche scientifique
Démarche de la recherche scientifique
 
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuagesUtilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
Utilisation de données satellitaires et du logiciel Envi dans l’étude des nuages
 
OUVRAGE RDM 2020.pdf
OUVRAGE RDM 2020.pdfOUVRAGE RDM 2020.pdf
OUVRAGE RDM 2020.pdf
 
MÉMOIRE DE SOUTENANCE
MÉMOIRE DE SOUTENANCE MÉMOIRE DE SOUTENANCE
MÉMOIRE DE SOUTENANCE
 
Audition petit cnam_v1
Audition petit cnam_v1Audition petit cnam_v1
Audition petit cnam_v1
 
Merise
MeriseMerise
Merise
 
Partie 1 - Assainissement sur AutoCad 2007 et 2004
Partie 1  -  Assainissement sur AutoCad 2007 et 2004Partie 1  -  Assainissement sur AutoCad 2007 et 2004
Partie 1 - Assainissement sur AutoCad 2007 et 2004
 
Bases de données Spatiales - POSTGIS
Bases de données Spatiales - POSTGISBases de données Spatiales - POSTGIS
Bases de données Spatiales - POSTGIS
 
Cours: Le nivellement
Cours: Le nivellementCours: Le nivellement
Cours: Le nivellement
 
Chp2 - Cahier des Charges
Chp2 - Cahier des ChargesChp2 - Cahier des Charges
Chp2 - Cahier des Charges
 
Rapport De PFE
Rapport De PFERapport De PFE
Rapport De PFE
 
La gestion de la production dans openerp
La gestion de la production dans openerpLa gestion de la production dans openerp
La gestion de la production dans openerp
 
Compte rendu n°2(focométrie)
Compte rendu  n°2(focométrie)Compte rendu  n°2(focométrie)
Compte rendu n°2(focométrie)
 
Ingenierie de formation
Ingenierie de formation Ingenierie de formation
Ingenierie de formation
 
Mini projet d'hydraulique routiere
Mini projet d'hydraulique routiereMini projet d'hydraulique routiere
Mini projet d'hydraulique routiere
 
espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé
 

Similaire à Reconstruction 3 D

Holographie numérique hors axe
Holographie numérique hors axeHolographie numérique hors axe
Holographie numérique hors axeLudovic Depraeter
 
Meqanique du point materiel
Meqanique du point materielMeqanique du point materiel
Meqanique du point materiel
sarah Benmerzouk
 
Projet Méthodes Numériques
Projet  Méthodes Numériques Projet  Méthodes Numériques
Projet Méthodes Numériques
Ramin Samadi
 
Projet vision
Projet visionProjet vision
Modelisation d'un Robot capable d'écrire, le PARVUS
Modelisation d'un Robot capable d'écrire, le PARVUSModelisation d'un Robot capable d'écrire, le PARVUS
Modelisation d'un Robot capable d'écrire, le PARVUS
Alioum Serouis
 
restitution.pdf
restitution.pdfrestitution.pdf
restitution.pdf
MultipleContent
 
Basics of Mpeg 4 Video Compression
Basics of Mpeg 4 Video CompressionBasics of Mpeg 4 Video Compression
Basics of Mpeg 4 Video Compression
Marius Preda PhD
 
Vibration Mécanique
Vibration MécaniqueVibration Mécanique
Vibration Mécanique
Smee Kaem Chann
 
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
Publicis Sapient Engineering
 
Le miroir du vampire -Math en Jeans 2008
Le miroir du vampire -Math en Jeans 2008Le miroir du vampire -Math en Jeans 2008
Le miroir du vampire -Math en Jeans 2008David Nowinsky
 
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
ssuserf33fd0
 
Cours analyse-num source1
Cours analyse-num source1Cours analyse-num source1
Cours analyse-num source1
Lacina Zina
 
4 grandissement
4 grandissement4 grandissement
4 grandissement
brahimchalhoub
 
Vision par ordinateur
Vision par ordinateurVision par ordinateur
Vision par ordinateur
Radhouani Mejdi
 
Integrales doubles-ou-triples
Integrales doubles-ou-triplesIntegrales doubles-ou-triples
Integrales doubles-ou-triplesm.a bensaaoud
 
La vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieuxLa vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieux
VisionGEOMATIQUE2014
 
presentation kadimi wahidi.pdf
presentation kadimi wahidi.pdfpresentation kadimi wahidi.pdf
presentation kadimi wahidi.pdf
mouadwahidi
 
Tp chimie minerale du solide 2015
Tp chimie minerale du solide 2015Tp chimie minerale du solide 2015
Tp chimie minerale du solide 2015
Jamal Bennazha
 
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
mohamed hanini
 

Similaire à Reconstruction 3 D (20)

Holographie numérique hors axe
Holographie numérique hors axeHolographie numérique hors axe
Holographie numérique hors axe
 
Meqanique du point materiel
Meqanique du point materielMeqanique du point materiel
Meqanique du point materiel
 
Projet Méthodes Numériques
Projet  Méthodes Numériques Projet  Méthodes Numériques
Projet Méthodes Numériques
 
Projet vision
Projet visionProjet vision
Projet vision
 
Modelisation d'un Robot capable d'écrire, le PARVUS
Modelisation d'un Robot capable d'écrire, le PARVUSModelisation d'un Robot capable d'écrire, le PARVUS
Modelisation d'un Robot capable d'écrire, le PARVUS
 
restitution.pdf
restitution.pdfrestitution.pdf
restitution.pdf
 
Basics of Mpeg 4 Video Compression
Basics of Mpeg 4 Video CompressionBasics of Mpeg 4 Video Compression
Basics of Mpeg 4 Video Compression
 
Vibration Mécanique
Vibration MécaniqueVibration Mécanique
Vibration Mécanique
 
TD 1.pdf
TD 1.pdfTD 1.pdf
TD 1.pdf
 
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
XebiCon'17 : Réalité Augmentée pour les terminaux iOS - Julien Datour et S...
 
Le miroir du vampire -Math en Jeans 2008
Le miroir du vampire -Math en Jeans 2008Le miroir du vampire -Math en Jeans 2008
Le miroir du vampire -Math en Jeans 2008
 
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
 
Cours analyse-num source1
Cours analyse-num source1Cours analyse-num source1
Cours analyse-num source1
 
4 grandissement
4 grandissement4 grandissement
4 grandissement
 
Vision par ordinateur
Vision par ordinateurVision par ordinateur
Vision par ordinateur
 
Integrales doubles-ou-triples
Integrales doubles-ou-triplesIntegrales doubles-ou-triples
Integrales doubles-ou-triples
 
La vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieuxLa vision par ordinateur en télédétection spatiale : état des lieux
La vision par ordinateur en télédétection spatiale : état des lieux
 
presentation kadimi wahidi.pdf
presentation kadimi wahidi.pdfpresentation kadimi wahidi.pdf
presentation kadimi wahidi.pdf
 
Tp chimie minerale du solide 2015
Tp chimie minerale du solide 2015Tp chimie minerale du solide 2015
Tp chimie minerale du solide 2015
 
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
Quasi Monte Carlo et ses applications financières ( pour une audience 'techni...
 

Plus de Riadh Tebourbi (Ai1990)

Ter Web Service Intro
Ter Web Service IntroTer Web Service Intro
Ter Web Service Intro
Riadh Tebourbi (Ai1990)
 
Teledetection Sig
Teledetection SigTeledetection Sig
Teledetection Sig
Riadh Tebourbi (Ai1990)
 

Plus de Riadh Tebourbi (Ai1990) (7)

Ter Web Service Intro
Ter Web Service IntroTer Web Service Intro
Ter Web Service Intro
 
.NET DotNet CF - 3
.NET DotNet CF - 3.NET DotNet CF - 3
.NET DotNet CF - 3
 
.NET DotNet CF - 2
.NET DotNet CF - 2.NET DotNet CF - 2
.NET DotNet CF - 2
 
.NET DotNet CF - 1
.NET DotNet CF - 1.NET DotNet CF - 1
.NET DotNet CF - 1
 
Cours SIG
Cours SIGCours SIG
Cours SIG
 
Cours J2ME
Cours J2MECours J2ME
Cours J2ME
 
Teledetection Sig
Teledetection SigTeledetection Sig
Teledetection Sig
 

Reconstruction 3 D

  • 1. Tébourbi Riadh, SUP'COM 2005 IMAGERIE 3D 08/10/2007 Ecole Supérieure des Communications de Tunis Cours Tébourbi Riadh
  • 2.
  • 3. Contexte Tébourbi Riadh, SUP'COM 2005 Vision par ordinateur : branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.  ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un modèle algorithmique qui, vu de l'extérieur, possède des propriétés semblables.
  • 4. Vision 3D Tébourbi Riadh, SUP'COM 2005 Vision binoculaire Perception 3D Objet 3D 1 er point de vue 2 ème point de vue Problème difficile de la vision artificielle
  • 5.
  • 6.
  • 7.
  • 8. Stéréovision: Principe Tébourbi Riadh, SUP'COM 2005 M Image gauche Image droite m1 m2 Reconstruction 3D Mise en correspondance Modèle caméra gauche Modèle caméra droite
  • 9.
  • 10.
  • 11. Acquisition : Stéréoscopie aérienne Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
  • 12. Acquisition : Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite - Acquisition non instantanée - Centre optique mobile Perspective subcylindro conique
  • 13. Stéréoscopie satellitaire Tébourbi Riadh, SUP'COM 2005 orbite J ème jour (J+cycle) ème jour Couverture stéréoscopique Stéréoscopie verticale
  • 14. Tébourbi Riadh, SUP'COM 2005 orbite Instant t Instant t+90s Couverture stéréoscopique Stéréoscopie avant-arrière : cas de HRS Stéréoscopie satellitaire :
  • 15. Tébourbi Riadh, SUP'COM 2005 Stéréoscopie satellitaire Jour j Jour j’ Orbite descendante Orbite ascendante Couverture stéréoscopique Stéréoscopie latérale : cas de HRG
  • 16. Exemples d’images stéréoscopiques Tébourbi Riadh, SUP'COM 2005 Photos
  • 17. Tébourbi Riadh, SUP'COM 2005 Aériennes
  • 18. Tébourbi Riadh, SUP'COM 2005 Satellitaires (SPOT5)
  • 19. Tébourbi Riadh, SUP'COM 2005 Satellitaires (IKONOS)
  • 20.
  • 21.
  • 22. Géométrie d’une caméra « sténopé » Tébourbi Riadh, SUP'COM 2005 - Acquisition instantanée - Centre optique fixe pour une image Perspective conique Axe de vol
  • 23. Géométrie du capteur SPOT Tébourbi Riadh, SUP'COM 2005 Barrette CCD Orbite du satellite Sens du défilement balayage push broom Perspective conique par ligne
  • 24. Modélisation du capteur Tébourbi Riadh, SUP'COM 2005 Modèle “ à trou d’épingle” Ou modèle sténopé ou « pinhole model »  Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra). C P p
  • 25. Modèle “ à trou d’épingle” Tébourbi Riadh, SUP'COM 2005 b) Projection a) Transformation R + T I- Géométrie d’une caméra b) a) R c R w m 2 (u,v) m 1 (u,v) P( X w , Y w , Z w ) C 2 C 1 Z Y X u v S: facteur d’échelle M: matrice 3  4 1 Z Y X M w w w                          s sv su 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
  • 26. Tébourbi Riadh, SUP'COM 2005 b) Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image Ku et Kv facteurs d’échelle de l’image respectivement dans la direction de u  et de v(pixels/mm), f : focale exprimée en mm et u 0 et v 0 :coordonnées en pixels du centre de l'image u 0 , v 0 ,  u et  v représentent les paramètres intrinsèques de la caméra
  • 27. Remarque Tébourbi Riadh, SUP'COM 2005 Si on pose alors avec et Soit:
  • 28. Tébourbi Riadh, SUP'COM 2005 a) Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z). = transformation rigide qui se compose d’une rotation et d’une translation  Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra
  • 29. Tébourbi Riadh, SUP'COM 2005 Peut s’écrire: Avec:
  • 30. Tébourbi Riadh, SUP'COM 2005 Et Donnent: M (3  4) appelée la matrice de projection de la caméra
  • 31. Tébourbi Riadh, SUP'COM 2005 Résumé
  • 32. Relation 2D/3D Tébourbi Riadh, SUP'COM 2005 Elimination de s  . Relations linéaires entre (u,v) et (Xw,Yw,Zw). . Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues. Trouver les coefficients de M ? 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m 34 24 W 33 W 23 W 32 W 22 W 31 W 21 34 14 W 33 W 13 W 32 W 12 W 31 W 11                
  • 33.
  • 34.
  • 35. Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour chaque point i : 1  i  N Résoudre un système linéaire homogène à 2N équations:
  • 36. Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Le système peut être écrit: Il faut éviter la solution évidente mij=0  Poser des contraintes.
  • 37. Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:  Contrainte m34  0 (m34 = Tz)  2 contraintes :
  • 38. Tébourbi Riadh, SUP'COM 2005 Etalonnage (suite)  R31, R32 et R33 sont les éléments d’une matrice de rotation R : Nous pouvons écrire: Donc contrainte : Or
  • 39. Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Utilisation de la contrainte m34  0 : on divise le système d’équations par m34 on obtient: Nous cherchons les qij = mij/m34  Résolution de ce système par la méthode des moindres carrés ( pseudo-inverse ):
  • 40. Etalonnage (suite) Tébourbi Riadh, SUP'COM 2005 Une fois les qij trouvés nous cherchons les mij sachant que: Soit: D’où Et
  • 41. Calcul des paramètres intrinsèques et extrinsèques de la caméra  Tébourbi Riadh, SUP'COM 2005 M =(mij) : fonctions des paramètres intrinsèques et extrinsèques. En tenant compte de: - La matrice R est orthogonale - L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0) On obtient:
  • 42. Précision de l’étalonnage Tébourbi Riadh, SUP'COM 2005 Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs : Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier: Une erreur calculée en reconstituant les coordonnées (u i ,v i ) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uc i ,vc i ) de ces points de référence et calculer l’erreur : qui est la moyenne des erreurs résiduelles et: qui est la variance de ces erreurs.
  • 43. Géométrie d’un système stéréoscopique Tébourbi Riadh, SUP'COM 2005 1) Position relative des deux caméras 2) Géométrie épipolaire 3) La matrice essentielle 4) La matrice fondamentale
  • 44. Position relative des deux caméras Tébourbi Riadh, SUP'COM 2005 Pour chaque caméra i P w =(X w ,Y w ,Z w ) t Rappel:
  • 45. Tébourbi Riadh, SUP'COM 2005 Pour les deux caméras, nous pouvons alors écrire En éliminant Pw entre les deux équations, nous obtenons: avec As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts
  • 46. Tébourbi Riadh, SUP'COM 2005 En introduisant dans cette dernière équation les coordonnées de la projection de P w dans l'image rétinienne gauche et droite , nous pouvons écrire :
  • 47. Tébourbi Riadh, SUP'COM 2005 En éliminant Z1 Avec:  équation qui décrit l' ensemble des points (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche = une droite appelée droite épipolaire Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite
  • 48. Géométrie épipolaire Tébourbi Riadh, SUP'COM 2005 e1 et e2 sont appelés les épipoles Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2 sont appelées les lignes épipolaires Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1 m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2
  • 49. Contrainte épipolaire Tébourbi Riadh, SUP'COM 2005 Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite
  • 50. Exemple Tébourbi Riadh, SUP'COM 2005
  • 51. La matrice essentielle Tébourbi Riadh, SUP'COM 2005 Coefficients de la droite épipolaire: Droite épipolaire qui peut s'écrire, en introduisant la matrice E, sous la forme:
  • 52. La matrice essentielle Tébourbi Riadh, SUP'COM 2005 Equation de la droite épipolaire peut s’écrire: et Donne: p i =(x i ,y i ,1)t avec E est appelée la matrice essentielle E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite Transformation épipolaire droite-gauche E t
  • 53. La matrice fondamentale Tébourbi Riadh, SUP'COM 2005 Rappel: pour chaque caméra i: avec et En remplacant dans Nous obtenons = matrice fondamentale (3 x 3) Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire
  • 54. Mise en correspondance Tébourbi Riadh, SUP'COM 2005 (X w ,Y w ,Z w ) (scène)  projections (U 1 ,V 1 ) (image gauche) et (U 2 ,V 2 ) (image droite) i=1,2  Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                
  • 55. Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème simplifié: a) contrainte épipolaire m 1 m 2 e 1 e 2 M C 2 C 1 Image 1 Image 2 Analytiquement: 0 1 1 1 1 2 2                      v u F v u F: matrice fondamentale (3 x 3)
  • 56. Tébourbi Riadh, SUP'COM 2005 Contrainte épipolaire Image de référence Image de recherche Ligne épipolaire m C 1 C 2 Espace de recherche monodimensionnel (≈ ligne)
  • 57. Mise en correspondance (suite) Tébourbi Riadh, SUP'COM 2005 Problème encore simplifié: b) Rectification des images m 1 m 2 m’ 1 m’ 2 u’ 1 u’ 2 disparité : d = u’ 2 – u’ 1
  • 58. Tébourbi Riadh, SUP'COM 2005 Exemple d d’
  • 59. Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Paramètres: H B m 1 m 2 u 1 u 2 disparité : d = u’ 2 – u’ 1
  • 60. Géométrie des images rectifiées (2) Tébourbi Riadh, SUP'COM 2005  La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H Matrices de rotation (égales) : Vecteurs de translation: Transformation rigide gauche-droite (simple translation)
  • 61. Géométrie des images rectifiées (3) Tébourbi Riadh, SUP'COM 2005 Matrice essentielle: Matrice fondamentale: Si pour les deux caméras α u = α v Disprité = f(Z w ,B,H)
  • 62.
  • 63. Tébourbi Riadh, SUP'COM 2005 Mise en correspondance par corrélation p l l fenêtre de corrélation fenêtre de recherche Image gauche Image droite d min d max
  • 64. exemple Tébourbi Riadh, SUP'COM 2005
  • 65. Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique Sous-échantillonnage de facteur 2 Sous-échantillonnage de facteur 2 Reconstruction grossière Reconstruction fine
  • 66. Tébourbi Riadh, SUP'COM 2005 Approche hiérarchique
  • 67.
  • 68.
  • 69. Détection de contours Tébourbi Riadh, SUP'COM 2005 Régions  Fermeture de contours Élimination des contours orphelins Buit  pré-filtrage des images A
  • 70.
  • 71.
  • 72. Critère de similarité Tébourbi Riadh, SUP'COM 2005 Attributs spatiaux Attributs de texture a k (R i ) attribut géométrique de la région R i . A = nombre d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc. B
  • 73. Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
  • 74. Mise en correspondance de régions Tébourbi Riadh, SUP'COM 2005 C
  • 75. Carte des disparités Tébourbi Riadh, SUP'COM 2005 Idéale
  • 76.
  • 77. Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les points ne sont pas forcément dans le même ordre dans les deux images.
  • 78. Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Les tailles et distances ne sont pas les mêmes d’une image à l’autre.
  • 79. Difficultés de l’appariement Tébourbi Riadh, SUP'COM 2005 Occlusions : des objets ou parties d’objets sont cachés. La correspondance n’existe pas dans ce cas.
  • 80. Carte des disparités Tébourbi Riadh, SUP'COM 2005
  • 81. Interpolation de la carte des disparités Tébourbi Riadh, SUP'COM 2005 Images stéréo Plane Polynomiale Rationnelle Interpolations Nature de la scène Médiane . . . Mise en correspondance Images des disparités calculées
  • 82. Tébourbi Riadh, SUP'COM 2005 Image disparités seuil=0.8 Filtre médian Fenêtre 3*3 Filtre médian Fenêtre 5*5 Filtre médian Fenêtre 7*7 Modèle 3-D Image gauche Interpolation médiane
  • 83. Interpolation rationnelle Tébourbi Riadh, SUP'COM 2005 Image gauche Image des hauteurs: seuil =0.8 Résultat de l’interpolation rationnelle
  • 84. Tébourbi Riadh, SUP'COM 2005 Densification : interpolation médiane Densification : interpolation rationnelle Densification : interpolation plane Carte des disparités
  • 85. Calcul des coordonnées 3D Tébourbi Riadh, SUP'COM 2005 i=1,2 m ij connus (u 1 ,v 1 ), (u 2 ,v 2 ) connus 0 v m m v Z m Z m v Y m Y m v X m X m 0 u m m u Z m Z m u Y m Y m u X m X m i 34 24 i W 33 W 23 i W 32 W 22 i W 31 W 21 i 34 14 i W 33 W 13 i W 32 W 12 i W 31 W 11                 Système de 4 équations 3 inconnues Résolution par moindres carrés.
  • 86. Modélisation 3D Tébourbi Riadh, SUP'COM 2005 Etalonnage Etalonnage
  • 87. Modélisation 3D Tébourbi Riadh, SUP'COM 2005
  • 88. Tébourbi Riadh, SUP'COM 2005 Visualisation 3D
  • 89. Visualisation 3D Tébourbi Riadh, SUP'COM 2005
  • 90. Tébourbi Riadh, SUP'COM 2005 Navigation 3D
  • 91. Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H H, B Résolutions ?
  • 92. Influence des paramètres d’acquisition Tébourbi Riadh, SUP'COM 2005 B H Compromis 2   H a R R y x    B H ) B , H ( R z     B H 2 A  1  B H
  • 93. Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible » Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie épipolaire Avec étalonnage: Sans étalonnage ?
  • 94. Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 F peut estimée calculée à partir de l'ensemble des points homologues m 1 (u 1 ,v 1 ) et m 2 (u 2 ,v 2 ) K= [u 1 u 2 , v 1 u 2 ,u 2 ,u 1 v 2 ,v 1 v 2 ,v 2 ,u 1 ,v 1 ,1] et F définie à un facteur multiplicatif près On peut poser F 33 = 1 Avec
  • 95. Estimation de la matrice fondamental Tébourbi Riadh, SUP'COM 2005 Pour un couple j de points homologues on peut écrire  Pour n points (n>7) homologues: système linéaire n équations à 8 inconnus. Résolution Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit ) Méthodes non linéaires: Least Median of Squares ou LMedS, RANSAC
  • 96. Estimation de la matrice fondamental par LMedS Tébourbi Riadh, SUP'COM 2005  En entrée: n correspondances extraites des deux images stéréoscopiques  l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m 1 (u 1 ,v 1 ,1) t et m 2 (u 2 ,v 2 ,1) t : (Fm 1 ) k est le k-ième élément du vecteur Fm 1 .
  • 97. Détection et appariement de points d'intérêts Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale
  • 98.
  • 99. Exemple résultat Harris Tébourbi Riadh, SUP'COM 2005
  • 100. Appariement des points d’intérêts Tébourbi Riadh, SUP'COM 2005  Corrélation + relaxation  La matrice fondamentale peut être calculée
  • 101. Rectification Tébourbi Riadh, SUP'COM 2005 Image gauche Image droite Extraction de points d'intérêt Extraction de points d'intérêt Mise en correspondance des points d'intérêt Calcul de la matrice fondamentale Calcul des matrices de rectification Rectification Mise en correspondance
  • 102. Rectification Tébourbi Riadh, SUP'COM 2005 Objectif: trouver deux matrices H1 et H2 de rectifications Pour deux points correspondants: Matrice fondamentale des images rectifiées: Une première paire de matrices de rectification H 01 et H 02 , il suffit de décomposer F en valeurs singulières :
  • 103. Famille des matrices de rectification Tébourbi Riadh, SUP'COM 2005 L'ensemble des paires de matrices de rectification (H 1 ,H 2 ) se déduisent de H 01 et H 02 par les relations: Variété de dim. 9  Trouver deux paires de rectification qui distordent le moins possible les images
  • 104. Tébourbi Riadh, SUP'COM 2005 Exemples
  • 105. Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005  Poser des contraintes 1) d'=u' 2 -u' 1 =d
  • 106. Calcul d’une paire de matrices de rectification Tébourbi Riadh, SUP'COM 2005 2) Conservation des lignes épipolaires  calculer les coins de l’image rectifiée Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole e 1 à l'infini. Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée
  • 108. Méthode du pseudo-inverse Tébourbi Riadh, SUP'COM 2005  Résoudre le système d’équations linéaires suivant  Q = vecteur n (inconnus) K = Matrice m*n C = vecteur n
  • 109. Méthode du pseudo-inverse Tébourbi Riadh, SUP'COM 2005 K.Q-C=e e représente un vecteur erreur La meilleure solution Q est celle qui minimise le module du vecteur erreur On cherche Q tel que soit minimum En différenciant par rapport à Q, on obtient : La matrice (K t K) -1 K t
  • 110. Géométrie des images rectifiées Tébourbi Riadh, SUP'COM 2005 Caméra gauche Caméra droite