Intl. Conf. RIVF’04February 2-5, Hanoi, Vietnam61Résumé — L’extraction des caracté-ristiques visuelles joue unrôle très im...
62Une définition mathématique de “blob” et de “crête”est présentée par le modèle mathématique. Une conique ducentre M (ou ...
63+ Il est un point de crêtes si, son laplacien estextremum local dans sa direction w1.+ Il n’est pas de point de blobs et...
64L’algorithme d’apprentissage est de type de l’algorithmerétro-propagation [3]. Dans la phase d’apprentissage, tousles ve...
65Dans la suite nous continuerons à étudier et à améliorerl’algorithme pour obtenir des résultats meilleurs dansdifférents...
66
Prochain SlideShare
Chargement dans…5
×

Une solution de vérification de visage basée sur l’extraction

452 vues

Publié le

Une solution de vérification de visage basée sur l’extraction

Publié dans : Voyages, Business
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Une solution de vérification de visage basée sur l’extraction

  1. 1. Intl. Conf. RIVF’04February 2-5, Hanoi, Vietnam61Résumé — L’extraction des caracté-ristiques visuelles joue unrôle très important pour la détection de visage. Plusieursapproches ont été proposées, mais une méthode efficace pourla détection de visage reste encore un problème de recherche.Dans ce papier nous présentons une solution de vérificationde visage basée sur l’extraction des caractéristiques locales detype ‘pic et ‘crête’ qui sont considérés comme lescaractéristiques locales de la forme du visage. Cette solutionse compose de deux étapes : l’étape de l’extraction des ‘pic’ etdes ‘crêtes’ fondée sur la méthode géométrie différentielle etl’étape de vérification réalisée par un réseau de neuronesPerceptron multicouche. Les résultats expérimentaux serontprésentés.Mot clé — Détection de visage, Extraction des caractéristiqueslocales, Géométrie différentielle, Vérification de visage.I. INTRODUCTIONLes méthodes de vérification de visage en vision parordinateur sont basées sur l’extraction des caractéristiquesfaciales de l’image. Les caractéristiques visuelles de visagesont considérées comme les yeux, le nez, la bouche, lesoreilles. Cependant ces caractéristiques peuvent êtrevariées, elles dépendent encore de la position du camérapour la prise de l’image. Par conséquent, la détection devisage est un problème complexe et vague. Plusieursapproches et méthodes ont été proposées pour la détectionde visage et la détection des caractéristiques faciales devisage [9]. Yang et Huang [10] proposent l’usage deniveaux gris de l’image en structure pyramidale pourdétecter le visage. M. Hunke et A. Waibel [2] déterminentdes zones des points de l’image dont ses couleursressemblent à la couleur de peau. Kotropoulos et Pitas [4]utilisent une règle basée sur localisation pour détecter lescaractéristiques faciales par une projection fructueuse. SoitI(x,y) une valeur dintensité dune image numérique mxnen position (x,y), les projections verticales et horizontalesde limage sont définies comme :∑==nyyxIxHI1),()( (1)∑==nxyxIyVI1),()( (2)Les caractéristiques faciales correspon-dent auxminimums locaux où les changements abrupts dintensitésurvien-nent de HI(x) et de VI(y).On s’intéresse au problème de la vérification de visageà base des images de visages seuls. Les images entrées sontdes images de visage d’identité. Elles sont normalisées à laNGUYEN Thanh Phuong, NGUYEN Thi Hoang Lan : InstitutPolytechnique de Hanoi, Institut de la Francophonie pour l’Informatiquetaille 55x70. Nous proposons une solution de lavérification de visage basée sur l’extraction descaractéristiques locales de type “crête” et “blob”. Lescaractéristiques faciales de visage sont détectées dansdes fenêtres définies par une méthode basée sur lagéométrie différentielle [7]. Chaque image de visagepeut être caractérisée par un vecteur des caractéristiquesfaciales qui est construit par des caractéristiques localesde type “crête” et “blob”. L’image de visage est vérifiéepar un réseau perceptron multicouche. Après la phased’apprentissage du réseau, les formes du visage despersonnes connues sont archivées dans une base dedonnée des caractéristiques faciales. Une image devisage entrée sera classifiée, soit similaire ou nonsimilaire à une des images personnes connues. Ce papiers’organise en 5 parties, après l’introduction, la 2è partieprésente l’algorithme de l’extraction des blobs et descrêtes basées sur la méthode géométrie différentielle etpropose de construire le vecteur des caractéristiquesfaciales de visage, la 3è partie concerne la constructiond’un réseau perceptron multicouche (MLP) pourvérification de visage, la 4è partie se focalise surl’implémentation du programme et les résultatsexpérimentaux, la dernière partie est une conclusion dupapier.II. L’EXTRACTION DES ‘BLOBS’ ET DES ‘CRÊTE’DE VISAGEA. Notion de“Blob” et “Crête”Nous proposons dutiliser les caractéristiqueslocales telles que les blobs et les crêtes pour lamodélisation de lobjet l’image de visage. Intuitivement,la notion de crête nous fait penser au chemin que lonsuit sur la montagne où il y a deux côtés descendants, unblob est considère comme une boule [7].Un “blob” est un ensemble des points voisins qui aun point sommet et une zone des points en dessous.Dans l’image d’intensité, un “blob” ressemble à une“montagne” isolée et assez ronde. Une “crête” est unensemble des points voisins qui a un groupe des pointssommets en ligne avec 2 bandes des points contigus endessous. On peut imaginer la “crête” comme un cheminqu’on peut suivre à dos de la montagne où il y a deuxcôtés descendants. On observe que dans une image, une“crête” est une ligne qui se trouve au milieu d’une tacheallongée, un “blob” est une tache plutôt ronde.Une Solution de Vérification de Visage basée sur l’Extractiondes Caractéristiques de Type ‘pic’ et ‘crête’ de l’Image.Thanh-Phuong Nguyen, Thi-Hoang-Lan Nguyen
  2. 2. 62Une définition mathématique de “blob” et de “crête”est présentée par le modèle mathématique. Une conique ducentre M (ou du sommet M en cas de parabole) estcaractérisée par les quatre coefficients de la matriceHessienne [7]:∂∂∂∂∂∂∂∂∂∂=222222yfyxfyxfxfH (3)Le point M au sommet de surface est un pic. Nousintéressons particulièrement à deux types de surfacesprésentés dans la figure suivante.B. Méthode de L’Extraction de Pics et de Crête1) Présentation Générale de la Méthode:Plusieurs méthodes ont été proposées pour détecter les“crêtes” et les “blobs” de l’image. Dans [6], Steger utilisela méthode basée sur la détection de contours. Le principede cette méthode considère une crête comme une ligne quise trouve au milieu de deux contours parallèles. Saint-Venant [5] utilise méthode basée sur le signal de l’imageoù les points de crête sont considérés comme desminimums de la magnitude du gradient dans la directionperpendiculaire à la direction de la crête. Crowley & A.Parker identifient un pic aux endroits où la réponse dedifférence de Gaussiennes est un extremum local dansl’ensemble d’images aux passe-bandes. Cet ensembled’images est calculé par une transformation ‘DOLP’ enutilisant des filtres passe-bande bk.Pour détecter les “crêtes” et les “blobs”, nousintéressons à une approche développée par T. Hai Tranet A. Lux [7, 8]. Cette méthode est basée sur lagéométrie différentielle. La surface locale à chaquepoint de l’image est étudiée, les types de surface localesont caractérisés par les valeurs propres de la matriceHessienne. Tout d’abord, l’image est filtrée par le filtrelaplacien à une échelle appropriée δ. On cherche unextremum local dans une direction perpendiculaire à ladirection de la crête sur des caractéristiques de typecrête et dans toutes les directions sur des caractéristiquesde type blob. Ensuite, deux valeurs propres de la matriceHesseine à chaque point de l’image sont calculées. Lasurface locale à un point dans l’image est donccaractérisée par la matrice Hessienne. Deux vecteurspropres correspondent aux deux directions principalesde la surface. Pour détecter des points de crête ou deblob à l’échelle δ, on utilise critère suivant [7]:Point M est un pic si :λ1 λ2 > 0 et bs<21λλ(4)Point M est un point de crête si :λ1 λ2 > 0 et cs>21λλ(5)Ou λ1 et λ2 sont des deux valeurs propres, les sbet sc sont des seuils.2) Algorithme dExtraction des Caractéristiques de‘Pic’ et de ‘Crête’ :a) Algorithme :Le principe de lalgorithme dextraction decaractéristiques locales de lobjet est de segmenterlimage pour déterminer une région couvrant lobjetdintérêt et ensuite détecter les crêtes à plusieurs échelleset les blobs à leurs échelles caractéristiques dans cetterégion Lalgorithme se compose des étapes suivantes [7]:• Calcul densemble de réponses de laplaciennormalisé sur des points de limage.• Détermination déchelles caractéristiques pourchaque point de limage.• Calcul des deux valeurs propres λ1, λ2 et deuxvecteurs propres correspondant w1, w2 de lamatrice Hessienne pour chaque point delimage à une résolution. Parmi les deuxvaleurs propres on prend un vecteur propre w2correspondant à une valeur propre plus faibleλ2, on attache au point une direction du vecteurpropre w2.• Pour la détection des points de blobs et decrêtes dans limage à léchelle, chaque point (x,y) est classifié par une règle suivante:+ Il est un pic si l’on a 0. 21 >λλ etseuilB<21λλà une de ses échellescaractéristiques δ, alors son laplacien estextremum local dans toutes les directions delimage.Fig.1. L’image de visage en vue 3D delaplacien et les régions de blobs et de crêtes.Fig.2. (a) La surface est un paraboloïde elliptique, le pointM au sommet de la surface est un pic. (b) La surface estun paraboloïde cylindrique. Tous les points au sommet dela surface sont des points de crête (les points la ligne noirefoncée).
  3. 3. 63+ Il est un point de crêtes si, son laplacien estextremum local dans sa direction w1.+ Il n’est pas de point de blobs et de crêtes si0. 21 <λλ , son laplacien est extremum local dansles deux directions de w1 et w2.• Enchaînement de points des blobs et des crêtes enutilisant la méthode de modélisation de blob et decrêtes présente dans [7].• Segmentation de l’image pour déterminer desrégions couvrant lobjet dintérêt correspondantaux blobs et crêtes• Pour chaque région, on calcule son centre degravité et ses axes dinertie...• Combinaison de toutes les caractéristiques dans larégion de l’objet à plusieurs échelles. Les seuilB,seuilC sont choisis expérimentalement.b) Détection dextremum de Laplacien :Théoriquement, un point pic ou un point de crêtes estdétecté à une échelle donnée δ, il doit être extremum dansun cercle (pour le pic) ou dans un intervalle (pour le pointde crête) de taille proportionnelle à léchelle. En pratique,limage peut être mauvaise qualité, le nombre de points deblobs et de crête soit faible. Pour éviter ce problème danslimplémentation, nous déterminons les extrêmes locaux dulaplacien seulement dans des fenêtres de petite taille fixe(par exemple la taille 3 ou 5 pour une dimension, (3x3) ou(5x5) pour 2 dimensions) pour toutes les échelles.Lutilisation dune fenêtre de petite taille pour détecter lescaractéristiques à une grande échelle peut entraînerplusieurs réponses.C. Caractéristiques Faciales de Type “Pic” et “Crête”de l’Image de Visage1) Les Caractéristiques Faciales de Type “Pic” et“Crête” :Les caractéristiques visuelles de visage sont considéréescomme les yeux, le nez, la bouche et les oreilles [9, 10].Comme on a vu dans le paragraphe II, l’extraction descaractéristiques de type “pic” et “crête” peut nouspermettre de détecter les positions des yeux, du nez, de labouche de la forme du visage. Dans ce paragraphe nousdiscutons d’abord sur le problème c’est que comment peut-on détecter automatiquement les positions des yeux, dunez, de la bouche et des oreilles par l’extraction des “pic”et des “crête”, ensuite nous proposons d’extraire descaractéristiques visuelles.En supposant que l’image du visage est prise en droite,les caractéristiques du visage peuvent être effectivementconsidérées comme les yeux, le nez, la bouche et lesoreilles. En plus si l’image est photographiée proche, lespupilles peuvent être accusées, nous considérons que lespupilles sont rondes et sombres. Donc les pics sont détectésà des positions des pupilles. Si nous ne pouvons pasobserver exactement les pupilles des yeux, les yeux sontconsidérés comme une forme des bande sombres. Parconséquent, nous proposons de détecter les deux yeuxcomme les deux “crêtes”. Dans nombreux de cas desimages de front, le nez est en forme de “blob”. C’estpourquoi, le nez est détecté comme un pic. En pratique, les“crêtes”courant apparaîtront à la position ce qu’on extraitun “blob”situé. Donc, nous pouvons détecter le nez commele centre de gravité des “crêtes”. La bouche apparaîtretoujours en forme de bande. C’est pourquoi, la bouchepeut être détectée comme une “crête”. Dans nombreuxcas, des oreilles n’ont pas rôle important dans laconstruction d’une forme du visage. Normalement un dedeux oreilles ne peut être pas apparaît dans l’image devisage [9].2) Vecteur de caractéristiques faciales:Notre approche montre que les caractéristiquesvisuelles de visage peuvent être détectées en utilisantméthode de la détection des caractéristiques locales detype “crête” et “blob”. A partir des crêtes et des blobsdétectés, nous proposons ensuite de construire unvecteur de caractéristiques faciales de 6 composants quipeuvent caractériser chaque image de visage par les 6distances géométriques suivantes :- la distance entre l’œil à gauche et l’œil à droite,- la distance entre l’œil à gauche et le nez,- la distance entre l’œil à droite et le nez,- la distance entre l’œil à gauche et la bouche,- la distance entre l’œil à droite et la bouche,- la distance entre le nez et la bouche.Ces distances géométriques sont calculées par lespositions des caractéristiques visuelles détectées par descrêtes et des pics.III. VÉRIFICATION DE VISAGE PAR UN RÉSEAUPERCEPTRON MULTICOUCHEChaque image de visage est donc caractérisée par unvecteur de caractéristiques faciales de 6 composantsdéfinis ci-dessus. Un réseau perceptron multicoucheMLP [3] est construit pour vérifier une image de visageentrée et décider qu’elle sera similaire ou non similaire àun des visages connus. Ce réseau est entraîné par desvecteurs de caractéristiques faciales des visages connus.Nous construisons un réseau neuronal Perceptron en 3couches. Pour vérifier un visage, la couche entrée secompose de 6 neurones, la couche cachée contient les 6neurones, la couche sortie est un seul neurone. Nombred’entrée du réseau correspond à 6 composants duvecteur de caractéristiques faciales de visage. Leprocessus de vérification de visage est réalisé par les 2phases: phase d’apprentissage et phase de vérification.• Phase d’apprentissageUne base de données d’apprentissage du réseauPerceptron est construite par l’ensemble des vecteurs decaractéristiques faciales des visages connus.Fig.3. Structure du réseauperceptron multicouche
  4. 4. 64L’algorithme d’apprentissage est de type de l’algorithmerétro-propagation [3]. Dans la phase d’apprentissage, tousles vecteurs de caractéristiques faciales des images d’unepersonne connue sont introduits au réseau perceptronmulticouche comme des données entrées. Le résultatd’apprentissage fournit les poids et les biais du réseaucorrespondant à une forme du visage de cette personneconnue. Ce vecteur des paramètres est archivé dans unebase de données des formes de visages.Il est évident que, plus nombre des images entrées d’unepersonne connue est augmenté, plus la forme du visage decette personne est effectivement représentée.• Phase de vérificationDans cette phase, une image de visage est entrée ausystème de vérification de visage. D’abord un vecteur decaractéristiques faciales de cette image de visage estcalculé par la détection des caractéristiques de type ‘pics’et crêtes’. Puis, ce vecteur est entré au réseau neuronalPerceptron. En utilisant une base de données construite, leréseau classifie et vérifie ce visage. Une seule classe estchoisie. La réponse sera “Oui” si ce visage est similaire àun visage d’une personne connue dans la base de données.Inversement, la réponse sera “Non”, et le vecteur decaractéristiques faciales de cette personne est archivé dansune base de données comme une nouvelle personne..IV. I MPLÉMENTATION ET RÉSULTATSEXPRÉMENTAUXA. Implémentation du ProgrammeNous avons implémenté le système de vérification devisage dans l’environnement de programmationMatLab6.1. Ce système est divisé en 2 modules.Module 1 effectue l’extraction des caractéristiques deblobs et de crêtes à partir de l’image de visages d’entrée,calcule les 6 composants du vecteur de caractéristiquesfaciales de chaque image de visage. L’algorithme del’extraction des ‘blobs’ et de ‘crêtes par une méthodebasée sur la géométrie différentielle présenté dans leparagraphe II.2, le vecteur de caractéristiques facialesest proposé dans le paragraphe II.3. Module 2 est unemise en œuvre d‘un réseau de neurones Perceptronprésenté dans paragraphe III. Apres la phased’apprentissage, ce réseau fournit la réponse de lavérification des images de visage.B. Résultats ExprémentauxLes figures 6 et 7 montrent les caractéristiques desvisages en forme de type ‘crête’ et ‘pic’ extraites parnotre système.L’algorithme de l’extraction de crêtes et de pics dumodule 1 fournit des formes de crêtes et de picscorrespondant à des positions de la forme de l’objet duvisage. Pour le réseau Perceptron, en ce moment la taillede la base de données d’apprentissage est encore faibleavec quelques images par personne, l’ordre d’unedizaine personnes. Le taux de vérification dans ce casest obtenu de l’ordre 60%. Ce taux sera augmente sinombre des images d’apprentissage est satisfaisantgrand. Cependant, il y a encore autres facteurs quiinfluencent sur le résultat final.En pratique les caractéristiques faciales de visage nesont pas souvent apparaît en forme de type “crête” et“blob” comme le type désiré, les positions descaractéristiques visuelles de visage peuvent être situéesnon exactement. Pour améliorer ce problème, nousnormalisons la taille de l’image et nous cherchons lescaractéristiques du visage dans des fenêtres déterminées.V. CONCLUSIONLa vérification de visage et la détection de visagerestent encore un des problèmes complexes de recherche[1, 2, 3, 9, 10], notre travail contribue une solution duproblème en combinant une approche traditionnelle deréseau. Perceptron multicouche avec la notion descaractéristiques locales de type ‘pic et ‘crête’. Dans cepapier nous avons présenté une méthode de vérificationde visage basée sur l’extraction des caractéristiqueslocales de type ‘pic et ‘crête’ par une méthodegéométrie différentielle. Nous proposons de construireun vecteur de caractéristiques faciales qui peutcaractériser une image de visage à partir des ‘blobs’ etdes ‘crête’ détectés. Un réseau Perceptron multicoucheest construit et entraîné pour vérifier des images devisages. Nous avons trouve les premiers résultats dansune condition limitée. Les résultats expérimentauxmontre que cette méthode peut fournir des résultatsintéressants avec des images claires.Fig.4. Phase d’apprentissageFig.5. Phase de vérification
  5. 5. 65Dans la suite nous continuerons à étudier et à améliorerl’algorithme pour obtenir des résultats meilleurs dansdifférents cas de l’image de visage.RÉFÉRENCE[1] J.L. Crowley and A.C. Parker, "A Representation for Shape Basedon Peaks and Ridges in the Difference of Low-Pass Transform",IEEE Transactions on Pattern Analysis and Machine Intelligence ,Vol. 6, pp. 156-169, March 1984.[2] M. Hunke and A. Waibel, “Face locating and tracking for human-computer interaction”, in 28th Asilomar Conference on Signals,Systems and Computers, Monterey, CA, 1994.[3] Hagan, Dewutn and Beale, “Neural Network Design”, PWSpuslishing company, 20 Park Plaza, Boston, US[4] C. Kotropoulos and I. Pitas, “Rule-Based Face Detection in FrontalViews” Proc. Int Conf. Acoustics, Speech and Signal Processing,[5] M. De Saint-Venant. “Surface à plus grande pente constitué sur leslignes courbes”. Bulletinde la Soc. Philomath de Paris, pp. 24-30,1852[6] C. Steger. “An unbiased detector of curvilinear structures”. IEEETransactions on Pattern Analysis and Machine Intelligence, 20(2):113-119, February 1998[7] TRAN Thi Thanh Hai et Augustin LUX, “Extraction decaractéristiques locales: Crêtes et Pics”, Proceeding of RIVF’03,Février 2003, Hanoi.[8] Thanh Hai TRAN THI and Augustin LUX, “Experimenting withridge extraction at characteristic scales”, Projet PRIMA, INRIARhone-Alpes, FRANCE, 2002.[9] Ming-Hsuan Yang, Member, IEEE, David J. Kriegman, SeniorMember, IEEE, andNarendra Ahuja, Fellow, IEEE, “DetectingFaces in Human Image – A Survey”, IEEE Transactions on patternanalysis and machine intelligence, vol 24,no 1, January 2002.[10] G. Yang and T. S. Huang, “Human face detection in a complexbackground”, Pattern Recog. 27, 1994, p.53–63.Fig.6. Le visage observé et ses deux yeux détectéscomme les deux crêtes.Fig.7. Le visage observé et son nez détecté comme unpic ‘blob’
  6. 6. 66

×