Tougnel liris lyon

1 939 vues

Publié le

Support de communication de Laure Tougne présenté à la journée "Archives audiovisuelles et recherche" organisée par le Consortium Archives des Mondes Contemporains (ArcMC), le 29 septembre 2014.

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 939
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 448
Actions
Partages
0
Téléchargements
9
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Tougnel liris lyon

  1. 1. Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon http://liris.cnrs.fr Indexation automatique d’images et de vidéos Laure Tougne, Serge Miguet 29 septembre 2014 1
  2. 2. Plan de la présentation ! Le LIRIS, l’équipe IMAGINE ! Indexation automatique ou semi-automatique ! Des exemples ˜  Le projet AMRIA : aide à l’indexation de grands corpus audio-visuels ˜  L’ANR ReVeS : indexation et reconnaissance d’arbres et arbustes à partir de leurs feuilles 2Laure Tougne29/09/14
  3. 3. Deux mots sur le LIRIS et sur l’équipe IMAGINE… 16 juin 2014 3
  4. 4. Laboratoire d’InfoRmatique en Image et Systèmes d’Information !  5 tutelles ˜  CNRS (UMR5205) ˜  INSA de Lyon ˜  Université Lyon 1 ˜  Université Lyon 2 ˜  ECL !  3 implantations physiques ˜  Villeurbanne ˜  Bron ˜  Ecully http://liris.cnrs.fr 4Laure Tougne29/09/14
  5. 5. Quelques chiffres … !  262 membres : ˜  118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA) ˜  17 personnels administratifs et techniciens (en équivalent temps plein) ˜  121 doctorants, 11 post-docs ˜  Une moyenne de 30 thèses soutenues chaque année !  Un budget annuel d’environ 2M€/an (non consolidé) : ˜  10% soutien de base ˜  12% programmes (région, Europe, organismes) ˜  5% contrats industriels ˜  73% ANR Laure Tougne29/09/14 5
  6. 6. D’un point de vue scientifique !  Champ scientifique : Informatique / Sciences et Technologies de l’Information !  6 pôles de compétences reconnus au niveau international ˜  Vision intelligente et reconnaissance visuelle ˜  Géométrie et modélisation ˜  Data Science (Science des données) ˜  Services, Systèmes distribués et Sécurité ˜  Simulation, virtualité et sciences computationnelles ˜  Interactions et cognition ! Savoir-faire au service de la société en liaison étroite avec les disciplines Ingénierie, Sciences Humaines et Sociales, Science de l’Environnement et Science de la vie Laure Tougne29/09/2014 6
  7. 7. Organigramme 7Laure Tougne29/09/14
  8. 8. Equipe Imagine !  Analyse et le traitement automatique ou semi-automatique des médias visuels (images, vidéos, objets 3D) !  Objectifs ˜  Une meilleure compréhension et interprétation du contenu ; ˜  La reconnaissance, voire de l'identification de certains objets d'intérêt ; ˜  l'indexation intelligente qui faciliterait l'accès à des masses de données ; ˜  la compression & transmission & stockage avec de nouveaux modèles ! Des domaines applicatifs nombreux, dont ˜  Multimédia ˜  Documentique ˜  Vidéosurveillance ˜  L’environnement ˜  La pédagogie 8Laure Tougne29/09/14
  9. 9. Indexation automatique ou semi-automatique L. tougne 9
  10. 10. Recherche d’images par le contenu 10 Comparateur Calcul de signature Base d’images Base de signatures Calcul de la signature Requête Images de la base similaires à la requête INDEXATIONRECHERCHE Laure Tougne29/09/14 Segmentation Segmentation
  11. 11. Segmentation !  Extraction de l’objet d’intérêt ˜  Automatique / Semi-automatique ˜  Basée contours / régions ˜  Basée couleur / texture / mouvement ˜  Avec ou sans a priori 11Laure Tougne29/09/14
  12. 12. Extraction de caractéristiques (1) !  Descripteurs génériques de formes ˜  Mesures géométriques « simples » (aire, périmètre, diamètre, aspect ratio, compacité, etc.) ˜  Caractérisation géométriques du contour (CSS-contour, HoCS, etc.) ˜  Descripteurs statistiques de forme (moments, inner-distance shape context (IDSC), etc.) 12Laure Tougne29/09/14
  13. 13. Extraction de caractéristiques (2) !  Descripteurs spécifiques de formes ˜  Un exemple : feuilles d’arbres Laure Tougne29/09/2014 13 •  Position relative du centre •  Largeur maximale relative •  Longueur relative des côtés •  Angle à la base •  Angle à l’apex •  Nombre de lobes •  Longueur et angle de chaque paire de lobes
  14. 14. Extraction de caractéristiques (3) !  Descripteurs de contextes locaux ˜  Sur l’objet segmenté ou sur l’image entière ˜  Objectif : extraire des descripteurs sur des points caractéristiques afin de les retrouver sur des vues quasi-similaires ˜  Exemples : descripteurs SIFT, SURF, etc. Laure Tougne29/09/2014 14
  15. 15. Extraction de caractéristiques (4) !  Couleur et texture ˜  Histogramme dans divers espaces (RGB, HSL, L*a*b) ˜  Bins groupés, n bins les plus représentés, Bag-of-colors ˜  Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire de Markov (MRF). Laure Tougne29/09/2014 15
  16. 16. Comparateur !  Comparaison et recherche d’images par le contenu ˜  Exemple : plus proche voisin ˜  Associer à l’exemple proposé, l’exemple de la base le plus ressemblant ou le représentant de la base le plus ressemblant à Souvent métrique spécifique à la signature à Grand nombre de comparaisons ! Méthodes de classification automatique ˜  Entraîner un système prenant en entrée un ensemble d’attributs et donnant en sortie une information de classe ˜  Exemples : réseaux de neurones, support vector machines (SVM), forêts aléatoires, etc. !  La performance repose sur la pertinence des descripteurs Laure Tougne29/09/2014 16
  17. 17. Des exemples… L. Tougne 17
  18. 18. Le projet AMRIA : Analyse du Monde Rural par l’Image animée L. Tougne 18
  19. 19. Le Projet AMRIA Analyse du Monde Rural par l’Image Animée !  AMRIA : Projet du BQR Lyon 2 : 2011-2013 ˜  Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural ˜  Partenaires : ˜  Mihaela Scuturici, Serge Miguet, LIRIS ˜  Béatrice Maurines, Centre Max Weber ˜  Christian Dury, ISH ˜  Objectifs ˜  Collecte de données en provenance de différentes institutions dépositaires ˜  Expérimentation d’outils logiciels d’aide à l’indexation des images 19Laure Tougne29/09/14
  20. 20. Aide à l’indexation audiovisuelle du monde rural ˜  Stage de Clémence LOP sous la direction de Serge Miguet (2012) ˜  Détection de visages ˜  Détection / Reconnaissance de textes ˜  Stage de Van-Hau Phan sous la direction de Serge Miguet (2013) ˜  Classification Artificiel / Naturel ˜  Classification Intérieur / Extérieur 20Laure Tougne29/09/14
  21. 21. Aide à l’indexation de grands corpus audio-visuels L. Tougne 21 Stage de Clémence Lop Stage de fin d’études, IUT de Valence mars 2012-juin 2012
  22. 22. Exemple de documents (source : INA) 22 C’est arrivé en Limousin… Campagnes Françaises Laure Tougne29/09/14
  23. 23. Advene : un logiciel libre pour l’annotation de séquences vidéos 23Laure Tougne29/09/14
  24. 24. Exemple d’annotations automatisables : Classification du « type de scènes » ! Intérieur / extérieur ! Naturel / artificiel ! Jour / nuit ! Présence d’animaux / de machines ! Caractérisation du mouvement ! Présence de visages 24Laure Tougne29/09/14
  25. 25. Exemple de réalisation : détection de visages 25 Vrai Positif Faux Positif Laure Tougne29/09/14
  26. 26. Prise en compte de la cohérence temporelle : Sensibilité / Spécificité 26Laure Tougne29/09/14
  27. 27. Autres contributions réalisées pendant le stage ! Détection des changements de plans ! Détection des silhouettes humaines ! Détection des zones de texte ! Retranscription grâce à la reconnaissance optique de caractères 27Laure Tougne29/09/14
  28. 28. Aide à l’indexation de grands corpus audio-visuels L. Tougne 28 Stage de Van-Hau PHAN Stage de 3ème année d’école INSA de Lyon, département Informatique Juin 2013 – Septembre 2013
  29. 29. Catégorisation de vidéos !  Trois séquences utilisées ˜  La Terre est leur problème ˜  La Maison du Vigneron ˜  C’est arrivé en Limousin !  Création manuelle de deux pistes d’annotation : ˜  Naturel – Artificiel ˜  Intérieur – Extérieur !  Recherche d’indices visuels permettant de reproduire automatiquement les annotations ˜  Sur les données d’apprentissage ˜  En généralisation, sur des données non-apprises 29Laure Tougne29/09/14
  30. 30. Classification entre Scène Artificielle / Scène Naturelle !  Une scène artificielle contient des objets construits par l’homme ˜  Présence importante d’éléments géométriques ˜  Lignes droites ˜  Eléments anguleux ˜  Textures régulières (ou uniformes) !  Une scène naturelle contient des éléments irréguliers ˜  Formes ˜  Texture granuleuse 30Laure Tougne29/09/14
  31. 31. Boîte à outils, pour mettre en œuvre ces idées !  Détection des lignes de contraste ˜  Filtre de Canny !  Détection des alignements ˜  Transformée de Hough !  Caractérisation de la régularité des textures ˜  Local Binary Patterns (LBP) 31Laure Tougne29/09/14
  32. 32. Bonne détection de scène artificielle (1/2) 32Laure Tougne29/09/14
  33. 33. Bonne détection de scène artificielle (2/2) 33Laure Tougne29/09/14
  34. 34. Bonne détection de scène naturelle 34Laure Tougne29/09/14
  35. 35. Exemple de mauvaise classification (1/2) 35Laure Tougne29/09/14
  36. 36. Exemple de mauvaise classification (2/2) 36Laure Tougne29/09/14
  37. 37. Le projet ANR REVES : Reconnaissance de Végétaux pour des Interfaces Smartphones L. Tougne 37
  38. 38. Contexte !  Constats ˜  Urbanisation + attrait pour les nouvelles technologies à  l’homme méconnaît de plus en plus son environnement ˜  De nos jours : tout le monde possède un Smartphone à  outil intégrant de nombreuses fonctionnalités !  Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à connaître les végétaux qui l’entourent !  Partenaires : ˜  LIRIS (Lyon) : traitement d’images et de vidéos ˜  EVS (St Etienne) : connaissances phytogéographiques / étude des usages ˜  LISTIC (Annecy) : fusion des données !  Autres participants ➠ Base de données botaniques – Société Linéenne de Lyon ➠ Contraintes liées au matériel / portage –Société Trydéa Laure Tougne29/09/14
  39. 39. Scénario typique Une personne, lors d'une promenade, prend une photo / vidéo d'une plante (feuille(s) et éventuellement fleur(s)) avec son smartphone afin d’obtenir des informations à son sujet. Laure Tougne29/09/14
  40. 40. Schéma du scénario Laure Tougne29/09/14
  41. 41. Une approche pour un outil pédagogique !  Public visé : non spécialistes !  Combiner des données images avec d’autres données !  Sortie : ˜  Une liste d’espèces probables ˜  Pouvoir expliquer ce qui a conduit à reconnaître Laure Tougne29/09/14
  42. 42. Quelques Résultats Feuilles Simples Base Pl@ntLeaves I (5668 photos, 80 espèces extraites) 85% dans les 5 premières réponses Feuilles composées Base Pl@ntLeaves II (1140 photos, 17 espèces extraites) 86% dans les 5 premières réponses Laure Tougne29/09/14
  43. 43. Folia sur l’App Store et le Google store Laure Tougne29/09/14
  44. 44. Merci pour votre attention ! L. Tougne 44 Laure.Tougne@liris.cnrs.fr

×