Laboratoire d'InfoRmatique en Image et Systèmes d'information
LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard L...
Plan de la présentation
! Le LIRIS, l’équipe IMAGINE
! Indexation automatique ou semi-automatique
! Des exemples
˜  Le pr...
Deux mots sur le LIRIS et
sur l’équipe IMAGINE…
16 juin 2014
3
Laboratoire d’InfoRmatique en Image
et Systèmes d’Information
!  5 tutelles
˜  CNRS (UMR5205)
˜  INSA de Lyon
˜  Univer...
Quelques chiffres …
!  262 membres :
˜  118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA)
˜  17 personnels admi...
D’un point de vue scientifique
!  Champ scientifique : Informatique / Sciences et Technologies de
l’Information
!  6 pôles...
Organigramme
7Laure Tougne29/09/14
Equipe Imagine
!  Analyse et le traitement automatique ou semi-automatique des
médias visuels (images, vidéos, objets 3D)
...
Indexation automatique
ou semi-automatique
L. tougne
9
Recherche d’images par le contenu
10
Comparateur
Calcul de
signature
Base d’images Base de signatures
Calcul de
la
signatu...
Segmentation
!  Extraction de l’objet d’intérêt
˜  Automatique / Semi-automatique
˜  Basée contours / régions
˜  Basée ...
Extraction de caractéristiques (1)
!  Descripteurs génériques de formes
˜  Mesures géométriques « simples » (aire, périmè...
Extraction de caractéristiques (2)
!  Descripteurs spécifiques de formes
˜  Un exemple : feuilles d’arbres
Laure Tougne29...
Extraction de caractéristiques (3)
!  Descripteurs de contextes locaux
˜  Sur l’objet segmenté ou sur l’image entière
˜ ...
Extraction de caractéristiques (4)
!  Couleur et texture
˜  Histogramme dans divers espaces (RGB, HSL, L*a*b)
˜  Bins gr...
Comparateur
!  Comparaison et recherche d’images par le contenu
˜  Exemple : plus proche voisin
˜  Associer à l’exemple ...
Des exemples…
L. Tougne
17
Le projet AMRIA :
Analyse du Monde Rural par
l’Image animée
L. Tougne
18
Le Projet AMRIA
Analyse du Monde Rural par l’Image Animée
!  AMRIA : Projet du BQR Lyon 2 : 2011-2013
˜  Porteur : Edouar...
Aide à l’indexation audiovisuelle du monde rural
˜  Stage de Clémence LOP sous la direction de Serge Miguet (2012)
˜  Dé...
Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
21
Stage de Clémence Lop
Stage de fin d’études, IUT de Valenc...
Exemple de documents (source : INA)
22
C’est arrivé en Limousin…
Campagnes Françaises
Laure Tougne29/09/14
Advene :
un logiciel libre pour l’annotation de séquences vidéos
23Laure Tougne29/09/14
Exemple d’annotations automatisables :
Classification du « type de scènes »
! Intérieur / extérieur
! Naturel / artificiel...
Exemple de réalisation : détection de visages
25
Vrai Positif Faux Positif
Laure Tougne29/09/14
Prise en compte de la cohérence temporelle :
Sensibilité / Spécificité
26Laure Tougne29/09/14
Autres contributions réalisées pendant le stage
! Détection des changements de plans
! Détection des silhouettes humaines
...
Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
28
Stage de Van-Hau PHAN
Stage de 3ème année d’école
INSA de ...
Catégorisation de vidéos
!  Trois séquences utilisées
˜  La Terre est leur problème
˜  La Maison du Vigneron
˜  C’est a...
Classification entre Scène Artificielle / Scène Naturelle
!  Une scène artificielle contient des objets construits par l’h...
Boîte à outils, pour mettre en œuvre ces idées
!  Détection des lignes de contraste
˜  Filtre de Canny
!  Détection des a...
Bonne détection de scène artificielle (1/2)
32Laure Tougne29/09/14
Bonne détection de scène artificielle (2/2)
33Laure Tougne29/09/14
Bonne détection de scène naturelle
34Laure Tougne29/09/14
Exemple de mauvaise classification (1/2)
35Laure Tougne29/09/14
Exemple de mauvaise classification (2/2)
36Laure Tougne29/09/14
Le projet ANR REVES :
Reconnaissance de Végétaux
pour des Interfaces
Smartphones
L. Tougne
37
Contexte
!  Constats
˜  Urbanisation + attrait pour les nouvelles technologies
à  l’homme méconnaît de plus en plus son ...
Scénario typique
Une personne, lors d'une promenade,
prend une photo / vidéo d'une plante
(feuille(s) et éventuellement fl...
Schéma du scénario
Laure Tougne29/09/14
Une approche pour un outil pédagogique
!  Public visé : non spécialistes
!  Combiner des données images avec d’autres donn...
Quelques Résultats
Feuilles Simples
Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)
85% dans les 5 premières répons...
Folia sur l’App Store et le Google store
Laure Tougne29/09/14
Merci pour votre attention !
L. Tougne
44
Laure.Tougne@liris.cnrs.fr
Prochain SlideShare
Chargement dans…5
×

Tougnel liris lyon

2 002 vues

Publié le

Support de communication de Laure Tougne présenté à la journée "Archives audiovisuelles et recherche" organisée par le Consortium Archives des Mondes Contemporains (ArcMC), le 29 septembre 2014.

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
2 002
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 470
Actions
Partages
0
Téléchargements
9
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Tougnel liris lyon

  1. 1. Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon http://liris.cnrs.fr Indexation automatique d’images et de vidéos Laure Tougne, Serge Miguet 29 septembre 2014 1
  2. 2. Plan de la présentation ! Le LIRIS, l’équipe IMAGINE ! Indexation automatique ou semi-automatique ! Des exemples ˜  Le projet AMRIA : aide à l’indexation de grands corpus audio-visuels ˜  L’ANR ReVeS : indexation et reconnaissance d’arbres et arbustes à partir de leurs feuilles 2Laure Tougne29/09/14
  3. 3. Deux mots sur le LIRIS et sur l’équipe IMAGINE… 16 juin 2014 3
  4. 4. Laboratoire d’InfoRmatique en Image et Systèmes d’Information !  5 tutelles ˜  CNRS (UMR5205) ˜  INSA de Lyon ˜  Université Lyon 1 ˜  Université Lyon 2 ˜  ECL !  3 implantations physiques ˜  Villeurbanne ˜  Bron ˜  Ecully http://liris.cnrs.fr 4Laure Tougne29/09/14
  5. 5. Quelques chiffres … !  262 membres : ˜  118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA) ˜  17 personnels administratifs et techniciens (en équivalent temps plein) ˜  121 doctorants, 11 post-docs ˜  Une moyenne de 30 thèses soutenues chaque année !  Un budget annuel d’environ 2M€/an (non consolidé) : ˜  10% soutien de base ˜  12% programmes (région, Europe, organismes) ˜  5% contrats industriels ˜  73% ANR Laure Tougne29/09/14 5
  6. 6. D’un point de vue scientifique !  Champ scientifique : Informatique / Sciences et Technologies de l’Information !  6 pôles de compétences reconnus au niveau international ˜  Vision intelligente et reconnaissance visuelle ˜  Géométrie et modélisation ˜  Data Science (Science des données) ˜  Services, Systèmes distribués et Sécurité ˜  Simulation, virtualité et sciences computationnelles ˜  Interactions et cognition ! Savoir-faire au service de la société en liaison étroite avec les disciplines Ingénierie, Sciences Humaines et Sociales, Science de l’Environnement et Science de la vie Laure Tougne29/09/2014 6
  7. 7. Organigramme 7Laure Tougne29/09/14
  8. 8. Equipe Imagine !  Analyse et le traitement automatique ou semi-automatique des médias visuels (images, vidéos, objets 3D) !  Objectifs ˜  Une meilleure compréhension et interprétation du contenu ; ˜  La reconnaissance, voire de l'identification de certains objets d'intérêt ; ˜  l'indexation intelligente qui faciliterait l'accès à des masses de données ; ˜  la compression & transmission & stockage avec de nouveaux modèles ! Des domaines applicatifs nombreux, dont ˜  Multimédia ˜  Documentique ˜  Vidéosurveillance ˜  L’environnement ˜  La pédagogie 8Laure Tougne29/09/14
  9. 9. Indexation automatique ou semi-automatique L. tougne 9
  10. 10. Recherche d’images par le contenu 10 Comparateur Calcul de signature Base d’images Base de signatures Calcul de la signature Requête Images de la base similaires à la requête INDEXATIONRECHERCHE Laure Tougne29/09/14 Segmentation Segmentation
  11. 11. Segmentation !  Extraction de l’objet d’intérêt ˜  Automatique / Semi-automatique ˜  Basée contours / régions ˜  Basée couleur / texture / mouvement ˜  Avec ou sans a priori 11Laure Tougne29/09/14
  12. 12. Extraction de caractéristiques (1) !  Descripteurs génériques de formes ˜  Mesures géométriques « simples » (aire, périmètre, diamètre, aspect ratio, compacité, etc.) ˜  Caractérisation géométriques du contour (CSS-contour, HoCS, etc.) ˜  Descripteurs statistiques de forme (moments, inner-distance shape context (IDSC), etc.) 12Laure Tougne29/09/14
  13. 13. Extraction de caractéristiques (2) !  Descripteurs spécifiques de formes ˜  Un exemple : feuilles d’arbres Laure Tougne29/09/2014 13 •  Position relative du centre •  Largeur maximale relative •  Longueur relative des côtés •  Angle à la base •  Angle à l’apex •  Nombre de lobes •  Longueur et angle de chaque paire de lobes
  14. 14. Extraction de caractéristiques (3) !  Descripteurs de contextes locaux ˜  Sur l’objet segmenté ou sur l’image entière ˜  Objectif : extraire des descripteurs sur des points caractéristiques afin de les retrouver sur des vues quasi-similaires ˜  Exemples : descripteurs SIFT, SURF, etc. Laure Tougne29/09/2014 14
  15. 15. Extraction de caractéristiques (4) !  Couleur et texture ˜  Histogramme dans divers espaces (RGB, HSL, L*a*b) ˜  Bins groupés, n bins les plus représentés, Bag-of-colors ˜  Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire de Markov (MRF). Laure Tougne29/09/2014 15
  16. 16. Comparateur !  Comparaison et recherche d’images par le contenu ˜  Exemple : plus proche voisin ˜  Associer à l’exemple proposé, l’exemple de la base le plus ressemblant ou le représentant de la base le plus ressemblant à Souvent métrique spécifique à la signature à Grand nombre de comparaisons ! Méthodes de classification automatique ˜  Entraîner un système prenant en entrée un ensemble d’attributs et donnant en sortie une information de classe ˜  Exemples : réseaux de neurones, support vector machines (SVM), forêts aléatoires, etc. !  La performance repose sur la pertinence des descripteurs Laure Tougne29/09/2014 16
  17. 17. Des exemples… L. Tougne 17
  18. 18. Le projet AMRIA : Analyse du Monde Rural par l’Image animée L. Tougne 18
  19. 19. Le Projet AMRIA Analyse du Monde Rural par l’Image Animée !  AMRIA : Projet du BQR Lyon 2 : 2011-2013 ˜  Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural ˜  Partenaires : ˜  Mihaela Scuturici, Serge Miguet, LIRIS ˜  Béatrice Maurines, Centre Max Weber ˜  Christian Dury, ISH ˜  Objectifs ˜  Collecte de données en provenance de différentes institutions dépositaires ˜  Expérimentation d’outils logiciels d’aide à l’indexation des images 19Laure Tougne29/09/14
  20. 20. Aide à l’indexation audiovisuelle du monde rural ˜  Stage de Clémence LOP sous la direction de Serge Miguet (2012) ˜  Détection de visages ˜  Détection / Reconnaissance de textes ˜  Stage de Van-Hau Phan sous la direction de Serge Miguet (2013) ˜  Classification Artificiel / Naturel ˜  Classification Intérieur / Extérieur 20Laure Tougne29/09/14
  21. 21. Aide à l’indexation de grands corpus audio-visuels L. Tougne 21 Stage de Clémence Lop Stage de fin d’études, IUT de Valence mars 2012-juin 2012
  22. 22. Exemple de documents (source : INA) 22 C’est arrivé en Limousin… Campagnes Françaises Laure Tougne29/09/14
  23. 23. Advene : un logiciel libre pour l’annotation de séquences vidéos 23Laure Tougne29/09/14
  24. 24. Exemple d’annotations automatisables : Classification du « type de scènes » ! Intérieur / extérieur ! Naturel / artificiel ! Jour / nuit ! Présence d’animaux / de machines ! Caractérisation du mouvement ! Présence de visages 24Laure Tougne29/09/14
  25. 25. Exemple de réalisation : détection de visages 25 Vrai Positif Faux Positif Laure Tougne29/09/14
  26. 26. Prise en compte de la cohérence temporelle : Sensibilité / Spécificité 26Laure Tougne29/09/14
  27. 27. Autres contributions réalisées pendant le stage ! Détection des changements de plans ! Détection des silhouettes humaines ! Détection des zones de texte ! Retranscription grâce à la reconnaissance optique de caractères 27Laure Tougne29/09/14
  28. 28. Aide à l’indexation de grands corpus audio-visuels L. Tougne 28 Stage de Van-Hau PHAN Stage de 3ème année d’école INSA de Lyon, département Informatique Juin 2013 – Septembre 2013
  29. 29. Catégorisation de vidéos !  Trois séquences utilisées ˜  La Terre est leur problème ˜  La Maison du Vigneron ˜  C’est arrivé en Limousin !  Création manuelle de deux pistes d’annotation : ˜  Naturel – Artificiel ˜  Intérieur – Extérieur !  Recherche d’indices visuels permettant de reproduire automatiquement les annotations ˜  Sur les données d’apprentissage ˜  En généralisation, sur des données non-apprises 29Laure Tougne29/09/14
  30. 30. Classification entre Scène Artificielle / Scène Naturelle !  Une scène artificielle contient des objets construits par l’homme ˜  Présence importante d’éléments géométriques ˜  Lignes droites ˜  Eléments anguleux ˜  Textures régulières (ou uniformes) !  Une scène naturelle contient des éléments irréguliers ˜  Formes ˜  Texture granuleuse 30Laure Tougne29/09/14
  31. 31. Boîte à outils, pour mettre en œuvre ces idées !  Détection des lignes de contraste ˜  Filtre de Canny !  Détection des alignements ˜  Transformée de Hough !  Caractérisation de la régularité des textures ˜  Local Binary Patterns (LBP) 31Laure Tougne29/09/14
  32. 32. Bonne détection de scène artificielle (1/2) 32Laure Tougne29/09/14
  33. 33. Bonne détection de scène artificielle (2/2) 33Laure Tougne29/09/14
  34. 34. Bonne détection de scène naturelle 34Laure Tougne29/09/14
  35. 35. Exemple de mauvaise classification (1/2) 35Laure Tougne29/09/14
  36. 36. Exemple de mauvaise classification (2/2) 36Laure Tougne29/09/14
  37. 37. Le projet ANR REVES : Reconnaissance de Végétaux pour des Interfaces Smartphones L. Tougne 37
  38. 38. Contexte !  Constats ˜  Urbanisation + attrait pour les nouvelles technologies à  l’homme méconnaît de plus en plus son environnement ˜  De nos jours : tout le monde possède un Smartphone à  outil intégrant de nombreuses fonctionnalités !  Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à connaître les végétaux qui l’entourent !  Partenaires : ˜  LIRIS (Lyon) : traitement d’images et de vidéos ˜  EVS (St Etienne) : connaissances phytogéographiques / étude des usages ˜  LISTIC (Annecy) : fusion des données !  Autres participants ➠ Base de données botaniques – Société Linéenne de Lyon ➠ Contraintes liées au matériel / portage –Société Trydéa Laure Tougne29/09/14
  39. 39. Scénario typique Une personne, lors d'une promenade, prend une photo / vidéo d'une plante (feuille(s) et éventuellement fleur(s)) avec son smartphone afin d’obtenir des informations à son sujet. Laure Tougne29/09/14
  40. 40. Schéma du scénario Laure Tougne29/09/14
  41. 41. Une approche pour un outil pédagogique !  Public visé : non spécialistes !  Combiner des données images avec d’autres données !  Sortie : ˜  Une liste d’espèces probables ˜  Pouvoir expliquer ce qui a conduit à reconnaître Laure Tougne29/09/14
  42. 42. Quelques Résultats Feuilles Simples Base Pl@ntLeaves I (5668 photos, 80 espèces extraites) 85% dans les 5 premières réponses Feuilles composées Base Pl@ntLeaves II (1140 photos, 17 espèces extraites) 86% dans les 5 premières réponses Laure Tougne29/09/14
  43. 43. Folia sur l’App Store et le Google store Laure Tougne29/09/14
  44. 44. Merci pour votre attention ! L. Tougne 44 Laure.Tougne@liris.cnrs.fr

×