Le laboratoire LIRIS se spécialise dans l'indexation automatique d'images et de vidéos, avec un accent sur la compréhension et l'interprétation des médias visuels. Deux projets majeurs, AMRIA et ANR REVES, illustrent l'application de ces technologies pour l'analyse du monde rural et la reconnaissance de végétaux via des smartphones. L'équipe Imagine développe des outils et techniques pour améliorer l'accès et l'analyse des grandes masses de données audiovisuelles.

1. Laboratoire d'InfoRmatique en Image et Systèmes d'information
LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon
http://liris.cnrs.fr
Indexation automatique
d’images et de vidéos
Laure Tougne, Serge Miguet
29 septembre 2014
1

2. Plan de la présentation
! Le LIRIS, l’équipe IMAGINE
! Indexation automatique ou semi-automatique
! Des exemples
˜ Le projet AMRIA : aide à l’indexation de grands corpus
audio-visuels
˜ L’ANR ReVeS : indexation et reconnaissance d’arbres et
arbustes à partir de leurs feuilles
2Laure Tougne29/09/14

3. Deux mots sur le LIRIS et
sur l’équipe IMAGINE…
16 juin 2014
3

4. Laboratoire d’InfoRmatique en Image
et Systèmes d’Information
! 5 tutelles
˜ CNRS (UMR5205)
˜ INSA de Lyon
˜ Université Lyon 1
˜ Université Lyon 2
˜ ECL
! 3 implantations physiques
˜ Villeurbanne
˜ Bron
˜ Ecully
http://liris.cnrs.fr
4Laure Tougne29/09/14

5. Quelques chiffres …
! 262 membres :
˜ 118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA)
˜ 17 personnels administratifs et techniciens (en équivalent temps
plein)
˜ 121 doctorants, 11 post-docs
˜ Une moyenne de 30 thèses soutenues chaque année
! Un budget annuel d’environ 2M€/an (non consolidé) :
˜ 10% soutien de base
˜ 12% programmes (région, Europe, organismes)
˜ 5% contrats industriels
˜ 73% ANR
Laure Tougne29/09/14 5

6. D’un point de vue scientifique
! Champ scientifique : Informatique / Sciences et Technologies de
l’Information
! 6 pôles de compétences reconnus au niveau international
˜ Vision intelligente et reconnaissance visuelle
˜ Géométrie et modélisation
˜ Data Science (Science des données)
˜ Services, Systèmes distribués et Sécurité
˜ Simulation, virtualité et sciences computationnelles
˜ Interactions et cognition
! Savoir-faire au service de la société en liaison étroite avec les
disciplines Ingénierie, Sciences Humaines et Sociales, Science
de l’Environnement et Science de la vie
Laure Tougne29/09/2014 6

7. Organigramme
7Laure Tougne29/09/14

8. Equipe Imagine
! Analyse et le traitement automatique ou semi-automatique des
médias visuels (images, vidéos, objets 3D)
! Objectifs
˜ Une meilleure compréhension et interprétation du contenu ;
˜ La reconnaissance, voire de l'identification de certains objets d'intérêt ;
˜ l'indexation intelligente qui faciliterait l'accès à des masses de
données ;
˜ la compression & transmission & stockage avec de nouveaux modèles
! Des domaines applicatifs nombreux, dont
˜ Multimédia
˜ Documentique
˜ Vidéosurveillance
˜ L’environnement
˜ La pédagogie
8Laure Tougne29/09/14

9. Indexation automatique
ou semi-automatique
L. tougne
9

10. Recherche d’images par le contenu
10
Comparateur
Calcul de
signature
Base d’images Base de signatures
Calcul de
la
signature
Requête
Images de
la base similaires
à la requête
INDEXATIONRECHERCHE
Laure Tougne29/09/14
Segmentation
Segmentation

11. Segmentation
! Extraction de l’objet d’intérêt
˜ Automatique / Semi-automatique
˜ Basée contours / régions
˜ Basée couleur / texture / mouvement
˜ Avec ou sans a priori
11Laure Tougne29/09/14

12. Extraction de caractéristiques (1)
! Descripteurs génériques de formes
˜ Mesures géométriques « simples » (aire, périmètre, diamètre,
aspect ratio, compacité, etc.)
˜ Caractérisation géométriques du contour (CSS-contour, HoCS, etc.)
˜ Descripteurs statistiques de forme (moments, inner-distance shape
context (IDSC), etc.)
12Laure Tougne29/09/14

13. Extraction de caractéristiques (2)
! Descripteurs spécifiques de formes
˜ Un exemple : feuilles d’arbres
Laure Tougne29/09/2014 13
• Position relative du centre
• Largeur maximale relative
• Longueur relative des côtés
• Angle à la base
• Angle à l’apex
• Nombre de lobes
• Longueur et angle de chaque paire de lobes

14. Extraction de caractéristiques (3)
! Descripteurs de contextes locaux
˜ Sur l’objet segmenté ou sur l’image entière
˜ Objectif : extraire des descripteurs sur des points caractéristiques
afin de les retrouver sur des vues quasi-similaires
˜ Exemples : descripteurs SIFT, SURF, etc.
Laure Tougne29/09/2014 14

15. Extraction de caractéristiques (4)
! Couleur et texture
˜ Histogramme dans divers espaces (RGB, HSL, L*a*b)
˜ Bins groupés, n bins les plus représentés, Bag-of-colors
˜ Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire
de Markov (MRF).
Laure Tougne29/09/2014 15

16. Comparateur
! Comparaison et recherche d’images par le contenu
˜ Exemple : plus proche voisin
˜ Associer à l’exemple proposé, l’exemple de la base le plus
ressemblant ou le représentant de la base le plus ressemblant
à Souvent métrique spécifique à la signature
à Grand nombre de comparaisons
! Méthodes de classification automatique
˜ Entraîner un système prenant en entrée un ensemble d’attributs et
donnant en sortie une information de classe
˜ Exemples : réseaux de neurones, support vector machines (SVM),
forêts aléatoires, etc.
! La performance repose sur la pertinence des descripteurs
Laure Tougne29/09/2014 16

17. Des exemples…
L. Tougne
17

18. Le projet AMRIA :
Analyse du Monde Rural par
l’Image animée
L. Tougne
18

19. Le Projet AMRIA
Analyse du Monde Rural par l’Image Animée
! AMRIA : Projet du BQR Lyon 2 : 2011-2013
˜ Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural
˜ Partenaires :
˜ Mihaela Scuturici, Serge Miguet, LIRIS
˜ Béatrice Maurines, Centre Max Weber
˜ Christian Dury, ISH
˜ Objectifs
˜ Collecte de données en provenance de différentes institutions
dépositaires
˜ Expérimentation d’outils logiciels d’aide à l’indexation des images
19Laure Tougne29/09/14

20. Aide à l’indexation audiovisuelle du monde rural
˜ Stage de Clémence LOP sous la direction de Serge Miguet (2012)
˜ Détection de visages
˜ Détection / Reconnaissance de textes
˜ Stage de Van-Hau Phan sous la direction de Serge Miguet (2013)
˜ Classification Artificiel / Naturel
˜ Classification Intérieur / Extérieur
20Laure Tougne29/09/14

21. Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
21
Stage de Clémence Lop
Stage de fin d’études, IUT de Valence
mars 2012-juin 2012

22. Exemple de documents (source : INA)
22
C’est arrivé en Limousin…
Campagnes Françaises
Laure Tougne29/09/14

23. Advene :
un logiciel libre pour l’annotation de séquences vidéos
23Laure Tougne29/09/14

24. Exemple d’annotations automatisables :
Classification du « type de scènes »
! Intérieur / extérieur
! Naturel / artificiel
! Jour / nuit
! Présence d’animaux / de machines
! Caractérisation du mouvement
! Présence de visages
24Laure Tougne29/09/14

25. Exemple de réalisation : détection de visages
25
Vrai Positif Faux Positif
Laure Tougne29/09/14

26. Prise en compte de la cohérence temporelle :
Sensibilité / Spécificité
26Laure Tougne29/09/14

27. Autres contributions réalisées pendant le stage
! Détection des changements de plans
! Détection des silhouettes humaines
! Détection des zones de texte
! Retranscription grâce à la reconnaissance
optique de caractères
27Laure Tougne29/09/14

28. Aide à l’indexation de grands
corpus audio-visuels
L. Tougne
28
Stage de Van-Hau PHAN
Stage de 3ème année d’école
INSA de Lyon, département Informatique
Juin 2013 – Septembre 2013

29. Catégorisation de vidéos
! Trois séquences utilisées
˜ La Terre est leur problème
˜ La Maison du Vigneron
˜ C’est arrivé en Limousin
! Création manuelle de deux pistes d’annotation :
˜ Naturel – Artificiel
˜ Intérieur – Extérieur
! Recherche d’indices visuels permettant de reproduire
automatiquement les annotations
˜ Sur les données d’apprentissage
˜ En généralisation, sur des données non-apprises
29Laure Tougne29/09/14

30. Classification entre Scène Artificielle / Scène Naturelle
! Une scène artificielle contient des objets construits par l’homme
˜ Présence importante d’éléments géométriques
˜ Lignes droites
˜ Eléments anguleux
˜ Textures régulières (ou uniformes)
! Une scène naturelle contient des éléments irréguliers
˜ Formes
˜ Texture granuleuse
30Laure Tougne29/09/14

31. Boîte à outils, pour mettre en œuvre ces idées
! Détection des lignes de contraste
˜ Filtre de Canny
! Détection des alignements
˜ Transformée de Hough
! Caractérisation de la régularité des
textures
˜ Local Binary Patterns (LBP)
31Laure Tougne29/09/14

32. Bonne détection de scène artificielle (1/2)
32Laure Tougne29/09/14

33. Bonne détection de scène artificielle (2/2)
33Laure Tougne29/09/14

34. Bonne détection de scène naturelle
34Laure Tougne29/09/14

35. Exemple de mauvaise classification (1/2)
35Laure Tougne29/09/14

36. Exemple de mauvaise classification (2/2)
36Laure Tougne29/09/14

37. Le projet ANR REVES :
Reconnaissance de Végétaux
pour des Interfaces
Smartphones
L. Tougne
37

38. Contexte
! Constats
˜ Urbanisation + attrait pour les nouvelles technologies
à l’homme méconnaît de plus en plus son environnement
˜ De nos jours : tout le monde possède un Smartphone
à outil intégrant de nombreuses fonctionnalités
! Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à
connaître les végétaux qui l’entourent
! Partenaires :
˜ LIRIS (Lyon) : traitement d’images et de vidéos
˜ EVS (St Etienne) : connaissances phytogéographiques / étude des
usages
˜ LISTIC (Annecy) : fusion des données
! Autres participants
➠ Base de données botaniques – Société Linéenne de Lyon
➠ Contraintes liées au matériel / portage –Société Trydéa
Laure Tougne29/09/14

39. Scénario typique
Une personne, lors d'une promenade,
prend une photo / vidéo d'une plante
(feuille(s) et éventuellement fleur(s))
avec son smartphone afin d’obtenir
des informations à son sujet.
Laure Tougne29/09/14

40. Schéma du scénario
Laure Tougne29/09/14

41. Une approche pour un outil pédagogique
! Public visé : non spécialistes
! Combiner des données images avec d’autres données
! Sortie :
˜ Une liste d’espèces probables
˜ Pouvoir expliquer ce qui a conduit à reconnaître
Laure Tougne29/09/14

42. Quelques Résultats
Feuilles Simples
Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)
85% dans les 5 premières réponses
Feuilles composées
Base Pl@ntLeaves II (1140 photos, 17 espèces extraites)
86% dans les 5 premières réponses
Laure Tougne29/09/14

43. Folia sur l’App Store et le Google store
Laure Tougne29/09/14

44. Merci pour votre attention !
L. Tougne
44
Laure.Tougne@liris.cnrs.fr