TIC: multimédia

1. INDEXATION DES VIDÉOS
Réalisé par: Sabrine MASTOURA
Présenté le: 1/12/2016
Mastère de Recherche TIC: Multimédia
2016-2017
Université de Carthage
Ecole Nationale d’ingénieurs de Carthage

2. PLAN
 Introduction
 Indexation des vidéo
 Segmentation
 Segmentation en plan
 Les familles d’indexation
 Les caractéristiques visuelles
 La norme MPEG7
 Conclusion
 Bibliographie

3. INTRODUCTION
Explosion de la quantité
des données multimédia
Augmentation de la capacité
des disques de stockage
Inadéquation des système de gestion des BD
à la recherche des document multimédia
1

4. INDEXATION DES VIDÉOS
 Attribuer à chaque document une signature
 Faciliter la recherche des documents multimédia
 Garantir l’efficacité des requêtes
 Minimiser le temps des calculs
2

5. INDEXATION DES VIDÉOS
 Traitement commun a tous les types d’indexation:
 Découpage d’une séquence vidéo.
 Extraction des caractéristiques.
 Classification des caractéristiques.
 Comparaison des caractéristiques requête-vidéo.
 Création d’une interface de communication.
Segmentation Représentation
Création d’un
indexe
Compression Interactivité
3

6. SEGMENTATION
Vidéo
« Suite de plans où l’unité de lieu
est conservée »
Scène
« Suite de scènes et plans»Séquence
« Suite d’images successives
filmées sans coupure de la
caméra »
Plan
« une image représentative du
plan »
Image-clé
4

7. SEGMENTATION EN PLAN
 Une détection du changement de plan.
 Processus en 3 étapes:
 Représentation de l’image
 Calcul de similarité
 Recherche de discontinuité
5

8. SEGMENTATION EN PLAN
 Représentation de l’image:
 Extraire une représentation synthétique de l’information
 Histogramme de Couleur
 Invariant à la translation et à la rotation
 Ne prends pas en compte la distribution spatiale
6

9. SEGMENTATION EN PLAN
 Calcul de similarité:
 Choix d’un métrique pour comparer 2 images
 La moyenne de la différences entre pixels
 La similarité
 La distance euclidienne
 Test de χ2 …
7

10. SEGMENTATION EN PLAN
 Recherche de discontinuité:
 Rechercher les pics dans ces distances
 Utiliser un algorithme de détection du changement
 Positionner un seuil sur la distance
8

11. LES FAMILLES D’INDEXATION
 Selon le types des caractéristiques utilisés:
 L’indexation physique
 L’indexation sémantique
 L’indexation par le contenu
9

12. LES FAMILLES D’INDEXATION
 L’indexation physique:
 Utilisation des caractéristiques physiques de la vidéo
 Utilisation des caractéristiques alphanumérique
 Extraction automatique des caractéristiques
 Le nom
 Le chemin
 La taille
 La longueur de la séquence
 Le format de compression
 Nombre totale des images
 Résolution des images …
10

13. LES FAMILLES D’INDEXATION
 L’indexation sémantique:
 Utilisation des caractéristiques sémantiques de la vidéo
 Utilisation des caractéristiques de haut niveau donnant la
description selon l’interprétation humaine
 Extraction à partir du texte associé
 Dépendance du domaine d’utilisation
 Dépendance de la compréhension de l’interpréteur
11

14. LES FAMILLES D’INDEXATION
 L’indexation par le contenu:
 Utilisation des caractéristiques visuelles de la vidéo
 Utilisation des caractéristiques de bas niveau
 Extraction directe à partir du contenu pour décrire:
 L’aspect visuel:
 Couleur
 Texture
 Forme
 Mouvement…
 L’aspect sonore:
 Parole
 Musique
 Bruit 12

15. LES CARACTÉRISTIQUES VISUELLES
 La couleur:
 La description des couleurs repose sur des techniques
utilisées dans différents espace de couleurs.
 Les histogrammes des couleurs
 Les moments des couleurs..
13

16. LES CARACTÉRISTIQUES VISUELLES
 La texture
 Un motif basique qui se répète dans l’image
 Matrice de cooccurrences de Haralick
 La moyenne
 La variance
 L’entropie…
14

17. LES CARACTÉRISTIQUES VISUELLES
 La forme
 Le contour qui délimite une région de l’image
 Le descripteur de Fourrier
15

18. LES CARACTÉRISTIQUES VISUELLES
 Le mouvement:
 Le déplacement des objets
 Le déplacement de la camera
 Le principe de conservation de l’intensité des pixels
 La mesure du gradient
 Comparer les images pixels par pixels par rapport à un seuil
• => Mouvement
• => Pas de Mouvement
16

19. LA NORME MPEG7
 Standard ISO pour la description du contenu audiovisuelle
 Le langage de description est fondé sur XML
 Utilisation de la technique d’indexation par le contenu
 Proposition de
 4 descripteurs de couleurs
 Histogramme Scalable par Transformée de Haar
 Histogramme couleur-structure(CS)
 Descripteur par couleurs dominantes
 Distribution spatiale de couleur
 3 descripteurs de texture
 Histogramme d'orientation des contours
 Descripteur de texture homogène 17

20. CONCLUSION
 Le système d’indexation des vidéos
 Les techniques d’indexation des vidéos
18

21. BIBLIOGRAPHIE
 Marine CAMPEDEL, Pierre HOOGSTOËL. 2011. Sémantique
et multimidalité en analyse de l’information. Lavoisier
 YOUSSOUFOU SIDIBE.2009.Un système pour l’annotation
semi-automatiques des vidéos et application à l’indexation.
L’université du Québec à Trois-Rivières
 Amel ZNAIDIA, Titus ZAHARIA, Françoise PRETEUX.2009.
Sixième édition des ateliers de travail sue le traitement et
l’analyse de l’information (TAIMA’2009)
19

22. MERCI POUR VOTRE ATTENTION
20