I used the Harris coin detector and optical flow algorithms to detect objects in motion in a scene video.

1. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Methodes de Detection et suivi les objets en
mouvement dans une scene video
Elallam Soufiane - Salah Abdraman Salah
Université Sidi Mohammed Ben Abdelah Faculté des sciences dhar elmehraz
Licence Sciences Mathematiques et Informatiques
19 juin 2019
1 / 28

2. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Plan
1 Introduction et Problématique
2 Methode de Points d’interet STIP
3 Methode Flot Optique
4 Conclusion et perspective
5 Demonstration de l’application
2 / 28

3. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Problématique
Comment detecter les objets en mouvement ?
Comment les suivre ?
Comment dimnuer le temps de calcul ?
Comment augmenter la fiabilité contre le bruit ?
3 / 28

4. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Applications
Figure – Camèra de surveillence
Figure – Robotique mobile
4 / 28

5. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Applications
Figure – Reconnaissance des objets (humains, animaux,
véhicules,...etc)
-Interaction homme machine, Imagerie medical,
satellitaire...etc
5 / 28

6. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
6 / 28

7. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
7 / 28

8. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Point d’intérêt spatio-temporels
∗ Intéressants, simples et robustes
∗ Réduction non négligeable du temps de calcul
∗ Robuste face aux mouvements lents
∗ Les STIP peuvent être utilisés lors d’une phase de
prétraitement suivie par une méthode de classification, et
éventuellement de segmentation des objets mobiles
7 / 28

9. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Methode de Points d’interets STIP
Détection des Points d’Intérêt Spatio - Temporels ( STIP)
Modèles variationnels pour la décomposition d’images
8 / 28

10. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Methode de Points d’interets STIP
-Des points ou apparait un changement significatif dans le
temps et l’espace. Par exemple, les coins, les intersections, les
points isoles et les points specifiques sur les textures sont des
points d’interet
-Interessants car ils concentrent l’informatique initialement
contenus dans une scene tridimensionnelle observée
-Reduction non negligeable du temps de calcul
-Nombre de STIP est stable par rapport aux
transformations geometriques.
9 / 28

11. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Methode de Points d’interets STIP
Détection des Points d’Intérêt Spatio - Temporels ( STIP)
Detecteur Harris 3D :
Images I,J.
I : Image a l’instant t J : image a l’instant t + δ
10 / 28

12. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Methode de Points d’interets STIP
11 / 28

13. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Modèles variationnels pour la décomposition d’images
Modèles variationnels pour la décomposition d’images
Soit f une fonction dèfinie sur un ensemble ouvert
Ω dans Rn
l’objectif est de modéliser f = u + v tell que :
u : l’objet
v : texture
12 / 28

14. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan(Les points d’intérêt spatio-temporels
Conclusion
tell que STIP = STIP1 ∪ STIP2
13 / 28

15. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
14 / 28

16. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
Flot Optique
∗ Une bonne estimation du mouvement
∗ Obtention directe des masques de chaque objet en
mouvement(condition : les objets on mouvements distincts)
∗ Séquences variées (Caméra est fixe ou mobile)
14 / 28

17. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
Estimation du Mouvement :
Flot Optique
· Approximation du mouvement apparent, projection du mouvement réel sur plan de l’image
· Champ vectoriel
15 / 28

18. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
Flot Optique :
Principe
Le flot optique est un champ de déplacement visuel qui permet
d’expliquer des variations dans une séquence d’images en terme
de déplacement de points images. L’hypothèse de base que l’on
fait afin d’en tirer une équation simple, est que l’intensité
lumineuse d’un point image est indépendant du temps. On
suppose que l’intensité d’un point appartenant à un objet en
mouvement, sera la même sur les différentes images de la
séquence. D(x,y,δx,δy) =
−P
i=−P
−P
j=−P
E
où
E = |I1(x+i,y+i)-I2(x+i+dx,y+i+dy)|
16 / 28

19. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
P est la taille de la fenêtre d’observation
L’expression E mesure la différence de luminosité entre le pixel
(x + i, y + j) dans l’image de référence, et le pixel (x + i + dx,
y + j + dy) dans l’image d’arrivée.
L’expression D nous permet ainsi de comparer, pour un pixel
(x, y) donné de l’image de départ, son voisinage à une région
de même taille dans l’image d’arrivée aux alentours de la
position (x, y).Lorsque qu’un vecteur (dx, dy) permet de
minimiser D, il est ainsi retenu comme étant le vecteur de
déplacement du pixel(x + i, y + j) dans la séquence constituée
de l’image de départ et de celle d’arrivé.
17 / 28

20. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
18 / 28

21. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
beaucoup on testera de déplacements = beaucoup de temps
Il est donc nécessaire de connaître la nature des déplacements
que l’on cherche.
Le vecteur (dx, dy) pourra alors être choisi au mieux afin de
tendre vers des temps de calcul moindres.
On considère tous les vecteurs reliant le centre de la matrice à
toutes les autres cases, soit R*R vecteurs. Le vecteur nul est
également considéré.
19 / 28

22. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
Si l’on veut estimer le flot optique sur la totalité de la surface
image de la séquence, il est préférable d’évaluer les
déplacements des pixels sur une grille.
20 / 28

23. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Détection du mouvement sans modélisation de
l’arrière-plan
Methode Flot Optique
Seuls les déplacements des pixels se trouvant aux intersections
des mailles de la grille seront calculés.
21 / 28

24. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Conclusion
Nous avons implementé avec Java et la bibliothèque JMF deux
mèthodes pour la détection des objets en mouvement :
·Mèthode du point d’intérêt spatio-temporels (Harris 3D)
·Mèthode du flot optique
Il y a plusieurs methodes existantes dans la literature qui
permet aussi de detecter les objets en mouvement par exemple :
Ligne de partage des eaux (LPE), Contours actifs, Les
Quad-Trees
22 / 28

25. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Perspective
Comme perspective, nous souhaitons pour les prochains projets
de fin d’étude d’élagir notre travail sur le suivi des objets en
mouvement.
23 / 28

26. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Resultats Experimentaux
Figure – Image original
24 / 28

27. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Resultats Experimentaux
Figure – Les points d’interets
25 / 28

28. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Resultats Experimentaux
Figure – Flot Optique
26 / 28

29. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Figure – Resultat
27 / 28

30. Methodes de
Detection et
suivi les objets
en mouvement
dans une
scene video
Tahiri
Introduction
et
Problématique
Methode de
Points
d’interet STIP
Methode Flot
Optique
Conclusion et
perspective
Demonstration
de
l’application
Merci
Merci pour votre attention !
28 / 28