Projet de fin d'étude
pour l'obtention du Diplôme National d’Ingénieur en :
Génie Systèmes Electroniques et Communication
Imitation du mouvement humain pour un robot humanoïde
application au Robot CyHRoP
Société d'accueil : CYNAPSYS
Encadré par : Mme. Hazar MLIKI (ENET’COM)
Mr. Naceur CHAFROUD (CYNAPSYS)
Année universitaire 2015/2016
Élaboré par :
Houcem Eddine BOUCHAALA
03
Etude de l’existant
01
Présentation de CYNAPSYS
02 Introduction
Plan de l’exposé
04
Solution propsée
06
Conclusion et perspectives
05
Test et validation
15/06/2016 3
Accompagner ses clients et
partenaires pour la mise en place
de solutions TIC innovantes.
Mission
- Développement Software spécifique
- Maintenance Applicative
- Qualification Applicative
- Conseil en TIC
- Formation
Services
- Java J2EE (JSF, Spring, Jboss…)
- Microsoft .NET (C#, ASP .NET …)
- Systèmes embarqués (ARM, FPGA,
STM, Linux Embarqué, C, C++…)
Compétences
- Oracle, MSSQL
- SAP R3 (XI, PI, PLM)
Expertises
Présentation de CYNAPSYS
15/06/2016 4
Environnement
Logiciel
SolidWorks
SolidWorks version 2013
Mit APP Inventor
Mit version 2
LabVIEW
LabVIEW version 2015
OpenCV
OpenCV version 2.4.7
Raspbian
Raspbian version Jessie
Putty
Putty version 6,0
VNC Viewer
Vnc Viewer version 5.3.0
IDE ARDUINO
Arduino Version 1.0.5
Solution propsée
15/06/2016 10
05 Commander le robot par un
ordinateur
04 Commander le robot par un
smartphone
01 Conception 3D du Robot
02 Imitation des mouvements
03 Reconnaissance gestuelle
Solution propsée
15/06/2016 11
05 Commander le robot par un
ordinateur
04 Commander le robot par un
smartphone
01 Conception 3D du Robot
02 Imitation des mouvements
03 Reconnaissance gestuelle
Solution propsée
Flux Vidéo
Détection de personnes
Acquisition du frame
Oui
Non
Oui
Suivi de la couleur
Segmentation de la
personne
Détermination des trajectoires
Non
Oui
Test de
position /
zones
Envoi du signal à l’Arduino
NonMarqueurs
détectés ?
Personne
détectée ?
Opérations morphologiques
(érosion, dilatation, ouverture, fermeture)
Détection de marqueurs
Architecture
de l’application
15/06/2016 12
Organigramme de
l’Imitation de l’activité
humaine
Solution propsée
05 Commander le robot par un
ordinateur
04 Commander le robot par un
smartphone
01 Conception 3D du Robot
02 Imitation des mouvements
03 Reconnaissance gestuelle
Nombre
de
doigts=
(2, 3, 4)
Envoi identifiant à l’Arduino
Oui
Non
Flux Vidéo
Calibration / Démarrage
détection
Elimination des contours :
hors main
Représentation binaire de la main
Récupération / affichage
nombres de doigts
15/06/2016 13
Organigramme de
la reconnaissance
gestuelle de la
main humaine
05 Commander le robot par un
ordinateur
04 Commander le robot par un
smartphone
01 Conception 3D du Robot
02 Imitation des mouvements
03 Reconnaissance gestuelle
Solution propsée
Admin
*****
ConceptionLes Interfaces
15/06/2016 14
Solution propsée
05 Commander le robot par un
ordinateur
04 Commander le robot par un
smartphone
01 Conception 3D du Robot
02 Imitation des mouvements
03 Reconnaissance gestuelle
ConceptionLes interfaces
Admin *****
15/06/2016 15
Test et validation
Designation Tension (V) Courant (mAh) Puissance (W)
Pile Lipo 7.4 2200 16.28
Raspberry pi 3 5 800 4
Arduino nano 5 200 1
Carte torobot 7.4 40 0.296
Bluetooth HC 06 5 500 2.5
Servo moteurs 5 500 2.5
0
1615/06/2016 16
Conception 3D du Robot
Le robot peut imiter les
mouvements humains
Le robot se bouge à travers une
reconnaissance des gestes de la
main
Contrôler le Robot par un PC
Contrôler le Robot via un
smartphone
20%
40%
60%
100%
80%
Conclusion et
perspectives
15/06/2016 17
Je vous invite à me suivre dans ce plan de présentation qui se résume en 6 grandes lignes:
Je commence dans un premier temps par une Présentation de la société accueillante CYNAPSYS, ensuite une introduction qui explique la problématique ainsi les objectifs du mon projet, Puis on va passer à l’étude de l’existant, pour atteindre par la suite la phase de la solution proposée .
Avant de terminer, je vais vous exposer mes tests et ses validations
Enfin je terminerais ma présentation par une conclusion et des perspectives
Proche culturellement et géographiquement de ses clients, Cynapsys est présente avec ses filiales au cœur du continent européen, notamment en France et en Allemagne et continent africain en Algérie, Cote d’ivoir et ainsi à la capital Tunis :
on le trouve Leur mission consiste à accompagner les clients et partenaires dans le développement de solutions performantes et innovantes,
orientées principalement vers les services de développement software elle a composé d’une centaine d’ingénieurs et de consultants de haut niveau (Architectes, Développeurs, Testeurs, Formateurs et Conseillers en TIC)
Cynapsys met en disposition ses compétences en .Net, Java J2EE, Oracle, , Solutions Web, Systèmes Embarqués et Applications Mobiles.
Comme elle est experte en oracle MSSQL et SAP
Un robot humanoïde ou est un dont l'apparence générale rappelle celle d'un corps humain. Généralement, les robots humanoïdes ont un torse avec une tête, deux bras et deux jambes, bien que certains modèles ne représentent qu'une partie du corps, par exemple à partir de la taille. Certains robots humanoïdes peuvent avoir un « visage », avec des « yeux » et une « bouche ».
La question primordiale qui se pose est de savoir comment reproduire de façon automatique un mouvement humain capturé par un robot humanoïde avec une précision assez élevée?
C’est dans ce cadre que se situe notre projet de fin d’études intitulé « Imitation des mouvements humains par un robot humanoïde ».
Comme toute entreprise dans le domaine de la robotique, notre projet consiste à améliorer le robot humanoïde, afin de le rendre plus autonome et plus semblable à un être humain du point de vue comportement.
Notre solution se divise en cinq parties :
Avant de construire nos applications, on est obligé de concevoir un prototype d’un robot humanoïde pour qu’on puisse tester toutes nos applications
La deuxième solution c’est l’imitation du mouvement humaine du robot humanoïde, Ce dernier peut connaitre et imiter les trajectoires décrites par la personne elle-même
La troisième c’est la reconnaissance des gestes de la main humaine, qui affiche un signe avec la main reflétant un certain nombre. Le robot reconnait ce geste (le nombre affiché) et le traduit en un mouvement précis comme lancer un ballon ou marcher.
La quatrième et la cinquième consistent à construire deux applications pour contrôler le robot à distance, la première application c’est à travers une application Android et celle de la deuxième par une application PC.
Dans le but d’imiter les mouvements humains avec cette méthode, prenons l’exemple d’une main robotique imprimée en 3D : La Main 3D est reliée à des servomoteurs, ce qui nous permet d’imiter le mouvement de chaque doigt.
On va passer maintenant à la description de l’environnement matériel, la carte Raspberry pi c’est le noyau du notre application, grâce à elle on a pu compiler des codes en c et c++ et travailler avec la bibliothèque de traitement d’image OpenCV, La carte Arduino nano est le contrôleur de notre application et cette dernière va contrôler des servos moteur qui sont branchés par la suite sur la carte torobot qui nous permet de controler plus qu’un 20 servo en parallèle,
Dans cette partie nous voyons les différents outils et environnements de travail, on commence par solidworks c’est l’outil qui nous a permis de concevoir un prototype d’un robot humanoïde, par suite et à travers le Mit APP Inventor et le Labview on a pu construire nos applications de contrôle du robot à travers un pc et un smartphone, ensuite l’opencv c’est la bibliothèque que sur elle nos applications d’imitation et reconnaissance des gestes se basent, d’autre coté et à partir le Raspbian on a compilé nos codes et on a fait les testes nécessaires de traitement d’image, le putty et le vnc viewer ce sont les deux outils qui nous permet de visualiser l’interface du bureau de la carte raspberry sur le bureau du pc , et enfin grâce à l’ide arduino on a arrivé à développer les codes de commandes des servos moteurs en insérant les instructions qui font la liaison série entre nos hardware,
On va maintenant détailler les étapes de réalisation de notre solution:On commence par la conception du robot
Avec l’outil de conception SolidWorks on a pu concevoir ce prototype organe par organe , puis on les a assemblé dans ce modèle
On maintenant passer à l’explication de nos applications et on commence par l’imitation de mouvement humain, on présente ici les différents matériels utilisées , une camera usb branché sur la carte raspberry et on remarque ici qu’on a utilisé deux controleur arduino et torobt l’imitation de mouvement se fait comme suit , lorsque la caméra détecte la personne , un signal sera envoyé de la carte raspberry vers la carte arduino et ce dernier vers la carte torobot pour qu’il puisse tourner les angles de rotation des servomoteurs convenablement selon le mouvement de la personne qu’il a fait
Maintenant on passe à la reconnaissance des gestes humains
A l’exécution de l’application, l’utilisateur a la possibilité de lancer soit l’algorithme d’imitation de position ou l’algorithme de reconnaissance de geste. Si non il va controler le robot a distance a travers un bluetooth
Les fonctionnalités de contrôle utilisées par l’utilisateur PC sont les mêmes que pour l’utilisateur mobile à la seule différence que l’utilisateur PC pourra décider du mode de transmission : soit par USB ou par Bluetooth.
Maintenant on va montrer nos tests et avant de passer à un vidéo contenant une explication pour toute la solution proposée, nous apercevons le bilan de puissance de notre système afin de pouvoir déterminer une estimation de la durée de fonctionnement de notre robot en fonction des piles utilisées.
Le contenu de ce tableau, représente la consommation maximale des composants matériels utilisés.
Afin de pouvoir bien alimenter tout notre système, nous avons utilisés deux batteries rechargeables :
Pour conclure, il se doit d’énumérer les différents points acquis de ce projet et le bénéfice personnel dont nous avons fait preuve.
Pour finir, voici quelques perspectives sur la robotique humanoïdeNous aimerions élaborer une méthodologie générale qui puisse exploiter tous les degrés de liberté pour réaliser telles ou telles tâches comme celles de prendre un objet, d'effectuer une marche, de garder l'équilibre
Un autre aspect important est l'interaction Homme-robot. Il est bien clair qu'un robot humanoïde est doté d'une capacité de communication très élevée grâce à sa forme .
Mesdames et monsieur, je vous remercie pour votre attention. Je suis à vous pour répondre à vos questions.