Téléchargé 62 fois
Téléchargé parHoucem Eddine BOUCHAALA
Soutenance du pfe
Ce projet de fin d'étude présente le développement d'un robot humanoïde capable d'imiter des mouvements humains grâce à la reconnaissance gestuelle et au contrôle par ordinateur ou smartphone. Encadré par des experts de l'entreprise Cynapsys, le projet utilise divers outils technologiques tels que Raspberry Pi et Arduino pour concevoir et tester le robot. Les résultats montrent une intégration réussie de technologies pour la création d'un robot interactif adapté aux besoins modernes.
Soutenance du pfe
- 2. Projet de find'étude pour l'obtention du Diplôme National d’Ingénieur en : Génie Systèmes Electroniques et Communication Imitation du mouvement humain pour un robot humanoïde application au Robot CyHRoP Société d'accueil : CYNAPSYS Encadré par : Mme. Hazar MLIKI (ENET’COM) Mr. Naceur CHAFROUD (CYNAPSYS) Année universitaire 2015/2016 Élaboré par : Houcem Eddine BOUCHAALA
- 3. 03 Etude de l’existant 01 Présentationde CYNAPSYS 02 Introduction Plan de l’exposé 04 Solution propsée 06 Conclusion et perspectives 05 Test et validation 15/06/2016 3
- 4. Accompagner ses clientset partenaires pour la mise en place de solutions TIC innovantes. Mission - Développement Software spécifique - Maintenance Applicative - Qualification Applicative - Conseil en TIC - Formation Services - Java J2EE (JSF, Spring, Jboss…) - Microsoft .NET (C#, ASP .NET …) - Systèmes embarqués (ARM, FPGA, STM, Linux Embarqué, C, C++…) Compétences - Oracle, MSSQL - SAP R3 (XI, PI, PLM) Expertises Présentation de CYNAPSYS 15/06/2016 4
- 5.
- 6. Introduction Comment reproduire defaçon automatique un mouvement humain capturé par un robot humanoïde? Problématique 15/06/2016 6
- 7.
- 8. Etude de l’existant Méthodedes Flex-sensors pour un bras robotique 15/06/2016 8
- 9. Plateformes utilisées Carte Raspberry pi3 Carte Arduino Nano Carte Torobot Solution propsée 15/06/2016 9
- 10. Environnement Logiciel SolidWorks SolidWorks version 2013 MitAPP Inventor Mit version 2 LabVIEW LabVIEW version 2015 OpenCV OpenCV version 2.4.7 Raspbian Raspbian version Jessie Putty Putty version 6,0 VNC Viewer Vnc Viewer version 5.3.0 IDE ARDUINO Arduino Version 1.0.5 Solution propsée 15/06/2016 10
- 11. 05 Commander lerobot par un ordinateur 04 Commander le robot par un smartphone 01 Conception 3D du Robot 02 Imitation des mouvements 03 Reconnaissance gestuelle Solution propsée 15/06/2016 11
- 12. 05 Commander lerobot par un ordinateur 04 Commander le robot par un smartphone 01 Conception 3D du Robot 02 Imitation des mouvements 03 Reconnaissance gestuelle Solution propsée Flux Vidéo Détection de personnes Acquisition du frame Oui Non Oui Suivi de la couleur Segmentation de la personne Détermination des trajectoires Non Oui Test de position / zones Envoi du signal à l’Arduino NonMarqueurs détectés ? Personne détectée ? Opérations morphologiques (érosion, dilatation, ouverture, fermeture) Détection de marqueurs Architecture de l’application 15/06/2016 12 Organigramme de l’Imitation de l’activité humaine
- 13. Solution propsée 05 Commanderle robot par un ordinateur 04 Commander le robot par un smartphone 01 Conception 3D du Robot 02 Imitation des mouvements 03 Reconnaissance gestuelle Nombre de doigts= (2, 3, 4) Envoi identifiant à l’Arduino Oui Non Flux Vidéo Calibration / Démarrage détection Elimination des contours : hors main Représentation binaire de la main Récupération / affichage nombres de doigts 15/06/2016 13 Organigramme de la reconnaissance gestuelle de la main humaine
- 14. 05 Commander lerobot par un ordinateur 04 Commander le robot par un smartphone 01 Conception 3D du Robot 02 Imitation des mouvements 03 Reconnaissance gestuelle Solution propsée Admin ***** ConceptionLes Interfaces 15/06/2016 14
- 15. Solution propsée 05 Commanderle robot par un ordinateur 04 Commander le robot par un smartphone 01 Conception 3D du Robot 02 Imitation des mouvements 03 Reconnaissance gestuelle ConceptionLes interfaces Admin ***** 15/06/2016 15
- 16. Test et validation DesignationTension (V) Courant (mAh) Puissance (W) Pile Lipo 7.4 2200 16.28 Raspberry pi 3 5 800 4 Arduino nano 5 200 1 Carte torobot 7.4 40 0.296 Bluetooth HC 06 5 500 2.5 Servo moteurs 5 500 2.5 0 1615/06/2016 16
- 17. Conception 3D duRobot Le robot peut imiter les mouvements humains Le robot se bouge à travers une reconnaissance des gestes de la main Contrôler le Robot par un PC Contrôler le Robot via un smartphone 20% 40% 60% 100% 80% Conclusion et perspectives 15/06/2016 17
- 18. 15/06/2016 18 Conclusion et perspectives •La manipulation « tout le corps »
- 19. Conclusion et perspectives 15/06/2016 19 •Interaction homme robot
Notes de l'éditeur
- #3 2
- #4 Je vous invite à me suivre dans ce plan de présentation qui se résume en 6 grandes lignes: Je commence dans un premier temps par une Présentation de la société accueillante CYNAPSYS, ensuite une introduction qui explique la problématique ainsi les objectifs du mon projet, Puis on va passer à l’étude de l’existant, pour atteindre par la suite la phase de la solution proposée . Avant de terminer, je vais vous exposer mes tests et ses validations Enfin je terminerais ma présentation par une conclusion et des perspectives
- #5 Proche culturellement et géographiquement de ses clients, Cynapsys est présente avec ses filiales au cœur du continent européen, notamment en France et en Allemagne et continent africain en Algérie, Cote d’ivoir et ainsi à la capital Tunis : on le trouve Leur mission consiste à accompagner les clients et partenaires dans le développement de solutions performantes et innovantes, orientées principalement vers les services de développement software elle a composé d’une centaine d’ingénieurs et de consultants de haut niveau (Architectes, Développeurs, Testeurs, Formateurs et Conseillers en TIC) Cynapsys met en disposition ses compétences en .Net, Java J2EE, Oracle, , Solutions Web, Systèmes Embarqués et Applications Mobiles. Comme elle est experte en oracle MSSQL et SAP
- #6 Un robot humanoïde ou est un dont l'apparence générale rappelle celle d'un corps humain. Généralement, les robots humanoïdes ont un torse avec une tête, deux bras et deux jambes, bien que certains modèles ne représentent qu'une partie du corps, par exemple à partir de la taille. Certains robots humanoïdes peuvent avoir un « visage », avec des « yeux » et une « bouche ».
- #7 La question primordiale qui se pose est de savoir comment reproduire de façon automatique un mouvement humain capturé par un robot humanoïde avec une précision assez élevée? C’est dans ce cadre que se situe notre projet de fin d’études intitulé « Imitation des mouvements humains par un robot humanoïde ».
- #8 Comme toute entreprise dans le domaine de la robotique, notre projet consiste à améliorer le robot humanoïde, afin de le rendre plus autonome et plus semblable à un être humain du point de vue comportement. Notre solution se divise en cinq parties : Avant de construire nos applications, on est obligé de concevoir un prototype d’un robot humanoïde pour qu’on puisse tester toutes nos applications La deuxième solution c’est l’imitation du mouvement humaine du robot humanoïde, Ce dernier peut connaitre et imiter les trajectoires décrites par la personne elle-même La troisième c’est la reconnaissance des gestes de la main humaine, qui affiche un signe avec la main reflétant un certain nombre. Le robot reconnait ce geste (le nombre affiché) et le traduit en un mouvement précis comme lancer un ballon ou marcher. La quatrième et la cinquième consistent à construire deux applications pour contrôler le robot à distance, la première application c’est à travers une application Android et celle de la deuxième par une application PC.
- #9 Dans le but d’imiter les mouvements humains avec cette méthode, prenons l’exemple d’une main robotique imprimée en 3D : La Main 3D est reliée à des servomoteurs, ce qui nous permet d’imiter le mouvement de chaque doigt.
- #10 On va passer maintenant à la description de l’environnement matériel, la carte Raspberry pi c’est le noyau du notre application, grâce à elle on a pu compiler des codes en c et c++ et travailler avec la bibliothèque de traitement d’image OpenCV, La carte Arduino nano est le contrôleur de notre application et cette dernière va contrôler des servos moteur qui sont branchés par la suite sur la carte torobot qui nous permet de controler plus qu’un 20 servo en parallèle,
- #11 Dans cette partie nous voyons les différents outils et environnements de travail, on commence par solidworks c’est l’outil qui nous a permis de concevoir un prototype d’un robot humanoïde, par suite et à travers le Mit APP Inventor et le Labview on a pu construire nos applications de contrôle du robot à travers un pc et un smartphone, ensuite l’opencv c’est la bibliothèque que sur elle nos applications d’imitation et reconnaissance des gestes se basent, d’autre coté et à partir le Raspbian on a compilé nos codes et on a fait les testes nécessaires de traitement d’image, le putty et le vnc viewer ce sont les deux outils qui nous permet de visualiser l’interface du bureau de la carte raspberry sur le bureau du pc , et enfin grâce à l’ide arduino on a arrivé à développer les codes de commandes des servos moteurs en insérant les instructions qui font la liaison série entre nos hardware,
- #12 On va maintenant détailler les étapes de réalisation de notre solution: On commence par la conception du robot Avec l’outil de conception SolidWorks on a pu concevoir ce prototype organe par organe , puis on les a assemblé dans ce modèle
- #13 On maintenant passer à l’explication de nos applications et on commence par l’imitation de mouvement humain, on présente ici les différents matériels utilisées , une camera usb branché sur la carte raspberry et on remarque ici qu’on a utilisé deux controleur arduino et torobt l’imitation de mouvement se fait comme suit , lorsque la caméra détecte la personne , un signal sera envoyé de la carte raspberry vers la carte arduino et ce dernier vers la carte torobot pour qu’il puisse tourner les angles de rotation des servomoteurs convenablement selon le mouvement de la personne qu’il a fait
- #14 Maintenant on passe à la reconnaissance des gestes humains
- #15 A l’exécution de l’application, l’utilisateur a la possibilité de lancer soit l’algorithme d’imitation de position ou l’algorithme de reconnaissance de geste. Si non il va controler le robot a distance a travers un bluetooth
- #16 Les fonctionnalités de contrôle utilisées par l’utilisateur PC sont les mêmes que pour l’utilisateur mobile à la seule différence que l’utilisateur PC pourra décider du mode de transmission : soit par USB ou par Bluetooth.
- #17 Maintenant on va montrer nos tests et avant de passer à un vidéo contenant une explication pour toute la solution proposée, nous apercevons le bilan de puissance de notre système afin de pouvoir déterminer une estimation de la durée de fonctionnement de notre robot en fonction des piles utilisées. Le contenu de ce tableau, représente la consommation maximale des composants matériels utilisés. Afin de pouvoir bien alimenter tout notre système, nous avons utilisés deux batteries rechargeables :
- #18 Pour conclure, il se doit d’énumérer les différents points acquis de ce projet et le bénéfice personnel dont nous avons fait preuve.
- #19 Pour finir, voici quelques perspectives sur la robotique humanoïde Nous aimerions élaborer une méthodologie générale qui puisse exploiter tous les degrés de liberté pour réaliser telles ou telles tâches comme celles de prendre un objet, d'effectuer une marche, de garder l'équilibre
- #20 Un autre aspect important est l'interaction Homme-robot. Il est bien clair qu'un robot humanoïde est doté d'une capacité de communication très élevée grâce à sa forme .
- #21 Mesdames et monsieur, je vous remercie pour votre attention. Je suis à vous pour répondre à vos questions.