Téléchargé 39 fois
Téléchargé parIbn Tofail University
Application d'analyses des Tweets
Le document présente une application d'analyse des tweets utilisant Twitter comme source de données, MongoDB pour le stockage et Python comme langage de programmation. L'application extrait des informations sur les hashtags, les statistiques des sentiments, et permet la géolocalisation des tweets, tout en faisant face à des défis techniques liés aux ressources et aux bugs des API. Plusieurs bibliothèques Python sont utilisées, notamment Tweepy pour l'accès à l'API Twitter et NLTK pour le traitement du langage naturel.
Application d'analyses des Tweets
- 1. Présentation du thème: Application d’analyses des Tweets Présenté par : MRINI Youssef BOUHILA Bilal
- 2. Plan • Introduction • Technologiesutilisées • Bibliothèques utilisées • Présentation de l’application • Difficultés • Démo
- 3. Introduction • Les réseauxsociaux constituent l'un des principaux motifs de l'utilisation du modèle des données volumineuses. • Les API publiques fournies par des sites comme Twitter représentent une source de données utile pour l'analyse et la compréhension des tendances populaires à travers une approche fondée sur l’analyse lexicale qui consiste à déduire l’émotion dégagée par une phrase via une analyse sémantique des mots.
- 4. Technologies utilisées Les technologiesutilisées pour concevoir notre application se décompose en trois partie: • Twitter : Source de données • MongoDb : Base de données NoSQL pour le stockage • Python : Langage de programmation
- 5. Technologies utilisées Twitter • 310millions d’utilisateurs actifs • 120 millions de visiteurs uniques sur Twitter,com • 500 millions de tweets sont envoyés chaque jour. • 300 milliards de tweets ont été envoyés depuis le 21 mars 2006 • 1 million de sites intègrent des tweets.
- 6. Technologies utilisées MongoDb • Systèmede base de données dans la mouvance NoSQL orienté documents • MongodDb permet de manipuler des objets structurés au format Bson ( Json binaire) sans schéma prédéterminé • Les données prennent la forme de documents enregistrés eux même dans des collections • MongoDb associe aux données des attributs placés à la demande en temps réel et exploitables ensuite par des requetes • MongoDb permet la baisse des coûts et de l'augmentation de la puissance du matériel pour permettre des développements plus simples et plus rapides.
- 7. Technologies utilisées Python • Pythons’impose comme un des langages outils pour la data science. Sa rigueur et sa capacité à s’intégrer à des infrastructures techniques robustes en font un choix de prédilection pour les big data.
- 8. Bibliothèques utilisées Tweepy Bibliothèque Pythonqui permet d’utiliser une API Twitter pour streamer les tweets
- 9. Bibliothèques utilisées PyMongo Bibliothèque Pythonqui permet d’utiliser une base de données MongoDb
- 10. Bibliothèques utilisées NLTK Bibliothèque pythonopen source qui fait le traitement du langage naturel.
- 11. Bibliothèques utilisées Pandas Bibliothèque Pythonfournissant des structures de données rapides, flexibles et expressifs conçus pour rendre le travail avec les données simple et intuitive Exemple
- 12. Bibliothèques utilisées Folium Bibliothèque Pythonqui permet de générer des cartes
- 13. Bibliothèques utilisées Matplotlib Bibliothèque Pythonqui permet de tracer des courbes
- 14. Bibliothèques utilisées Json Bibliothèque Pythonqui permet de manipuler les fichiers Json
- 15. Bibliothèques utilisées PyQt Bibliothèque Pythonqui permet de créer des interfaces graphiques
- 16. Présentation de l’application Notreapplication permet d’analyser les Tweets afin d’en extraire ces informations: • Les Hashtags les plus utilisés • Les statistiques des sentiments concernant les Tweets. • Les mots les plus fréquents • Les meilleurs et les pires Tweets • La géolocalisation des tweets sur une carte
- 17. Présentation de l’application Findhash.py bestTweet.py AllTweets: recherche dans toute la base de données
- 18. Présentation de l’application Findhash.py bestTweet.py ChooseWord: recherche le mot entré dans la barre de recherche dans toute la base de données Choose Word se base sur rechercheparmot.py pour ne filtrer que les tweets ou sont cités le mot recherché
- 19. Présentation de l’application word_freq_final.pypermet de mettre en valeur les mots les plus fréquemment utilisés en éliminant les StopWords et les caractères spéciaux
- 20. Présentation de l’application Stats.pypermet de donner des statistiques portant sur le sentiment des Tweets traités
- 21. Présentation de l’application Map_v1.pypermet de cartographier les tweets sur une carte
- 22. Présentation de l’application Map_v3.pypermet de cartographier les tweets avec leur sentiment sur la carte
- 23. Difficultés MongoDb combiné avecTweepy requiert énormément de ressources pour l’écriture des données streamer en temps réel sur la base de données, ajoutons à cela la latence du traitement, Nous avons du utilisé une machine Virtuelle sur Azure
- 24. Difficultés • Tweepy estune API Python open source qui bug énormément, il faut régulièrement changé les tokens en créant à chaque fois une application sur le compte dev Twitter
- 25.
- 26. Merci pour votreattention