Twitter data collection
•Télécharger en tant que PPTX, PDF•
0 j'aime•34 vues
Twitter data collection
Recommandé
Recommandé
Contenu connexe
Similaire à Twitter data collection
Similaire à Twitter data collection (20)
Plus de Dr Sofien Mhatli
Twitter data collection
- 1. Projet de fin d’études pour l’obtention de diplôme Mastère en Multimédia Web REPUBLIQUE TUNISIENNE Ministère de l’Enseignement Supérieur, de la Recherche Scientifique ****** UNIVERSITÉ DE JENDOUBA Institut Supérieur d'Informatique du Kef Collection des données à partir d’un réseau social Encadrant ISI: Elaboré par : Encadrant DevClic: Dr. MHATLI Sofien TOUIL Ahlem M. SESSI Jema Année Universitaire 2017-2018
- 2. Plan 1 4 3 5 6 7 Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et Visualisation des données Architecture globale 7 Conclusion et perspective 2
- 4. Présentation de la société • Le développement de logiciels et la réingénierie des applications existantes • Le développement d'applications Web • Le développement et le déploiement de solutions de Web Marketing
- 6. Utilisation des méthode classique dans la création des publication Affectation des recherche manuelles sur tous les produits Absence des moyens d’ exploitation des données
- 8. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective Mauvaise étude de marché Perte de temps et des ressources Absence des moyens d’ exploitation des données Absence d’une approche de partage et des gestion des données en streaming
- 9. Solution
- 10. Extraction et collection des données Stockage et traitement des données Gestion des données en streaming Visualisation des données
- 12. Diverse source de données
- 13. Explosion des données Chaque 60 secondes : 98,000 comptes Twitter sont crées. 695,000 statuts Facebook. 698,455 recherches sur Google. 11 millions messages instantanés. 168 millions mails envoyés . Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 14. Explosion de volume des données Evolution des systèmes d’information des entreprise Variété et complexité des données
- 15. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 18. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 19. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 25. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective 2éme cas: Adidas vs Nike
- 26. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 27. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 28. Architecture Physique Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 30. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective
- 32. Cadre du projet Extraction et collection des données Stockage et traitement des données Analyse et visualisation des données Architectures Globale Conclusion et perspective La découvert des nouvelles technologies et connaissances. Big Data , Virtualisation , Base de données Nosql Vécue une expérience dans la vie professionnelle et vie d’entreprise Autre cas d’usage que le domaine de marketing
- 33. Merci Pour Votre Attention
Notes de l'éditeur
- Mes dames et monsieur les membre de jury , bonjour. je me présente, je suis ahlem touil. J’ai le grand plaisir de vous présenter mon projet de fin d’étude en Master Multimédia web , intitulé sous le nom «Collection des données d'un reseau social» , et qu’il est effectué au sein de la société DevClic de Tunis, encadré par M. Jemaa SESSI mon encadreur de la société et M. Sofien MHATLI mon encadreur de l’ISI KEF , dans le cadre de l’obtention de diplôme Mastère en Multimédia Web.
- On va commoncer ,Je vais essayer de synthétiser mon travail et vous le présenter selon le plan suivant : on faite notre presentation comporte six grande partie On commence par la Cadre du projet Puis je passe au déférente phase de réalisation de projet, Extraction et collection des données Stockage et traitement des données Analyse et Visualisation des données On va finir cette partie par une architecture globale On va finir notre présentation par une conclusion générale et perspectives
- On va commancer par Présentation de la société DevClick C'est une start-up franco-tunisienne qui se consacre entièrement aux services informatiques qui sont : Service développement a paris Service développemnt a tunis (Devclick) Service web designe a tunis (Des-click) Service Commercial Comptabilité spécialisés dans les domaines suivants : Le développement de logiciels et la réingénierie des applications existantes Le développement d'applications Web Le développement et le déploiement de solutions de Web Marketing
- Notre projet se déroule au saint de dev-clic avec service développement Tunis, l équipé agissant sur le secteur de vente en ligne et la création de publications des articles sur Internet utilisent des méthodes classiques dans la création des publications et l’intégration de leurs produits sur internet. En fait, leurs travailles ne contient aucune approche de distribution de données ni l’utilisation des outils d’analyse de donnée,
- Après une analyse de l’existant nous avons tiré la problématique suivant qui consiste à….
- Pour toute entreprise, l’un des éléments clés est la bonne connaissance de marché ainsi la réussite de gestion de temps et des ressources. Pour bien faire, il est indispensable de capitaliser sur la connaissance à travers des diverses informations dont on dispose pour fournir une analyse globale sur les chances de réussite d’un tel produit. Pour faire face à ces anomalies nous avons proposé comme solution
- L’implémenté une application de gestion et de traitement de flux de données accessible pour notre service afin de couvrir une partie plus importante de marchait , consiste a La mise en place d’une architecture big data,
- Alors , la première partie de la phase réalisation , quelles sont les différents sources disponible ?
- L’Internet est bouleversé par l'arrivée des réseaux sociaux, En effet ces derniers sont devenus en quelques années un outil indispensable à notre quotidien. Présents dans notre vie sociale, ils modifient également notre comportement d’achat ainsi que nos perspectives professionnelles. En faite on peut remarque leurs valeur a travers le volume important des données échangées ,
- on appuient sur des recherche bien précises , on remarque l’explosion des flux de données dans les réseaux sociaux, Se la peut nous permettre de les utiliser comme source de big data
- La mise en place d’une architecture big nous permettre de résoudre ces problème, cette architecture est base sure le frame Works Hadoop destiné à faciliter la création d'applications distribue et travaillé avec des milliers des nœuds
- On installa spark et utilise a la place de MapReduce 100 fois plus rapide que MapReduce Traitement en temps réel Stocker les données en mémoire But Hadoop MapReduce Stocker des données sur le disque Écrit en scala (scalable langage en anglais) polyvalent (adaptable) Mais l’autre est en java
- Dans notre projet on a utilisé Twitter comme source pour collection de donnée, Vue sa moyenne sécurité et au volume de donnée échange a partir ce réseau, de plus Twitter se présente comme réseau social le plus populaire pour les clients cible de notre société, Pour avoir l’accé au flux de données explosés sur twitter on va utilise l’api twitter pour l’authentification . Connexion entre twiter and spark a traver scala Extraction des données
- Le stockage de données se divise en deux grandes parties, dans un premier temps nous avons utilisé un système de fichier distribuée pour assurer le stockage des données de n’importe quel format, puis dans un second temps nous avons utilisé des bases de données NoSql pour le stockage des données structurées et semi-structurées,
- Dans ce diapo on vas donner une vision globale sur notre application, en fait en utilisant une architecture big data notre projet comporte deux grande partie, Collection des données a partir Twitter, Analyse et affichage des données en temps réel, a l aide des technologie de traitement des flux de données,
- J’aimerais vous présenter un graphique qui présente la Répartition Géographique des marques Samsung Galaxy On constate tout d’abord que l’utilisation de ces articles est très importante dans USA et CANADA Ensuite, Enfin, on peut voir que Le graphique nous montre donc que
- Répartition des marques Samsung
- L’affichage des tweets selon les sentiment des personnes pour la marque IPhone
- Dans cette partie nous allons montrer l’architecture physique adopté pour notre projet, nous avons utilisé Hadoop Hdfs, MongoDb comme outils de stockage distribué des données, Apache Spark pour la collection des données par le langage Scala , Apache Streaming et pour le traitement et l’analyse des données en temps réel. Enfin nous avons utilisé Tableau pour la visualisation et l’affichage ses données.
- Finalement, nous allons vous montrer l’architecture globale de notre application dont nous avants présenté les différentes phases ainsi les différentes technologies adoptées dans la réalisation de notre application. Pour conclure je dirai que le cahier de charge a été respecté et donc les objectifs sont atteints, en résultat on a obtenu une application complètement fonctionnelle,
- Alors Nous finissons notre présentation par une conclusion Alors ce projet est bénéfique pour la société , il permet d’optimiser le temps et l’effort lors du traitement des données,