SlideShare une entreprise Scribd logo

MNIF Ahmed présentation 2018

M
MNIF Ahmed

présentation du sujet de fin d'études / architecture Big Data

1  sur  32
Implémentation d’une architecture Big Data pour
le traitement des données multimédias et
multimodales
Projet de fin d’études
En vue de l’obtention du Diplôme National d’Ingénieur en Informatique
Encadrant entreprise
AGREBI Saïd
Réalisé par
MNIF Ahmed
Encadrant esprit
HAMED Asma
Plan
Introduction
Cadre du projet
Extraction et collecte des données
Intégration et traitement des données
Visualisation et analyse des données
Architectures Globales
Conclusion et perspectives
2
Introduction
Cadre du projet
Extraction et collecte des données
Intégration et traitement des données
Visualisation et analyse des données
Architectures Globales
Conclusion et perspectives
3
Introduction
Divers sources de données
4
Introduction
Explosion des données
Chaque 60 secondes :
98,000 comptes Twitter sont crées.
695,000 statuts Facebook.
698,445 recherches sur Google
11 millions messages instantanés
168 millions mails envoyés
5
Introduction
Big Data
 Explosion du volume des données
 Evolution des systèmes d’information des entreprises
 variété et complexité des données
La nécessité d’une nouvelle technologie qui peut traiter un grand volume de
données.
6
Big Data

Recommandé

Analytics & Machine Learning avec la Data Virtualization
Analytics & Machine Learning avec la Data VirtualizationAnalytics & Machine Learning avec la Data Virtualization
Analytics & Machine Learning avec la Data VirtualizationDenodo
 
Une plateforme Data 360 au Ministère des Armements avec la Suite Elastic
Une plateforme Data 360 au Ministère des Armements avec la Suite ElasticUne plateforme Data 360 au Ministère des Armements avec la Suite Elastic
Une plateforme Data 360 au Ministère des Armements avec la Suite ElasticElasticsearch
 
OpenDataGarage-Session 3A-Antidot
OpenDataGarage-Session 3A-AntidotOpenDataGarage-Session 3A-Antidot
OpenDataGarage-Session 3A-AntidotFing
 
Linked Enterprise Data : disposer d’une vue consolidée des données de l'entre...
Linked Enterprise Data : disposer d’une vue consolidée des données de l'entre...Linked Enterprise Data : disposer d’une vue consolidée des données de l'entre...
Linked Enterprise Data : disposer d’une vue consolidée des données de l'entre...Antidot
 
Préparation de Données Hadoop avec Trifacta
Préparation de Données Hadoop avec TrifactaPréparation de Données Hadoop avec Trifacta
Préparation de Données Hadoop avec TrifactaVictor Coustenoble
 
24HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.024HOP French 2017 - Azure Data Lake, le Big Data 2.0
24HOP French 2017 - Azure Data Lake, le Big Data 2.0Jean-Pierre Riehl
 

Contenu connexe

Similaire à MNIF Ahmed présentation 2018

Les technologies big data avec speech commentaries
Les technologies big data avec speech commentariesLes technologies big data avec speech commentaries
Les technologies big data avec speech commentariesRima Jamli Faidi
 
IODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data ScienceIODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data ScienceBorderCloud
 
Du Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processusDu Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processusCHAKER ALLAOUI
 
Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015
Bluemix Paris Meetup :  Big data et Analytics - 15 avril 2015Bluemix Paris Meetup :  Big data et Analytics - 15 avril 2015
Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015IBM France Lab
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...FactoVia
 
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?IRSST
 
Linked Enterprise Data ou comment disposer d'une vue consolidée des données
Linked Enterprise Data ou comment disposer d'une vue consolidée des donnéesLinked Enterprise Data ou comment disposer d'une vue consolidée des données
Linked Enterprise Data ou comment disposer d'une vue consolidée des donnéesAntidot
 
Présentation PFE Hachem Selmi et Ahmed Dridi Big data
Présentation PFE Hachem Selmi et Ahmed Dridi Big data Présentation PFE Hachem Selmi et Ahmed Dridi Big data
Présentation PFE Hachem Selmi et Ahmed Dridi Big data HaShem Selmi
 
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDIPrésentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDIHaShem Selmi
 
Baina bigdata le futur eldorado
Baina bigdata le futur eldoradoBaina bigdata le futur eldorado
Baina bigdata le futur eldoradoKarim Baïna
 
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...FactoVia
 
Football Statistics.pdf
Football Statistics.pdfFootball Statistics.pdf
Football Statistics.pdfAnass Nabil
 
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-Réponses
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-RéponsesFiche pratique IST Agropolis : Les Données de la Recherche : Questions-Réponses
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-RéponsesAgropolis International
 
Conception d'une platforme securiseé pour le transfert des donneés humaines
Conception d'une platforme securiseé pour le transfert des donneés humainesConception d'une platforme securiseé pour le transfert des donneés humaines
Conception d'une platforme securiseé pour le transfert des donneés humainesWahbi Belhadj
 
SplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data InSplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data InSplunk
 
Initiation à SPARQL avec Wikidata
Initiation à SPARQL avec WikidataInitiation à SPARQL avec Wikidata
Initiation à SPARQL avec WikidataBorderCloud
 
Big data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuairesBig data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuairesKezhan SHI
 

Similaire à MNIF Ahmed présentation 2018 (20)

Les technologies big data avec speech commentaries
Les technologies big data avec speech commentariesLes technologies big data avec speech commentaries
Les technologies big data avec speech commentaries
 
IODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data ScienceIODS : Retour d’expériences au sein du Center for Data Science
IODS : Retour d’expériences au sein du Center for Data Science
 
Du Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processusDu Big Data vers le SMART Data : Scénario d'un processus
Du Big Data vers le SMART Data : Scénario d'un processus
 
Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015
Bluemix Paris Meetup :  Big data et Analytics - 15 avril 2015Bluemix Paris Meetup :  Big data et Analytics - 15 avril 2015
Bluemix Paris Meetup : Big data et Analytics - 15 avril 2015
 
Introduction au BIG DATA
Introduction au BIG DATAIntroduction au BIG DATA
Introduction au BIG DATA
 
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...Pres azure   paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
Pres azure paas tdf -rex-hager-vincent thavonekham-regional director-azug f...
 
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?
Une révolution technologique à nos portes ; nos organisations sont-elles prêtes?
 
Cours Big Data Part I
Cours Big Data Part ICours Big Data Part I
Cours Big Data Part I
 
Linked Enterprise Data ou comment disposer d'une vue consolidée des données
Linked Enterprise Data ou comment disposer d'une vue consolidée des donnéesLinked Enterprise Data ou comment disposer d'une vue consolidée des données
Linked Enterprise Data ou comment disposer d'une vue consolidée des données
 
Présentation PFE Hachem Selmi et Ahmed Dridi Big data
Présentation PFE Hachem Selmi et Ahmed Dridi Big data Présentation PFE Hachem Selmi et Ahmed Dridi Big data
Présentation PFE Hachem Selmi et Ahmed Dridi Big data
 
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDIPrésentation pfe Big Data Hachem SELMI et Ahmed DRIDI
Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
 
Baina bigdata le futur eldorado
Baina bigdata le futur eldoradoBaina bigdata le futur eldorado
Baina bigdata le futur eldorado
 
Projet Domurpic
Projet DomurpicProjet Domurpic
Projet Domurpic
 
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...
Sido 2017 : Vincent Thavonekham, MVP azure et Regional Director, VISEO, Retou...
 
Football Statistics.pdf
Football Statistics.pdfFootball Statistics.pdf
Football Statistics.pdf
 
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-Réponses
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-RéponsesFiche pratique IST Agropolis : Les Données de la Recherche : Questions-Réponses
Fiche pratique IST Agropolis : Les Données de la Recherche : Questions-Réponses
 
Conception d'une platforme securiseé pour le transfert des donneés humaines
Conception d'une platforme securiseé pour le transfert des donneés humainesConception d'une platforme securiseé pour le transfert des donneés humaines
Conception d'une platforme securiseé pour le transfert des donneés humaines
 
SplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data InSplunkLive! Paris 2018: Getting Data In
SplunkLive! Paris 2018: Getting Data In
 
Initiation à SPARQL avec Wikidata
Initiation à SPARQL avec WikidataInitiation à SPARQL avec Wikidata
Initiation à SPARQL avec Wikidata
 
Big data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuairesBig data analytics focus technique et nouvelles perspectives pour les actuaires
Big data analytics focus technique et nouvelles perspectives pour les actuaires
 

MNIF Ahmed présentation 2018

  • 1. Implémentation d’une architecture Big Data pour le traitement des données multimédias et multimodales Projet de fin d’études En vue de l’obtention du Diplôme National d’Ingénieur en Informatique Encadrant entreprise AGREBI Saïd Réalisé par MNIF Ahmed Encadrant esprit HAMED Asma
  • 2. Plan Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 2
  • 3. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 3
  • 5. Introduction Explosion des données Chaque 60 secondes : 98,000 comptes Twitter sont crées. 695,000 statuts Facebook. 698,445 recherches sur Google 11 millions messages instantanés 168 millions mails envoyés 5
  • 6. Introduction Big Data  Explosion du volume des données  Evolution des systèmes d’information des entreprises  variété et complexité des données La nécessité d’une nouvelle technologie qui peut traiter un grand volume de données. 6 Big Data
  • 7. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion 7
  • 8. Cadre du projet Organisme d'accueil Une startup composé d’une jeune équipe. Démocratiser la Data science et le Big Data à l’échelle nationale et africaine. 8
  • 9. Cadre du projet Problématique Stockage, Traitement et analyse des données distribuées. Gestion des données en streaming. Travail en collaboration. 9 Architecture Big Data
  • 10. Cadre du projet Problématique Collecte des données de santé. 10 Solution Web « Yobihealth »
  • 11. Cadre du projet 11 Yobihealth Open Data Architecture Big Data Solution Dashboard Données Données Analyse
  • 12. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 12
  • 13. Extraction et collecte des données 13 Application Web Yobihealth Destinée pour des utilisateurs (patients, médecin) Créer et stocker des données de différents Formats dans le domaine de santé (texte, vidéos, images, audios..).
  • 14. Extraction et collecte des données 14 Application Web Yobihealth Technologies utilisées Utilisateurs Patients/Médecins Partie Front-end Angular Partie Back-end Spring boot Stockage des données web Restful Spring Data
  • 15. Extraction et collecte des données 15 Application Web Yobihealth
  • 16. Extraction et collecte des données 16 Open Data Produites par les collectivités ou les entreprises. Diffusées sous licence ouverte. Accessibles et réutilisables librement sans restriction technique ou juridique. Web Fichiers CsvFichiers JsonFichiers Xml
  • 17. Intégration et traitement des données 17 Ingestion des données Processus d’importation des données à partir de la source, vers un système de stockage ou un système de traitement des données. Sources des données Ingestion des données Traitement des données en temps réel
  • 18. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 18
  • 19. Intégration et traitement des données 19 Stockage des données Yobihealth Open Data Base de données NoSql. Base de données NoSql Système de fichier distribué (hdfs) Data Lake Stockage des données Stockage des données Indexation et recherche des données
  • 20. Intégration et traitement des données 20 Traitement des données Spark Streaming pour traiter les données générer par l’application en temps réel Des données Des données traitées
  • 21. Intégration et traitement des données 21 Analyse des données  Ensemble de bibliothèques écrite en python pour la science des données.  Inclut Jupyter Notebook. Script data science et charts
  • 22. Intégration et traitement des données 22 Jupyter Hub Des instances Jupyter Notebook engendré par Jupyter Hub Jupyter Hub génère et gère des instances du serveur Jupyter Notebook. On connecte au instances générées à travers les navigateurs Navigateur Navigateur Navigateur
  • 23. Intégration et traitement des données 23 Apache Toree Un noyau pour Jupyter Notebook offrant un accès interactif à Apache Spark. Développé en utilisant le protocole de messagerie IPython et 0MQ.
  • 24. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 24
  • 25. Visualisation et analyse des données 25 Outil de visualisation de données pour Elasticsearch Rapport Rapport Rapport bibliothèques de visualisation interactive écrites en différents langages ( scala, r, python …)
  • 26. Visualisation et analyse des données 26 Durée du sommeil moyenne pour Cinq personnes depuis leur utilisation de l’application Pourcentage des personnes dans chaque statu de santé concernant la maladie de diabète Application Yobihealth Open Data
  • 27. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 27
  • 28. Architecture physique 28 Master172.16.1.8 Slave172.16.1.9 Slave172.16.1.10 Visualisation des données Gestion de travail Analyse et traitement Ingestion des données Stockage des données SSH SSH
  • 29. Architecture Globale 29 Utilisateurs Front- applica tions Sources des données Stockage des données Traitement et analyse des données Visualisation des données Ingestion des données
  • 30. Introduction Cadre du projet Extraction et collecte des données Intégration et traitement des données Visualisation et analyse des données Architectures Globales Conclusion et perspectives 30
  • 31. Conclusion et perspectives 31  La découverte des nouvelles Technologies et connaissances. Big Data , Virtualisation , base de données NoSql , développement Web  Vécue une expérience dans la vie professionnelle et vie d’entreprise. Perspective  Autres cas d’usage que le domaine de la santé.
  • 32. Merci Pour votre attention