Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
LOGO
Mise en place d’une
architecture BIG DATA basée
sur le Cloud computing
Société d’accueil : Innova-TUNISIA
Présentée p...
Conclusion
Réalisation
Architecture et choix technologiques
Big Data et cloud computing
Introduction
Plan
Présentation gén...
Présentation générale
Divers sources d’informations
Données
massives
1
Présentation générale
2
98,000 comptes Twitter sont crées
695,000 statuts Facebook
11 millions messages instantanés
698,44...
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Introduction
Plan
Présentation géné...
Introduction
3
Explosion de volume de l’information
La nécessité d’une nouvelle
technologie qui peut traiter un
grand volu...
Conclusion
Réalisation
Architecture et Choix technologique
Big Data et cloud computing
Introduction
Plan
Présentation Géné...
Cadre du stage
Organisme d’accueil
4
INNOVA-TUNISIA est un acteur
dynamique dans les métiers du
conseil et l’études systèm...
Cadre du stage
Web Radar
5
Toutes les données publiques
Produites par la presse électronique, les réseaux
sociaux, les blo...
Cadre du stage
WebRadar
6
…qui organise
par date, pays, ville, langue, média, sujet, thème,
personne, organisme, marque, s...
Cadre du stage
WebRadar
7
Cadre du stage
Critique de WebRadar
Des données …
Des données …
Des données…
DES DONNEES!!
8
Cadre du stage
Critique de WebRadar
Avec l’architecture actuelle de WebRadar avec la présence évolutive des
informations e...
Cadre du stage
Solution proposée
Des nouvelles approches
liées au concept de
l'informatique décisionnelle.
Une infrastruct...
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
Big data et cloud computing
C’est quoi la Big Data ?
Big Data
Vélocité
Volume
Variété
11
Big data et cloud computing
Décisionnel classique et big data
Décisionnel
classique
Volume limité
Données
structurés
Stati...
Big data et cloud computing
C’est quoi le cloud computing ?
L’utilisation de la mémoire et des capacités de calcul et de
s...
Big data et cloud computing
Pourquoi ??????
Répartition
des
données
Récupération
des
données
14
Conclusion
Réalisation
Architecture et choix technologiques
Big data et cloud computing
Cadre du stage
Plan
Introduction
Architecture et choix technologiques
Ancienne architecture
15
Nouvelle architecture
16
Architecture et choix technologiques
Choix technologiques
17
Architecture et choix technologiques
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
Réalisation
L’infrastructure virtuelle
Création des machines virtuelles
Installation et configuration de
système d’exploit...
Réalisation
Configuration Hadoop
19
Réalisation
Migration Sql >>Sql
Importation des données de la base de données Mysql de WebRadar
vers la base de données My...
Réalisation
Migration Sql >>Sql
21
Migration Sql >>NoSql
Réalisation
Migration des données de la base de données relationnel vers la base
de données Nosql (M...
Réalisation
Migration Sql >>NoSql
23
Réalisation
Migration Sql >>NoSql
24
Migration Sql >>NoSql
Réalisation
25
Réalisation
Migration Sql >>NoSql
26
Réalisation
Réplication de données
La réplication de données après la migration Sql >> NoSql.
27
Réalisation
Réplication de données
28
Conclusion générale
Notre projet de fin d’étude est déroulé avec la découverte des nouvelles
technologies:
 La Big Data
...
LOGO
Merci pour votre
attention !
Prochain SlideShare
Chargement dans…5
×

Présentation PFE Hachem Selmi et Ahmed Dridi Big data

1 072 vues

Publié le

Présentation de soutenance

Publié dans : Technologie
  • Soyez le premier à commenter

Présentation PFE Hachem Selmi et Ahmed Dridi Big data

  1. 1. LOGO Mise en place d’une architecture BIG DATA basée sur le Cloud computing Société d’accueil : Innova-TUNISIA Présentée par : Hachem SELMI Ahmed DRIDI Sous l’encadrement de: Houssem TAYARI(ISET) Khaled MANSOURI(Innova) Institut supérieur des études technologiques de CHARGUIA Année universitaire : 2014-2015
  2. 2. Conclusion Réalisation Architecture et choix technologiques Big Data et cloud computing Introduction Plan Présentation générale Cadre du stage
  3. 3. Présentation générale Divers sources d’informations Données massives 1
  4. 4. Présentation générale 2 98,000 comptes Twitter sont crées 695,000 statuts Facebook 11 millions messages instantanés 698,445 recherches sur Google 168 millions mails envoyés Chaque 60 Secondes
  5. 5. Conclusion Réalisation Architecture et choix technologique Big data et cloud computing Introduction Plan Présentation générale Cadre du stage
  6. 6. Introduction 3 Explosion de volume de l’information La nécessité d’une nouvelle technologie qui peut traiter un grand volume de données. Evolution des systèmes d’information des entreprises variété et complexité des données BIG DATA
  7. 7. Conclusion Réalisation Architecture et Choix technologique Big Data et cloud computing Introduction Plan Présentation Générale Cadre du stage
  8. 8. Cadre du stage Organisme d’accueil 4 INNOVA-TUNISIA est un acteur dynamique dans les métiers du conseil et l’études systèmes informatiques et internet. Son équipe se compose du responsable développement, du coordinateur communication chargé d’affaires, des programmeurs de logiciels, des chefs de projets et du directeur général. Depuis 2010, Innova Tunisia s’est spécialisée dans la veille et le monitoring Internet avec un premier produit WebJort, puis en 2012 avec la solution WebRadar introduite sur le marché Tunisien.
  9. 9. Cadre du stage Web Radar 5 Toutes les données publiques Produites par la presse électronique, les réseaux sociaux, les blogs, les forums en temps réel …qui collecte
  10. 10. Cadre du stage WebRadar 6 …qui organise par date, pays, ville, langue, média, sujet, thème, personne, organisme, marque, sentiment,… …qui mesure fréquence, audience, crédibilité, redondance, tonalité, influence, …
  11. 11. Cadre du stage WebRadar 7
  12. 12. Cadre du stage Critique de WebRadar Des données … Des données … Des données… DES DONNEES!! 8
  13. 13. Cadre du stage Critique de WebRadar Avec l’architecture actuelle de WebRadar avec la présence évolutive des informations et données collectées, Innova rencontre plusieurs difficultés pour stocker , traiter et analyser ces données!!! 9
  14. 14. Cadre du stage Solution proposée Des nouvelles approches liées au concept de l'informatique décisionnelle. Une infrastructure dédiée à l’analyse et le traitement des données massives. Architecture Big Data basée sur le cloud computing. 10
  15. 15. Conclusion Réalisation Architecture et choix technologique Big data et cloud computing Cadre du stage Plan Introduction
  16. 16. Big data et cloud computing C’est quoi la Big Data ? Big Data Vélocité Volume Variété 11
  17. 17. Big data et cloud computing Décisionnel classique et big data Décisionnel classique Volume limité Données structurés Statistique descriptive Big Data Volume gigantesque Données structurés Semi structurés Hétérogènes Statistique en temps réel 12
  18. 18. Big data et cloud computing C’est quoi le cloud computing ? L’utilisation de la mémoire et des capacités de calcul et de stockage d’ordinateurs et de serveurs répartis dans le monde, et liés par un réseau ,tel Internet 13
  19. 19. Big data et cloud computing Pourquoi ?????? Répartition des données Récupération des données 14
  20. 20. Conclusion Réalisation Architecture et choix technologiques Big data et cloud computing Cadre du stage Plan Introduction
  21. 21. Architecture et choix technologiques Ancienne architecture 15
  22. 22. Nouvelle architecture 16 Architecture et choix technologiques
  23. 23. Choix technologiques 17 Architecture et choix technologiques
  24. 24. Conclusion Réalisation Architecture et choix technologique Big data et cloud computing Cadre du stage Plan Introduction
  25. 25. Réalisation L’infrastructure virtuelle Création des machines virtuelles Installation et configuration de système d’exploitation Debian Configuration d’un réseau LAN Installation et configuration de l’écosystème Hadoop 18
  26. 26. Réalisation Configuration Hadoop 19
  27. 27. Réalisation Migration Sql >>Sql Importation des données de la base de données Mysql de WebRadar vers la base de données Mysql existante dans notre cluster avec l’outil Python. 20
  28. 28. Réalisation Migration Sql >>Sql 21
  29. 29. Migration Sql >>NoSql Réalisation Migration des données de la base de données relationnel vers la base de données Nosql (MongoDB) en utilisant l’outil Mongify 22
  30. 30. Réalisation Migration Sql >>NoSql 23
  31. 31. Réalisation Migration Sql >>NoSql 24
  32. 32. Migration Sql >>NoSql Réalisation 25
  33. 33. Réalisation Migration Sql >>NoSql 26
  34. 34. Réalisation Réplication de données La réplication de données après la migration Sql >> NoSql. 27
  35. 35. Réalisation Réplication de données 28
  36. 36. Conclusion générale Notre projet de fin d’étude est déroulé avec la découverte des nouvelles technologies:  La Big Data  Cloud Computing  Les bases de données Nosql Le stage a été une bonne occasion pour intégrer des nouveaux concepts et connaitre des nouvelles sources fiables.
  37. 37. LOGO Merci pour votre attention !

×