Formation professionnelle "Big data : concepts et enjeux"

2 966 vues

Publié le

Sensibiliser au contexte des données massives et du big data.
Le web est un incroyable réservoir de données.
Concept des données structurées et non structurées.
Les 5V : Volumétrie Vitesse Valeur Variété Véracité
Comprendre les technologies de récolte des données : scraping et crawling.
Comment traiter les données récoltées ?
Formation réalisée par Philippe Métayer - IUT MMI Bordeaux.

Publié dans : Internet
0 commentaire
8 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
2 966
Sur SlideShare
0
Issues des intégrations
0
Intégrations
198
Actions
Partages
0
Téléchargements
135
Commentaires
0
J’aime
8
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Formation professionnelle "Big data : concepts et enjeux"

  1. 1. par Philippe METAYER philippe.metayer@iut.u-bordeaux-montaigne.fr ! Directeur Formation Continue et Alternance { Métiers du web et des médias } ! Département MMI - Métiers du Multimédia et de l’Internet - IUT Bordeaux Montaigne ! www.iut.u-bordeaux-montaigne.fr & www.mmibordeaux.com Journée de Formation Professionnelle ! Le « BIG DATA » : concepts et enjeux ! ! IUT MMI - Université Bordeaux Montaigne - Vendredi 28 novembre 2014
  2. 2. Sommaire 1 2 Vous avez dit « Big Data » ? 2 3 4 Conclusions Extraire la Data Traiter la Data
  3. 3. 1 Vous avez dit « Big Data » ?! ! ! Qu’est-ce que la data ? Data structurée, Data non structurée… Démystification du terme « big data » avec les « 5V ». 3
  4. 4. 1 - Vous avez dit « Big Data » ? Contexte : le déluge des données Il est souvent évoqué le terme d’infobésité tant nous sommes sollicités en permanence par des nouvelles informations, souvent les mêmes répétées sur différents sites et supports que nous consultons. ! Outre ce phénomène, nous sommes aussi touchés par un autre phénomène équivalent qui illustre de la même manière cette création permanente et ininterrompue de données : The data deluge. Couverture The Economist Mars 2010
  5. 5. 1 - Vous avez dit « Big Data » ? Le web est un incroyable réservoir de données 1er janvier 1985 : enregistrement du premier nom de domaine.! En 2012 : 252 millions noms de domaines enregistrés.! ! Nombre de serveurs Google en 2014 :plus de 1 million de serveurs.! Nombre d’utilisateurs Facebook par jour : 699 millions ! ! Nombre de visiteurs uniques sur YouTube par mois : 1 milliard! ! Nombre de pages web indexées : 36 milliards! ! Nombre de tweets émis entre 2006 et 2012 : 170 milliards! 
 Sources : www.datapublica.com! ! Et ce n’est pas tout…
  6. 6. 1 - Vous avez dit « Big Data » ? Le web est un incroyable réservoir de données ! Google : plus de 1 millions de serveurs en janvier 2010! ! Amazon : plus de 450 000 serveurs en mars 2012! ! Microsoft : plus de 300 000 serveurs en mars 2013! ! OVH : plus de 140 000 serveurs en mars 2013! ! ! Ces datacenters stockent et archivent toutes les données que nous créons en permanence sur le web.! ! Aussi, chaque jour, les programmes de Google parcourent 20 milliards de sites web.! ! Sources : www.datapublica.com
  7. 7. 5 000 recherches mensuelles « big data » 20 000 recherches mensuelles « big data » x4 big data définition définition big data big data wiki big data pdf c’est quoi le big data signification big data big data pour les nuls 7 1 - Vous avez dit « Big Data » ?
  8. 8. 8 1 - Vous avez dit « Big Data » ? La data, c’est de l’information… variée.
  9. 9. La data structurée, c’est quand on connaît l’ensemble des valeurs que cette donnée peut prendre. Âge 20 ans 15 ans 16 ans 46 ans 33 ans 27 ans 37 ans La simple connaissance de cette donnée permet de l’utiliser à des fins statistiques 9 1 - Vous avez dit « Big Data » ?
  10. 10. En quoi la data structurée est-elle intéressante ? 1 2 3 Elle est facile d’accès Elle est facile à traiter Elle est utilisable par tous… et déjà utilisée par bon nombre d’organisations, voire toutes les organisations ! 10 1 - Vous avez dit « Big Data » ?
  11. 11. En quoi la data structurée est-elle intéressante ? Elle n’est intéressante en rien de plus que ce que l’on fait déjà avec les bases de données, les fichiers clients, les CRM, les fiches produits… On l’a déjà énormément exploité. ! …et on continue à l’exploiter. ! ! La data structurée n’est peut-être pas si intéressante, parce que aujourd’hui, on a encore mieux ! 11 1 - Vous avez dit « Big Data » ?
  12. 12. Il existe une autre forme de données, la data non structurée : qu’a-t-elle de si différent ? 12 1 - Vous avez dit « Big Data » ? + - La data non structurée est très riche en contenu La data non structurée est trop riche en contenu, et devient donc très difficile d’accès et d’analyse. Mais cela devient possible !
  13. 13. Comment définir le Big Data ? => Les 5 13 1 - Vous avez dit « Big Data » ?
  14. 14. Volumétrie 5 7 000 milliards octets / jour 300 millions de photos / jour 14 Le domaine des Big Data s’intéresse à des ensembles de données numériques, qui de par leur taille, ne peuvent être traitées avec des méthodes traditionnelles. Les données peuvent être de l’ordre au minimum du Gigaoctet, du Teraoctet… et surtout ce volume ne cesse de croitre à grande vitesse. > 250 milliards de mails / jour 72 heures de vidéo sont envoyées sur Internet chaque jour 1 - Vous avez dit « Big Data » ?
  15. 15. Votre prise de parole, vos réactions, vos interactions… et celles internautes ! 15 1 - Vous avez dit « Big Data » ? D’après une étude IDC, les données numériques créées dans le monde seraient passées de 1,2 zettaoctets en 2010 à 2,8 zettaoctets en 2012 pour atteindre 40 zettaoctets en 2020 ! ! ! 1 zettaoctet = 1021 octets = 1 000 milliards de Goctets
  16. 16. 5 16 On estime que le volume de données stockées dans le monde double tous les 4 ans. On a ainsi stocké plus données depuis 2010 qu’on ne l’avait fait depuis le début de l’humanité ! Vitesse 1 - Vous avez dit « Big Data » ?
  17. 17. 5 17 Il y a une très grande diversité des données : ce peut être la consommation individuelle d’électricité, le nombre de « like » sur Facebook ou les 5000 photographies déposées chaque minute sur le site de partage Flickr. Variété 1 - Vous avez dit « Big Data » ?
  18. 18. 5 18 Les données recueillies sont souvent bruitées et imprécises et doivent être traitées pour en extraire l’information utile. Véracité 41 000 000 de français sont sur le web 58% des français donnent leur avis sur le web (blog, forum, autres) 1 - Vous avez dit « Big Data » ?
  19. 19. 5 19 Valeur 90% des données présentes sur le web sont des données non structurées 10% des entreprises exploitent le big data 1 - Vous avez dit « Big Data » ?
  20. 20. Volumétrie 5 Vitesse Variété VéracitéValeur 20 1 - Vous avez dit « Big Data » ?
  21. 21. 2 Extraire la Data! ! ! Deux méthodes d’extraction de la Data Exemples concrets. 21
  22. 22. Pourquoi extraire la data ? Structurer et enrichir les données existantes Construire une nouvelle offre Mettre en place des outils de Business Intelligence Etendre le champ des possibles qui devient véritablement immense 22 2 - Extraire la Data Parce que c’est devenu un véritable enjeu stratégique pour l’entreprise ou l’organisation.
  23. 23. 23 2 - Extraire la Data Il existe aujourd’hui deux principales techniques de recueil automatique des données sur le web : le crawling et le scraping. Ces deux techniques peuvent être utilisées de manière complémentaire. 5 Le crawling est l’action produite par un crawler, et le scraping est l’action produite par un scraper. Crawlers et scrapers sont des programmes informatiques.
  24. 24. Le crawling 24 Le crawler est donc un programme informatique dont la fonction est de se promener de site en site et d’extraire automatiquement toute l’information présente sur les pages. ! Le crawler est connu sous d’autres noms : spider, web spider, bot, harvester. ! A partir d’une liste de sites web, il parcourt chaque page de chacun des sites web pour ensuite suivre les liens qui pointent vers d’autres sites web qui n’étaient pas dans la liste initiale. 2 - Extraire la Data
  25. 25. Eléments clés pour le crawling : 25 Performance : comment crawler des milliers de pages ? en combien de temps ? ! Politesse : il important de ne pas saturer les sites web visités en limitant les fréquences des requêtes sur les mêmes serveurs. (voir aussi fichier robot.txt) ! Délai de réponse : un délai de réponse trop long indiquera peut-être que le site crawlé ne supporte pas la charge. Il peut aussi y avoir un time out. ! Obstacles : Liens morts, code 200, code 404… le crawler doit être paramétré pour ne pas analyser ces pages quand il reçoit ces codes. ! Cible et profondeur de crawl : le terme « seel » définit la liste initiale des sites à visiter. Le niveau correspond à la profondeur d’analyse souhaitée (0=liste initiale ; 1 = liste initiale + liens de niveau 1 ; 2 = liste initiale + liens de niveau 1). ! Implémentations : comment stocker les données extraites ? Le sont-elles sans ou avec traitement ? Faut-il stocker uniquement les informations pertinentes ? Toutes ces questions doivent être bien étudiées avant de lancer le crawl. 2 - Extraire la Data
  26. 26. Exemple concret N°1 de crawling : IMPORT.IO 26 L’outil https://import.io est un outil open source de crawling ! ! Principe de fonctionnement : https://www.youtube.com/watch?v=cdmsTxu45-c ! ! Exemple avec le site IKEA : 2 - Extraire la Data
  27. 27. Exemple concret N°2 de crawling : Common Crawl 27 Common Crawl est une fondation américaine dont l’objectif est d’archiver toutes les pages web et de les mettre à disposition gratuitement à travers une plate-forme. ! Cet objectif ambitieux nécessite l’utilisation de crawlers très puissants et d’une énorme capacité de stockage. Actuellement, 15% du web mondial est disponible soit près de 6 milliards de pages web. ! Même si cela n’est pas exhaustif, cela reste suffisamment important pour attaquer la couche «  haute  » du web et donc contenir une grande partie des sites facilement accessibles et/ou couramment utilisés. 2 - Extraire la Data
  28. 28. Exemple concret N°2 de crawling : Common Crawl 28 Exemple de graphe des acteurs de l’Open Data français : ! http://www.data-publica.com/content/2012/09/le-graphe-des-sites-francais-dopendata/ 2 - Extraire la Data
  29. 29. Le scraping 29 Le scraper est donc un programme informatique capable d’extraire de l’information d’un site web. Toutefois, le site doit être bien étudié avant le travail d’extraction. ! En effet, contrairement au crawling, le scraping a pour but d’extraire du contenu d’un site web dans le but de le transformer, et de l’utiliser dans un autre contexte. 2 - Extraire la Data
  30. 30. Le « coeur sémantique » Les mots du métier Les mots de votre langage Les mots des internautes 30 3 - Traiter la Data
  31. 31. Mais à quoi cela sert-il ? Le référencement naturel (SEO) Le référencement payant (SEA) Une stratégie social médias (SMO) + + Avoir une vision transverse et basée sur les données et rien de plus 31 3 - Traiter la Data
  32. 32. Récupérer les données, tout le monde sait faire. Mais… Comment la rendre exploitable ? 32 3 - Traiter la Data Exemple concret d’entreprise : SYNOMIA => grâce à l’analyse syntaxique.
  33. 33. Déjà compliqué pour un jeune écolier… … Mais alors, pour un algorithme ? 33 3 - Traiter la Data
  34. 34. L’analyse syntaxique, une tâche complexe. Nouvel élément à prendre en compte : l’ambiguïté. Et quand on mêle tout, la difficulté atteint un niveau très élevé. 34 3 - Traiter la Data
  35. 35. 35 3 - Traiter la Data Autres exemples d’entreprise :
  36. 36. Présence en ligne + écosystème = big data Big data + technologie = richesse extrême du résultat Big data - technologie = opportunité pour la concurrence D’où l’urgence pour le marché de comprendre cette notion et ses enjeux afin d’oser en exploiter sa richesse. 36 Conclusion côté monde économique
  37. 37. 37 ConclusionConclusion côté politique et technique L’algorithme est la clé d’accès à un savoir cumulatif sur soi et sur la société, dans un but d’amélioration, mais le prix à payer est l’accès à la donnée. Nécessité d’établir une éthique de la data : expliquer le contexte de collecte et de traitement des données personnelles.
  38. 38. MERCI ! 38

×