Télécharger en tant que PDF, PPTX
Téléchargé parAleph Technologies
Data Science & Big Data, réalités et perspectives.
Le document présente une synthèse historique de la science des données et du big data, retraçant les évolutions depuis les années 1900 jusqu'à 2014. Il décrit les principes de la science des données, soulignant l'extraction de connaissances à partir de volumes importants de données et les différentes techniques analytiques. Enfin, il aborde la technologie big data, notamment Hadoop et MapReduce, ainsi que des réalités et défis contemporains dans ce domaine.
Data Science & Big Data, réalités et perspectives.
- 1. Data Science & Big Data Umons – 12/3/2014 Alexis Gil Gonzales
- 2. Agenda 1. Synopsis historique 2. Data Science – principes 3. Big Data 4. Réalités & PerspecHves
- 3. Synopsis historique • 1900’s : StaHsHques • 1960’s : Pêche aux données (dredging) • 1962 : John Tukey « The Future of Data Analysis » • 1974 : Peter Naur « Concise Survey of Computer Methods » • 1989 : Gregory Piatetsky-‐Shapiro : Knowledge Discovery in Database (KDD) Workshop
- 4. Synopsis historique • 1990’s : Data Mining • 1996 : Fayyad, Piatetsky-‐Shapiro, Smyth « From Data Mining to Knowledge Discovery in Databases » • 1997 : Data Mining and Knowledge Discovery journal • 2001 : William Cleveland « Data Science : An acHon plan for expanding the technical areas of the field of staHsHcs »
- 5. Synopsis historique • 2002/2003 : Data Science Journal, Journal of Data Science • 2004 : Dean, Ghemawat (Google) : « MapReduce : Simplified Data Processing on Large Clusters » • 2005 : Davenport, Cohen, Jacobson « CompeHng on AnalyHcs » • 2005 : Hadoop naît chez Yahoo • 2006 : Google AnalyHcs • 2007 : Analyse predicHve • 2007 : Research Center for Datalogy and Data Science – Shanghai (China)
- 6. Synopsis historique • 2008 : J. Hammerbacher, DJ PaHl (Facebook, Linkedin) uHlisent pour la première fois le rôle « Data ScienHst » • 2009 : Kirk Borne « The RevoluHon in Astronomy EducaHon : Data Science for the Masses » • 2009 : Mathew Graham « The Art of Data Science »
- 7. Data Science -‐ Principes Défini&on Extrac'on de patrons ou modèles u'les à par'r de vastes sources de données (Fayyad, Piatetsky, Shapiro, Smyth 1996)
- 8. Data Science -‐ Principes Concepts divers Extraire de la connaissance u'le à par'r de grands volumes de données pour résoudre des problèmes d’entreprise peut être réalisé en suivant un processus en étapes bien définies. Example : CRISP-‐DM
- 9. Data Science -‐ Principes Concepts divers A par'r de grands volumes de données, technologies de l’informa'on peuvent être u'lisées pour trouver des aAributs descrip'fs et informa'fs d’en'tés d’intérêt.
- 10. Data Science -‐ Principes Concepts divers Si vous regardez assez longtemps un ensemble de données vous pourriez trouver quelque chose, mais ce ne peut pas être généralisé au délà de l’ensemble de données ini'al. Overfiong
- 11. Data Science -‐ Principes Classifica&on Prédire, pour chaque élément d’une populaHon, à quelle classe il apparHent. Scoring Prédit, pour chaque élément d’une populaHon, la probabilité d’appartenance à chaque classe.
- 12. Data Science -‐ Principes Régression Prédire, pour chaque élément d’une populaHon, la valeur numérique d’une variable donnée. Correspondance de similarités IdenHfie des éléments similaires à parHr de données connues sur ceux-‐ci. classe.
- 13. Data Science -‐ Principes Clustering Grouper des éléments d’une populaHon ensemble par leur similarité, mais sans objecHf bien défini. Groupage de co-‐occurrence Trouve des associaHons entre des éléments basées sur des transacHons les impliquant. (Market basket analysis)
- 14. Data Science -‐ Principes Profiling CaractérisaHon du comportement typique d’un élément, groupe ou populaHon. Prédic&on de lien Prédire l’existence de liens entre deux éléments et éventuellement esHmer la force du lien.
- 15. Data Science -‐ Principes Réduc&on de données ConverHr un grand ensemble de données en un autre plus peHt en conservant le max. d’informaHon du premier. Modélisa&on causale Comprendre quels événements ou acHons influencent d’autres.
- 16. Data Science -‐ Principes CRISP-‐DM
- 17. Data Science -‐ Principes Autres ou'ls analy'ques ApprenHssage Machine InterrogaHon BBDD Data Warehousing Analyse de régression StaHsHques
- 18. Data Science -‐ Principes Data Mining Supvervisé Classifica'on et Régression • SélecHon d’arributs • ClassificaHon par arbres (inducHon) • ClassificaHon par opHmisaHon (foncHon linéaire, foncHon objecHf) • Support Vector Machines • Classificateurs Bayesiens • Réseaux neuronaux
- 19. Data Science -‐ Principes Similarités et voisins • Similarités entre éléments d’un ensemble • Distance • Instances similaires -‐> distance minimale • Nearest Neighbor • ClassificaHon • Diverses mesures de distance ! (Manharan, Jaccard, Cosinus, distance d’édiHon, ...)
- 20. Data Science -‐ Principes Clustering • SegmentaHon non supervisée • « groupes naturels », sans cible connue • Clustering hiérarchique
- 21. Data Science -‐ Principes Co-‐occurrence • Découverte d’associaHons entre éléments d’une populaHon sur base des transacHons passées. • Recherche combinaison d’éléments aux staHsHques intéressantes. • Grand nombre de co-‐occurrences ! • Hasard • Support de l’associaHon
- 22. Data Science -‐ Principes Profiling • Comportement-‐type • DistribuHon normale/log-‐normale • Gaussian Mixture Models • Clusters « mous »
- 23. Big Data • Très grands volumes de données • 3 « V » • Volume • Vitesse • Variabilité
- 24.
- 25.
- 26. Big Data Technologies • Au début : MapReduce (Google), puis Hadoop (Yahoo), vers 2004. • MapReduce : Algorithme distribué. • Hadoop : plate-‐forme distribuée.
- 27. Big Data Hadoop • Architecture en Cluster: NameNode, DataNode. Secondary NameNode • HDFS : Distributed FS. Data Block • Data écrite 1 seule fois, lue plusieurs. • Hadoop core en java • MapReduce inside • Hbase : BD en colonnes. Flexible, Compression • ZooKeeper : GesHon de configuraHon • Hive : analyse de données, proche de SQL, scriptable • Pig : analyse de données, laHn.
- 28. Big Data Hadoop (cont) • Flume : traitement de flux, logfiles • SolR : Basé sur project Lucene. Recherche textuelle sur grands volumes de documents. • Mahout : Librairie d’apprenHssage machine pour grands volumes de données. UHlise MapReduce. • Giraph/Hama : Traitement itéraHf de graphes. Basé sur Pregel (Google), BSP. • Ambari : provision, gesHon, mgmt hadoop • Squoop : connecteurs de données. • Oozie : ordonnanceur de jobs.
- 29. Big Data Hadoop (cont) • WebHDFS : REST API • Hcatalog : expose Hive métadonnées. « schéma » • WebHCatalog : REST API • YARN : MapReduce 2.0, généralisaHon • Tez : Nouveau framework exécuHon de tâches • Storm : Temps réel
- 30. Big Data Evolu'on Hadoop
- 31. Big Data Quelques examples concrets Avec flume, pig, hive et mahout
- 32.
- 33. Big Data Enquête Gartner 2013 (US) • 64% entreprises invesHssent ou vont le faire dans des technologies Big Data • Mais uniquement 8% de ces derniers ont pris des acHons concrètes • Principaux secteurs : Banque, médias, services • Problème 1 : quanHficaHon de la valeur du BD • Problème 2 : manque de talents à <> niveaux
- 34.
- 35. Big Data Enquête EMC 2012
- 36. Big Data Enquête EMC 2012
- 37. Big Data Enquête EMC 2012
- 38.