Téléchargé 27 fois
Téléchargé parBart Hanssens
Big data et open data
Le document présente une synthèse sur le big data et l'open data, en définissant des concepts tels que la gestion, la collecte et la sécurité des données. Il souligne l'importance croissante de ces données dans divers secteurs, allant de la science à l'industrie, et examine les implications économiques et sociétales associées. Enfin, le document décrit des plateformes et outils associés à l'analyse et à la visualisation des données.
Big data et open data
- 1. BOSA.be INTEC Brussel 2018-08-21 Bart Hanssens SPFBOSA Transformation digitale Big Data & Open Data
- 2. • Data • Quelquesconcepts • Big Data • Qu'est-ce que c'est + exemples • Open Data • Qu'est-ce que c'est + exemples • Questions ? Agenda 2
- 3.
- 4. • Données (électroniques) •Photos, documents, cartes, données de mesure … • Structuré ou non-structuré Qu'est-ce que data ? 4
- 5. • Métadonnées sontégalement des données • Données sur des autres données • Souvent utiliser pour la recherche • Par exemple: • Donnée: vidéo YouTube • Métadonnées: titre, date, nom de l’artiste, … Qu’est-ce que metadata ? 5
- 6. • Enregistrer etrécupérer des données, ça coûte • Du temps, de l’argent, de l’espace • La collecte de données ne suffit pas • Le but est de faire quelque chose avec les donnéess • Une analyse correcte des données peut être très difficile • La sécurité des données est importante • Surtout lorsque des données privés sont stockées/traitées Points d’attention (méta)données 6
- 7.
- 8. Taille Data (environ) ZettabyteZB 15 ZB: toutes les données sur internet Exabyte EB 2 EB: (par jour) nouvelles données dans le monde entier Petabyte PB 4 PB: (par jour) data sur Facebook Terabyte TB 8 TB: disque dur plus large (consommateur) Gigabyte GB 60 GB: Wikipedia en anglais (sans historique) 3 GB: (par heure) film Netflix en qualité HD 1 GB: (par mois) limite d‘un abonnement GSM bon marché Megabyte MB 2 MB: présentation PowerPoint Kilobyte kB 3 KB: texte d’une page A4 Byte B Combien est beaucoup ? 8
- 9. Type Prix parGB (environ) Max. vitesse de lecture (environ) Disque dur 0.03 EUR 250 MB/s Clé USB 0.2 EUR 150 MB/s SSD m.2 0.3 EUR 3 500 MB/s DDR4 RAM 10 EUR 25 600 MB/s Comparaison mémoire / stockage 9
- 10. Type Commentaire Max.vitesse(en réalitié) 4G 5 MB/s Wifi (n) 5 GHz 30 MB/s Wifi (ac) 90 MB/s Ethernet (Gigabit) 115 MB/s Ethernet (10 GbE) 1 150 MB/s MAREA Câble réseau Est USA - Espagne 20 000 000 MB/s Comparaison vitesse de téléchargement 10
- 11. Dans les articlessur Big Data, on parle souvent de "V": • Volume: beaucoup de données • Velocity: traitement rapide • Variety: structures et sources différentes Actuellement des "V" supplémentaires sont mentionnés • Value: valeur • … Les “V”s de Big Data 11
- 12. • Produire etstocker des données devient moins cher • De plus en plus services "personnels" basés sur données: • Google: publicité basée sur des recherches • Netflix: suggestions de films • TomTom: trajets plus rapides basés sur info embouteillages • “Internet of Things”, “Smart City”, “Connected Cars” • De plus en plus de communication entre les machines Pourquoi de plus en plus Big Data ? 12
- 13. • Des capteurspartout, (souvent) connectés:: • Smartphones avec GPS, camera et capteur de mouvement • Capteur de qualité de l’air, radiation, … • Systèmes d’alarme, domotique • Cameras et détecteurs trafic • Voitures (autonomes) • Capteurs dans des machines industrielles Internet des Objets 13
- 14. • Online etmédiaux sociaux • Twitter, Facebook, Google, … • Sciences • Météo et climat, physique, astronomie • Banques et industrie • Bourse, assurances, chimie, secteur de santé • Mobilité et transport • Circulation plus fluide, voitures autonomes • Sports Applications 14
- 15. • Avantages etdésavantages • “Si le produit est gratuit alors vous êtes le produit ” • Souvent l'intention de vendre quelque chose, basé sur • Quelles applications vous utilisez et quand • Où vous êtes, et avec qui • Quelles pages, vidéos ... vous regardez et partagez • Le produits que vous avez déjà acheté en ligne • … Exemple: médiaux sociaux et plateformes en ligne 15
- 16. • Grande quantitéde photos et de mesures • La terre: photos de bâtiments, température • L’espace: étoiles, planètes • USA: 25+ PB data, code et exemples NASA • https://open.nasa.gov/open-data • Belgique: • Agriculture: croissance des cultures (https://watchitgrow.be) • Plateforme Terrascope (https://terrascope.be) Exemple: données satellite 16
- 17. Exemple: est-ce quema commune est verte? 17
- 18. • Véhicules enregistrentla situation sur la route • Trous sur la route, glace, routes glissantes, … • L'information est partagée • Avertissement aux véhicules dans le voisinage • Message au gestionnaire de la route (souffleuse à neige …) • Exemple: « BADA » projet Volvo / Scania (Suède) • http://www.nvfnorden.org/library/Files/Per- Olof%20Svensk_BADA%207%20June%202017.pdf Exemple: améliorer la situation des autoroutes 18
- 19. • Beaucoup degens garde leur mobile à portée de main • En contact avec les antennes • Opérateurs peuvent faire des analyses des événements • Quel trajet les visiteurs suivent-ils ? • Combien de temps restent-ils ? • Exemple: Proximus MyAnalytics • https://www.proximusanalytics.be • Rapports anonymisés (payants) • Seules des données Proximus (estimation autres opérateurs) Exemple: visiteurs d’un événement basé sur GSM 19
- 20. Exemple: célébration DiablesRouges 20
- 21. • « Lavie deviendra-t-elle plus chère en Belgique ? » • Achats tels que nourriture/boisson… carburant, vêtements • Influence indirecte sur l'indexation (augmentation) du loyer • E.a. articles scannés aux caisses des supermarchés • Comparaison n'est pas toujours facile • Produits saisonniers, même produit / autre code • https://statbel.fgov.be/fr/propos-de- statbel/methodologie/analyses Exemple: prix de consommation Statbel 21
- 22. • Formule 1 •100 – 300 capteurs par bolide F1 • Vitesse, pression des pneus, freins, carburant … • Football: FC Barcelona • (big) data analytics • Performance sportive, interaction personnalisée aves les fans Exemples: sports 22
- 23. • CERN “LargeHadron Collider” accélérateur de particules • 10 PB/s, « seulement » 30 PB données / an sont conservées • https://home.cern/about/computing/processing-what-record • NASA “Square Kilometre Array” télescope • Prêt en 2024 ? 1 EB/jour, au moins 200 PB/an conservé • https://www.skatelescope.org Exemple: science 23
- 24. Analyse et visualisationdes données 24
- 25. • Le stockagedes données devient moins cher • Tout n'est pas utile pour l’analyse • Pas toujours clair ce qui a / n'a pas d'influence • Souvent fait pour prédictions ou améliorer quelque chose • Prévoir le temps, la qualité de l'air, les ventes, ... • Détection de la fraude • Composer de nouveaux matériaux et médicaments Analyse de données 25
- 26. • « Entraîner» les machines de reconnaître des structures • Images: personnes, panneaux de signalisation, tumeurs • Textes et produits: catégorisation automatique • Recherche sur le ML par les grandes entreprises TIC • https://www.tensorflow.org (Google) • http://www.paddlepaddle.org (Baidu) • http://torch.ch (Facebook) • https://www.ibm.com/watson (IBM) Machine learning 26
- 27. • Par exemplevia “notebooks” ou “dashboards” • Alternative en ligne pour rapports et documents • Particulièrement populaire auprès des chercheurs • Peut aussi être utilisé sans big data • Souvent écrit en Python, “R” et/ou Javascript • http://shiny.rstudio.com • http://jupyter.org Visualisation des données 27
- 28.
- 29. Quand Big Data/ comment choisir les composants ? 29 • N'a de sens que pour de grandes quantités de données • Terabytes ou plus • Beaucoup de composants différents • évoluent encore très vite • Ne devraient pas tous être utilisés • Aucun système parfait dans toutes les situations • Recherches compliquées ou pas ? • Données structurées ou non-structurées ? • Interaction avec d'autres systèmes ?
- 30.
- 31. Plateforme Big DataHadoop 31 • Pas la seule plateforme, mais très populaire • Se compose de différents composants • HDFS, MapReduce, … • Java open source: usage libre sur vos propres serveurs • Paquets commerciaux: Cloudera, MapR, Hortonworks … • Installation sur vos propres machines ou “dans le cloud” • Amazon, Google, Microsoft, Oracle, SAP … • Attention: pas gratuit, stocker/récupérer les données coûte
- 32.
- 33. Apache Hadoop HDFS 33 •Système de fichiers distribué • (partie des) disques séparés se comportent comme 1 • Optimisé pour les grandes opérations de lecture « batch » • Pas pour des petites opérations d'écriture “random” • Peut être utilisé avec de nombreux disques "normaux" • Même milliers de machines, dizaines de milliers de disques • Centaines de petabytes • Données automatiquement distribuées et copiées • Détection + réparation rapide des erreurs (ex: disque cassé)
- 34. Pourquoi diviser lesdonnées / plusieurs systèmes ? 34 • Lecture / écriture des données n'est pas infiniment rapide • Distribuer le travail entre différentes machines • Éviter que les utilisateurs doivent attendre trop longtemps • Faciliter la résolution des problèmes • Machines et réseaux peuvent temporairement échouer
- 35. MapReduce 35 • Manière d'exécuterdes tâches en parallèle • Ex: compter mots, chercher • Très grandes quantités de données • (beaucoup) plus que rentre à la mémoire • Destiné aux tâches où toutes les données sont lues 1 fois • Distribuer les calculs • Exécuter le plus près possible des données • Éviter d'envoyer des données dans les deux sens • Combiner les résultats
- 36. Apache HBase 36 • Basede données qui peuvent tourner sur HDFS • Très grandes bases de données (milliards de lignes) • Ne remplace pas les bases de données "classiques" • Pas des enquêtes compliquées • Pas beaucoup de structure • Postgresql, Oracle… ont des fonctions supplémentaires
- 37. Quelques autres composants 37 •Apache Cassandra • Également une base de données • "Toujours disponible" plus important que « même données » • Apache Hive • Langage comme SQL, au-dessus de Hadoop • Facilite l'utilisation d'Hadoop
- 38.
- 39. • Apache opensource • https://projects.apache.org/projects.html?category#big-data • http://hadoop.apache.org • http://spark.apache.org • Communauté Big Data: • http://bigdata.be • Évènement annuel Data Science: • https://datasciencebe.com Quelques liens big data / data science 39
- 40.
- 41. Caractéristiques Apache Spark 41 •Peut fonctionner sur HDFS ou séparément • Alternative à MapReduce • Peut effectuer des traitements en mémoire • Beaucoup plus rapide pour petites quantités de données • Plus pratique pour parcourir mêmes données plusieurs fois
- 42.
- 43. • Données sansinformations sensibles / personnelles • Oui: statistiques • Non: dossier médical • Dans un format facile à traiter • Ex: tableaux au format MS-Excel, CSV, XML … • Peut être utilisé gratuitement par tout le monde • Aussi à des fins commerciales Qu’est ce que Open Data ? 43
- 44. Open Data Big Data Open Data etBig Data 44
- 45. • Big datan’est pas toujours open data • Ex: données des entreprises ne sont pas publiques / gratuites • Open data n’est pas toujours big data • Exemple: liste des écoles bruxelloises est courte Open Data et Big Data (2) 45
- 46. • Généralement desservices publics • Villes, régions, gouvernement fédéral … • Payé par les impôts des citoyens et des entreprises • Obligations imposées par l'Union européenne • Parfois des entreprises • Ex: entreprises louant des vélos ou des voitures • Souvent aussi des personnes / bénévoles • Ex: WikiPedia, OpenStreetMap, … Qui publie des données ouvertes ? 46
- 47. • Surtout lesvilles publient des info d'adresses • Places, piscines, … • Données cartographiques • Limites communales, carte 3D (Flandre) … • Beaucoup de statistiques • Population par commune, prix moyens, ... De quel type de données s'agit-il ? 47
- 48. • Combiner avecautres données • Publier des articles • Ex: prix moyen maison/appartement par commune • Créer des sites web • Ex: https://ici.brussels/fr • Créer des apps • Ex: “Top Baby Names”: prénoms le plus populaires Que faire avec open data ? 48
- 49. Exemple: site webLimbourg en chiffres 49
- 50. • Différentes formatssont utilisés • CSV, MS-Excel, XML, JSON… • Différentes par région possible • Mentionner la source est parfois obligatoire, parfois pas • Souvent pas de garantie de disponibilité / mises à jour • Pas de contrat Points d’attention open data 50
- 51. • Portail opendata: • https://data.gov.be • Évènement annuel open data: • http://www.openbelgium.be • Communauté OpenKnowledge: • https://www.openknowledge.be Quelques liens autour l’open data 51
- 52.
- 53.