Big Data et Business Intelligence de A… Azure

1 259 vues

Publié le

Session MCNEXT: Vous découvrirez dans cette session un panorama des services PaaS de Microsoft dans Azure concernant le Big Data et la Business Intelligence. Vous seront présentés les plateformes HD Insight, Azure Stream Analytics, Azure Data Factory mais aussi Azure Machine Learning.

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
1 259
Sur SlideShare
0
Issues des intégrations
0
Intégrations
122
Actions
Partages
0
Téléchargements
49
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Big Data et Business Intelligence de A… Azure

  1. 1. tech.days 2015#mstechdaysSESSION
  2. 2. AMBIENT INTELLIGENCE tech days• 2015 #mstechdays techdays.microsoft.fr
  3. 3. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  4. 4. tech.days 2015#mstechdaysSESSION Application & Digital Communication & RSE Business Intelligence Integration & MDM Client Relation Focus Cloud by MicrosoftParis-Lyon-Genève Big Data
  5. 5. tech.days 2015#mstechdaysSESSION
  6. 6. tech.days 2015#mstechdaysSESSION
  7. 7. tech.days 2015#mstechdaysSESSION
  8. 8. tech.days 2015#mstechdaysSESSION
  9. 9. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  10. 10. tech.days 2015#mstechdaysSESSION
  11. 11. tech.days 2015#mstechdaysSESSION
  12. 12. tech.days 2015#mstechdaysSESSION
  13. 13. tech.days 2015#mstechdaysSESSION Stockage BigData On-premise On-cloud Filed’attente Transformation Pocesstempsréél Business intelligence BI TEMPS REEL STOCKAGE PERMANENT Analyse Excel Dashboard Power BI Reporting SSRS Azure Machine LearningSQL Server Azure Services de données Microsoft Azure
  14. 14. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  15. 15. tech.days 2015#mstechdaysSESSION
  16. 16. tech.days 2015#mstechdaysSESSION Data Source Collect Process ConsumeDeliver Event Inputs - Event Hub - Azure Blob Transform - Temporal joins - Filter - Aggregates - Projections - Windows - Etc. Correlate Outputs - SQL Azure - Azure Blobs - Event Hub Azure Storage Azure Stream Analytics Reference Data - Azure Blob
  17. 17. tech.days 2015#mstechdaysSESSION
  18. 18. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  19. 19. tech.days 2015#mstechdaysSESSION Stockage BigData Filed’attente Transformation Pocesstempsréél Business intelligence Analyse Excel Dashboard Power BI Azure Machine Learning SQL Server Azure Services de données Microsoft Azure 2-Extraction temps réel par lot 1-CollectedesFluxRSS desdépêchesd’une trentainedejournaux Pourladémo, accélérationdutemps pourtraiterenviron3 semainesdeflux
  20. 20. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  21. 21. tech.days 2015#mstechdaysSESSION
  22. 22. tech.days 2015#mstechdaysSESSION
  23. 23. tech.days 2015#mstechdaysSESSION
  24. 24. tech.days 2015#mstechdaysSESSION PipelineScript IHMAzureDataFactory "type": "Hive", ou "type": "Pig", "type": "Copy",
  25. 25. tech.days 2015#mstechdaysSESSION PigLatinScript Hivescript DROP TABLE IF EXISTS HiveDepeche; CREATE EXTERNAL TABLE HiveDepeche ( Journal string, Nb int ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '10' STORED AS TEXTFILE LOCATION '${hiveconf:RESULTOUTPUT}/ ${hiveconf:Year}/${hiveconf:Month}/${hiveconf:Day}'; INSERT OVERWRITE TABLE HiveDepeche SELECT Journal, count(*) FROM Depeche group by Journal; a = LOAD '$LOGINPUT'; b = foreach a generate flatten(TOKENIZE((chararray)$0)) as word; c = group b by word; d = foreach c generate COUNT(b), group; STORE d INTO '$LOGOUTPUT';
  26. 26. tech.days 2015#mstechdaysSESSION On Premises SQL Server SQL Azure Azure Blob Storage Activités Dataset 2 Azure Data Factory From RunsOn Dataset 1 HDInsight Compute Pipeline1 Autres Pipelines Azure Blob tempory Storage From/To ELT
  27. 27. tech.days 2015#mstechdaysSESSION // Deploy Table New-AzureDataFactoryTable -DataFactoryName“ADF“ -File File1.json // Deploy Pipeline New-AzureDataFactoryPipeline -DataFactoryName “ADF“ -File File2.json // Start Pipeline Set-AzureDataFactoryPipelineActivePeriod -DataFactoryName “ADF“ -StartTime 02/10/2015 12:00:00
  28. 28. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  29. 29. tech.days 2015#mstechdaysSESSION Stockage BigData Filed’attente Transformation Pocesstempsréél Business intelligence Analyse Excel Dashboard Power BI Azure Machine Learning SQL Server Azure Services de données Microsoft Azure 3-Agrégation et comptage des mots 5b-Analyse prédictive temps réel 2-Extraction temps réel par lot 5a-Analyse temps réel 4- Chargement 1-CollectedesFluxRSS desdépêchesd’une trentainedejournaux Pourladémo, accélérationdutemps pourtraiterenviron3 semainesdeflux
  30. 30. tech.days 2015#mstechdaysSESSION
  31. 31. tech.days 2015#mstechdaysSESSION #mstechdays techdays.microsoft.fr
  32. 32. tech.days 2015#mstechdaysSESSION Analyse descriptive Analyse explicative Analyse prédictive Analyse prescriptive
  33. 33. tech.days 2015#mstechdaysSESSION
  34. 34. tech.days 2015#mstechdaysSESSION
  35. 35. tech.days 2015#mstechdaysSESSION « Ciel rouge le matin, avertit le marin. » « Plus vite courent les fourmis, plus haut monte le mercure. » « Les oignons ont beaucoup de pelures, l'hiver sera dur. »
  36. 36. tech.days 2015#mstechdaysSESSION Data Mining in the Cloud : Azure Machine Learning
  37. 37. tech.days 2015#mstechdaysSESSION …pour découvrir les concepts nécessaires avant d’appréhender le Machine Learning
  38. 38. tech.days 2015#mstechdaysSESSION Des chiffres et des lettres ! Plutôt nommées: Variables quantitatives Variables qualitatives
  39. 39. tech.days 2015#mstechdaysSESSION • •
  40. 40. tech.days 2015#mstechdaysSESSION
  41. 41. tech.days 2015#mstechdaysSESSION Un échantillon pour l’apprentissage (~60%) Un échantillon pour la validation du modèle (~40%) Ou validation croisée
  42. 42. tech.days 2015#mstechdaysSESSION
  43. 43. tech.days 2015#mstechdaysSESSION Identifier de groupes intrinsèquement homogènes et différents entre eux
  44. 44. tech.days 2015#mstechdaysSESSION Qu’est-ce qu’une Régression ?
  45. 45. tech.days 2015#mstechdaysSESSION
  46. 46. tech.days 2015#mstechdaysSESSION Importer les données Elaborer le modèle Utiliser l’API
  47. 47. tech.days 2015#mstechdaysSESSION
  48. 48. tech.days 2015#mstechdaysSESSION let Source = Marketplace.Subscriptions(), #"https://api.datamarket.azure.com/data.ashx/aml _labs/lexicon_based_sentiment_analysis/v1/" = Source{[ServiceUrl="https://api.datamarket.azure .com/data.ashx/aml_labs/lexicon_based_sentiment_ analysis/v1/"]}[Feeds], Score = #"https://api.datamarket.azure.com/data.ashx/aml _labs/lexicon_based_sentiment_analysis/v1/"{[Nam e="Score"]}[Data] in Score URL de l’API
  49. 49. tech.days 2015#mstechdaysSESSION
  50. 50. tech.days 2015#mstechdaysSESSION
  51. 51. tech.days 2015#mstechdaysSESSION
  52. 52. tech.days 2015#mstechdaysSESSION
  53. 53. tech.days 2015#mstechdaysSESSION Le Machine Learning est un sport d’équipe. Statisticiens / Mathématiciens DBA Développeurs Data Scientist Fonctionnels / Décideurs Un type à moustache ?
  54. 54. tech.days 2015#mstechdaysSESSION
  55. 55. © 2015 Microsoft Corporation. All rights reserved. tech days• 2015 #mstechdays techdays.microsoft.fr

×