Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Migrer d'Excel vers power bi

2 134 vues

Publié le

https://www.lecfomasque.com Le CFO masqué vous explique les différences entre Excel, Power Query, Power Pivot et Power BI et vous indique quelles sont les nouvelles compétences requises pour les usagers d'Excel qui souhaitent maîtriser Power BI.

Publié dans : Données & analyses
  • Soyez le premier à commenter

Migrer d'Excel vers power bi

  1. 1. Migrer d’Excel vers Power BI 5 septembre 2018 lecfomasque.com
  2. 2.  Troisième vague (leader = Power BI)  Tous les usagers peuvent accéder directement aux données sources, les transformer, les modéliser, les analyser, les visualiser et les partager.  Première vague (BI corporative)  Les TI gèrent les outils qui permettent d’extraire les données des différentes sources, de les transformer et de les modéliser, puis donnent ensuite accès à ces données transformées, aux analystes d’affaires.  Deuxième vague (BI libre-service)  Les analystes d’affaires gèrent les outils qui permettent d’extraire les données des différentes sources, de les transformer et de les modéliser, puis donnent ensuite l’accès à ces données transformées, à l’ensemble des usagers. Les3vaguesdelaBI
  3. 3. ENVIRONNEMENTCONTRÔLÉ FARWEST
  4. 4. Sources de données Analyse de données Sources de données Transformation de données Analyse de données Sources de données Transformation de données Modélisation de données Analyse de données Sources de données Transformation de données Modélisation de données Analyse de données Sources de données Transformation de données Analyse de données DeExcelàPowerBI Connexion à des données structurées Transformations manuelles ou automatisées avec VBA Requêtes de transformation automatisées avec Power Query Création modèle relationnel via Power Pivot La transformation et la modélisation de données doit être recommencée dans chaque fichier Excel. Centralisé, partagé et mis à jour.
  5. 5. GouvernancedePowerBI BI libre-service dirigée par les usagers Approche Bottom-Up Analyses basées sur une variété de sources de données. Emphase sur l’exploration de données et la liberté de créer des rapports. Responsables: Les utilisateurs gèrent tous les aspects de la solution. Étendue pour les usagers: Les usagers préparent les données, conçoivent la modélisation de données et créent les rapports. BI libre-service dirigée par les TI Approche Mixte Analyses basées sur des données gérées par les TI. Emphase sur l’analyse de données prédéfinies et structurées. Responsables: Les TI gèrent les données et les utilisateurs de rapports. Étendue pour les usagers: Les usagers créent les rapports et les tableaux de bord. BI Corporative Approche Top-Down Analyses basées sur des données gérées par les TI. Emphase sur l’analyse des rapports conçus par TI. Responsables: Les TI gèrent 100% de la solution. Étendue pour les usagers: Les usagers analysent les données.
  6. 6. • Travail manuel et répétitif • Risques d’erreurs • Beaucoup de temps investi • Mises à jour plus ou moins manuelles • Données et efforts souvent dupliqués • Requêtes programmées • Centralisation des modèles de données • Sécurité intégrée • Mise à jours automatisées • Consommation via le web ou application mobile
  7. 7. Sourcededonnées
  8. 8. DonnéesdansExcel Pour faciliter la mise à jour des données dans Excel, mieux vaut connaître et utiliser la fonctionnalité « Mettre sous forme de tableau ».
  9. 9. DonnéesdansExcel Certains usagers tenteront de faire les remplacements en utilisant la fonctionnalité « Rechercher et remplacer » (à refaire à chaque fois). D’autres usagers profiteront des fonctionnalités de la mise sous forme de tableau de données et inséreront une colonne avec des fonctions SUBSTITUE imbriquées.
  10. 10. DonnéesdansExcel Mais il faudra être conscient que trop de colonnes calculées va alourdir le fichier et pourrait entraîner des problèmes de performance. Certains usagers auront du mal à transformer ces dates, ne maîtrisant pas suffisamment les formats de données et les fonctions dans Excel. D’autres usagers réussiront à insérer des formules pour venir à bout des formats.
  11. 11. DonnéesdansExcel Si l’usager n’utilise pas Excel 2016, il devra savoir comment grouper des dates par année via son TCD ou créer des colonnes supplémentaires dans la source. Pour présenter les écarts, il pourra avoir recours aux options du menu « Afficher les valeurs ». Toutefois, les écarts seront calculés seulement pour les valeurs visibles à l’écran. L’usager ne pourra pas non plus choisir les colonnes à afficher dans le tableau…
  12. 12. DonnéesdansExcel Points importants à se rappeler: • Connexion automatisée à l’aide de VBA, connexion à un cube ou « copier/coller » les données dans Excel • Tableaux croisés dynamiques possibles à partir d’une seule source • Pour croiser des données, il faut ajouter des colonnes à la table principale et faire des recherchev pour aller chercher de l’info dans les autres tables • On ne peut pas insérer plus de 1M de lignes et la performance sera affectée bien avant ce seuil • Quelqu’un qui veut analyser les mêmes données doit refaire les mêmes manipulations dans son fichier Excel • Pour faciliter la mise à jour des rapports, il faut utiliser la mise sous forme de tableau mais les nouvelles données doivent arriver dans le même format et on devra utiliser le VBA ou copier-coller les nouvelles données manuellement • Il faut cliquer manuellement sur « Actualiser »pour mettre à jour un tableau ou graphique croisé dynamique • Le choix de graphiques est modéré (2x plus de choix en 2016) mais il est toujours possible de bricoler dans Excel, on peut aussi utiliser les OfficeApps et bientôt les visualisations de PBI • La personnalisation des rapports est toutefois est à son maximum… on peut pratiquement tout faire… • L’interactivité est intéressante (si on utilise les tableaux, les TCD et les segments) mais limitée par rapport à Power BI (pas de drill across notamment) • L’exploration de données est intéressante mais limitée par rapport à Power BI • Pour partager le rapport, il faut partager le fichier lui-même • La sécurité dans Excel est minime… on ne pourra pas, par exemple, construire un seul tableau de bord et demander que chaque usager voit seulement les données selon son rôle (à moins d’être connecté à un cube sécurisé)
  13. 13. UtilisationdePowerQuery Le fichier csv est importé dans Excel (les valeurs ne sont pas copiées et collées dans une page Excel mais plutôt importées via une requête et conservées en mémoire dans l’éditeur de requêtes). Dès l’importation, l’usager pourra spécifier que l’origine du fichier est UTF-8 afin de s’assurer de se débarrasser des caractères spéciaux. De même, il pourra aisément séparer la portion date de la portion heure de la colonne DATE.ORIGINE.
  14. 14. UtilisationdePowerQuery De même, il sera aisé de se départir du T dans les heures. Toutes les étapes de transformation seront enregistrées et codées. L’usager n’aura qu’à actualiser son fichier pour réimporter les données sources (récupérant les nouvelles données, le cas échéant) et effectuer à nouveau toutes les étapes de transformations enregistrées.
  15. 15. UtilisationdePowerQuery L’usager aura le choix de télécharger le résultat de ses transformations de données dans un onglet du fichier Excel ou de créer un tableau ou un graphique croisé dynamique, directement à partir de ses données transformées, sans les télécharger d’abord dans un onglet. Ceci sera beaucoup plus performant que d’utiliser des données chargées dans un onglet. De même, l’usager pourra enregistrer le résultat de ses transformations dans un modèle de données, dans Power Pivot et créer son rapport à partir des données en provenance de Power Pivot. Ici, nous avons directement créé un tableau croisé dynamique à partir des données transformées de Power Query et en utilisant le champ Date dans les étiquettes de lignes. Excel 2016 a créé une hiérarchie de dates. Ceci nous permet de présenter nos données de façon plus ou moins groupées, dans notre TCD et dans notre graphique (voir les boutons +/- dans le coin inférieur droit du graphique).
  16. 16. UtilisationdePowerQuery Points importants à se rappeler: • Possible de récupérer des données d’à peu près n’importe quelle source • Permet de fusionner différentes sources de données côte-à-côte ou bout-à-bout • Permet de gérer une volumétrie plus élevée que celle d’Excel (soit plus que 1M lignes) • Si l’entreprise a accès à O365, les requêtes créées avec Power Query peuvent être centralisées dans un catalogue et réutilisées par d’autres usagers… sinon, le travail doit être refait dans chaque fichier Excel • Le processus d’importation de données est automatisé, on pourrait penser à pointer sur un dossier, qui contient un ensemble de fichiers et chaque fois qu’un nouveau fichier serait déposé, on pourrait actualiser la requête pour réimporter toutes les données • On peut facilement ajouter de nouvelles sources de données via une nouvelle requête • Le processus de mise à jour des rapports doit parfois faire intervenir le VBA (ordonnancer la mise à jour des requêtes et des TCD) • En plus de connaître les fonctionnalités d’Excel pour créer des tableaux de bord, l’usager doit comprendre comment créer une requête performante et se familiariser avec le code M • Le choix de graphiques, la personnalisation et l’exploration de données se fait dans Excel • Pour partager le rapport, il faut partager le fichier lui-même • Au niveau de la sécurité, il n’y a pas de sécurité par ligne (on a seulement accès aux options de sécurité d’Excel) • Note: Power Query est nettement plus facile à apprendre que le VBA
  17. 17. Pour illustrer l’utilisation de Power Query, conjointement avec Power Pivot, nous allons utiliser une source de données additionnelle, qui est la suivante. Sourcededonnées
  18. 18. UtilisationdePowerPivot Ci-dessous, nous avons utilisé Power Query pour importer et transformer nos données et nous avons utilisé Power Pivot pour créer une table de données et construire un modèle de données (cube virtuel que nous pourrons interroger).
  19. 19. UtilisationdePowerPivot Le fait d’avoir inséré une table de dates (Calendar) nous permet de créer des mesures dont certaines seront temporelles. Par exemple, ci-dessous, nous avons utilisé le DAX pour calculer le Nbre de remorquages de l’année précédente. Nous pourrons ensuite calculer les écarts entre l’année en cours et l’année précédente.
  20. 20. UtilisationdePowerPivot Dans Power Pivot, nous pouvons également construire toutes les hiérarchies utiles pour notre analyse. Par exemple, ci-dessous, nous avons créé une nouvelle hiérarchie dans la table Remorquages. Nous y avons glissé les champs: Arrondissement origine/Rue origine/Date origine/Heure origine
  21. 21. UtilisationdePowerPivot Ceci permet d’exploser le tableau croisé dynamique pour obtenir diverses informations provenant de la hiérarchie. Par exemple, ci-dessous, on regarde le nombre de remorquages cette année vs l’année précédente par arrondissement et on peut cliquer sur un arrondissement pour voir ces informations par rue, par date puis par heure.
  22. 22. UtilisationdePowerPivot Dans Power Pivot, il est aussi possible d’associer un KPI à une mesure.
  23. 23. UtilisationdePowerPivot Ceci permet de voir l’état des écarts (rouges, jaunes, verts).
  24. 24. UtilisationdePowerPivot Le tout s’ajuste lorsque l’on fore dans les données.
  25. 25. UtilisationdePowerPivot Comme Power Pivot est considéré comme un cube OLAP par Excel, les options Outils OLAP sont disponibles. On peut ainsi créer un tableau croisé dynamique avec des segments (voir 1er TCD ci-dessous) et ensuite cliquer sur « Convertir en formules » pour transposer le tout en formules. Les segments seront encore utilisables et les cellules du fichier pourront être personnalisées, pour créer un rapport sur mesure.
  26. 26. UtilisationdePowerPivot Points importants à se rappeler: • Power Pivot collabore très bien avec Power Query (rappelons que le résultat des requêtes Power Query peut être enregistré dans le modèle de données Power Pivot) dans les versions 2013 et plus d’Excel • Le croisement entre les sources de données est largement facilité et optimisé, on peut créer des relations 1-1, many-to-one et one-to-many • La volumétrie est significativement plus élevée qu’Excel (en autant que l’on respecte la modélisation en étoile) • Les modèles de données ne sont pas centralisés, ils appartiennent au fichier Excel • En plus de maîtriser les notions d’Excel et souhaitons-le de Power Query et du langage M, l’usager doit aussi maîtriser le langage DAX, essentiel à la construction de bons rapports • Le choix de graphiques, la personnalisation, l’interactivité et l’exploration de données sont tels que définis avec Power Query • La sécurité est celle d’Excel
  27. 27. Sourcededonnées Pour illustrer un exemple d’analyse avancée de Power BI, nous allons utiliser un fichier .json, également fourni sur le site de données ouvertes de la ville de Montréal. Ce fichier comprend les découpages géographiques des différents arrondissements. Pour utiliser cette carte géographique personnalisée, nous devons d’abord convertir le fichier en TopoJson. Note: Utilise la table avec les #REM arrondissements pour faire le pont.
  28. 28. UtilisationdePOWERBI Power BI Destkop utilise l’éditeur de requêtes Power Query et le même engin de modélisation de données que Power Pivot. Toutefois, il utilise sa propre interface pour la création de rapports.
  29. 29. UtilisationdePOWERBI Dans Excel, il n’est pas possible d’analyser les données par arrondissement sur une carte géographique (les cartes géographiques de 2016 ne prennent que des pays, provinces, codes postaux). Ici, on peut importer notre propre carte géographique et la faire interagir avec les autres tuiles du rapport.
  30. 30. UtilisationdePOWERBI L’interface visuelle de Power BI offre une panoplie de fonctionnalités pour favoriser l’exploration et l’analyse de données. Ici, quand on clique sur l’arrondissement Saint- Laurent dans le tableau, les autres tuiles du rapport s’ajustent en conséquence. Ici, lorsque l’on passe notre souris sur un arrondissement, on aperçoit, dans une info-bulle, les écarts par mois vs l’année précédente.
  31. 31. UtilisationdePOWERBI Ici, si je souhaite obtenir plus d’information sur un arrondissement en particulier, je peux cliquer sur Extraction / Analyse par rue et aboutir sur le rapport ci-dessous, où il sera ensuite possible de filtrer la carte géographique par rue ou par mois (notion de drill through). À noter qu’il est aussi très facile d’insérer des fonctionnalités de drill down et de personnaliser les fonctionnalités de drill across.
  32. 32. UtilisationdePOWERBI Ici, par exemple, on observe le portrait de l’arrondissement Saint-Laurent pour mars 2018.
  33. 33. UtilisationdePOWERBI Power BI offre une quantité impressionnante de visualisations de données. Juste au niveau des cartes géographiques, on peut utiliser une dizaine de visualisations différentes. Par exemple, les cartes ArcGis sont particulièrement intéressantes puisqu’elles permettent d’identifier les zones préoccupantes (heat) et de superposer les valeurs à des données démographiques ou autres. Par exemple, ici, nous aurions pu chercher à superposer le nombre de remorquages avec la densité de population, sur la même carte.
  34. 34. UtilisationdePOWERBI En supposant que vous deviez créer un seul rapport et que les données accessibles par un usager soient liées à son rôle, il est possible de définir de tels rôles dans Power BI Desktop et d’associer ensuite ces rôles à des usagers dans Power BI Service. Par exemple, ci-dessous, on regarde le même rapport, mais seulement pour les « Événements policiers ».
  35. 35. UtilisationdePOWERBI Power BI offre de plus en plus d’options analytiques intéressantes. Ici, on demande d’expliquer la hausse du # de remorquages entre 2016 et 2017. Power BI nous propose de nombreux axes d’analyse. On peut insérer les tuiles que l’on souhaite ajouter à son rapport et utiliser les pouces vers le haut et vers le bas (machine learning).
  36. 36. UtilisationdePOWERBI De même, ici, on demande à Power BI de rechercher où cette distribution est différente. Power BI nous indique que la distribution est particulièrement différente en Février. On note en effet en Février que l’arrondissement de Rosemont-La-Petite- Patrie connaît le plus grand nombre de remorquages alors qu’il est en 4ième position sur l’année.
  37. 37. Power BI offre une fonctionnalité permettant d’interroger vos données en langage naturel. Pour le moment, les mots-clés doivent être en anglais. Il faut savoir qu’en créant votre modèle de données, vous pouvez introduire des synonymes pour tous les champs de votre modèle. Ceci facilitera l’usage de cette fonctionnalité. Cette fonctionnalité peut être utilisée par le créateur de rapport dans Power BI Desktop (inspiration) et peut aussi être utilisée par le consommateur du rapport ou du tableau de bord via le service, qui est plus à l’aise de poser ses questions en langage naturel. UtilisationdePOWERBI
  38. 38. UtilisationdePOWERBI • Power BI Desktop (application de bureau) • Importer des données de diverses sources • Transformer les données (ETL) • Fusionner les données • Bonifier les données • Créer des rapports • Power BI Service (portail web) – pourrait aussi être Report Server (on premise) • Publier les rapports • Partager les rapports • Créer des tableaux de bord • Analyser les données • Programmer des rafraîchissements de données • Recevoir des alertes • Power BI Mobile (application mobile) • Consommer les rapports et les tableaux de bord • Créer des annotations et les partager • Recevoir des alertes Power BI Desktop ne s’utilise pas en solo! Il s’utilise de façon conjointe avec Power BI Service ou Power BI Server et leur application mobile.
  39. 39. UtilisationdePOWERBI Points importants à se rappeler: • Sources de données: • Importation vs connexion directe vs modèles composites vs data pools • Connexion a des pages web avec colonnes par exemples • Streaming (données en temps réel) • SAAS via le service • Le croisement de données est encore plus poussé que celui de Power Pivot (relations bidirectionnelles, many-to-many via modèles composites) • La volumétrie est encore plus intéressante que Power Pivot (on peut choisir Power BI Premium pour obtenir une capacité en fonction des besoins) • La plus grande différence vient du fait qu’une fois le modèle de données créé (donc une fois toutes les étapes de la connexion à la source jusqu’à l’obtention des données propres à l’analyse, en passant par toutes les transformations requises et l’écriture de mesures), il est publié sur le service et centralisé (d’autres peuvent s’y connecter pour créer des rapports) • On peut introduire une notion de sécurité par ligne • On peut créer une application et choisir avec qui on partage les rapports, tableaux de bord et jeux de données • On peut programmer les mises à jour • On a recours à un plus grand choix de visualisations, à des options d’exploration de données plus approfondies et à certaines fonctionnalités analytiques
  40. 40. • Commencez par reproduire un de vos rapports Excel importants actuels • Utilisez Power Query pour vous connecter à vos données et faire vos transformations • Téléchargez les données dans un onglet pour les comparer aux données actuelles • Utilisez ensuite Power Pivot pour déposer les données • Recréez vos graphiques et autres sections de votre rapports à partir des données de Power Pivot • Améliorez votre rapport actuel à l’aide du DAX, des hiérarchies et des KPI • Pendant un certain temps, rouler les 2 rapports en parallèle • Quand tout es validé, importez le fichier Excel dans Power BI Desktop (portion Power Query et Power Pivot) et continuez de rouler le rapport dans Excel en parallèle • Développer un nouveau rapport avec Power BI (en profitant de toutes ses fonctionnalités additionnelles, non disponibles dans Excel) • Partagez ce rapport avec quelques collègues • De là, si vous n’êtes pas le gestionnaire en charge de décider de l’implantation ou non de Power BI dans votre entreprise, présenter votre rapport à ce gestionnaire et mentionnez-lui tous les avantages de ce rapport vs le précédent (vous avez quelques pistes intéressantes dans ce webinaire!) • Quand la décision sera prise par votre entreprise d’aller de l’avant avec Power BI, il sera important de mettre en place des règles de gouvernance dès le départ et de choisir les individus qui créeront les rapports. DeExcelàPowerBI Par où commencer?
  41. 41. Sources de données Analyse de données Sources de données Transformation de données Modélisation de données Analyse de données Sources de données Transformation de données Analyse de données DeExcelàPowerBI
  42. 42. DeExcelàPowerBI Quelles nouvelles compétences seront requises pour l’usager d’Excel? Administrateur Créateur de modèles de données Créateur de rapports Consommateurs de rapports • Apprendre à mieux connaître vos sources de données • Comprendre la normalisation de données • Apprendre à créer des requêtes de transformations • Apprendre le langage M et la création de fonctions Apprendre à créer des modèles de données Apprendre à créer des mesures en DAX • Apprendre à organiser votre travail en visant l’atteinte d’un certain niveau de performance • Apprendre à créer des visualisations de données percutantes • Apprendre à exploiter les nombreuses options d’exploration de données • Apprendre à créer des rôles de sécurité • Apprendre à exploiter les fonctionnalités de la plateforme de partage retenue • Gérer les licences et les accès • Gérer les droits et la sécurité • Installer les passerelles de données et y ajouter les données requises • Implanter les règles de gouvernance • Gérer l’utilisation des différents rapports (statistiques de consommation) • Apprendre à utiliser les fonctionnalités de filtres et d’exploration • Apprendre à créer des rapports secondaires et des tableaux de bord • Apprendre à créer des alertes • Apprendre à poser des questions en langage naturel
  43. 43. PARTIRDBONPIEDDeExcelàPowerBI
  44. 44. Ressources: Quelques liens vers des articles utiles • Différences entre l’élaboration d’un tableau de bord dans Excel vs Power BI • Power BI: 15 erreurs courantes chez les débutants (série de 3 articles) Quelques liens vers d’anciens webinaires • Power BI : Une vue à 360 degrés • Power BI: Un tour complet • Pourquoi les CFO devraient s’intéresser à Power BI? Quelques liens vers nos formations • Liste des formations: https://www.lecfomasque.com/formations/liste-des-formations-offertes/ • Formations en ligne: https://www.lecfomasque.com/formations/formations-en-ligne/ • Formations en classe: https://www.lecfomasque.com/formations/formations-publiques/ • Formations en entreprise: https://www.lecfomasque.com/formations/formations-en-entreprise/ • Parcours de formations recommandés: https://www.lecfomasque.com/formations/pre-tests-en-ligne/ Nos prochains webinaires • Liste: https://www.lecfomasque.com/activites-a-venir/categorie/webinaires/ DeExcelàPowerBI

×