La Duck Conf - DevOps et Dataviz, un amour impossible ?
- 1. 1 Coin Coin ! La Duck Confby OCTO Technology © 2021 - All rights reserved DevOps et Dataviz, un amour si impossible ? Attention, la Viz se met à l’Ops !
- 2. Coin Coin ! 2 La Duck Confby OCTO Technology © 2021 - All rights reserved Nidhal Safta Manager Data Jérôme Lambert Consultant Data L’amour est possible… mais pas sans embûche !
- 3. Coin Coin ! 3 La Duck Confby OCTO Technology © 2021 - All rights reserved Facile, j’ai juste à cliquer là ! Ok… Et les tests ? Hong Viet discutant avec Jérôme Récit d’une aventure Ah… Et pour le déploiement ? Vous faites comment ? Pourquoi versionner, les rapports sont stockés dans le cloud de Microsoft ? On sélectionne des scénarios représentatifs et on les test à la main Je n’ai jamais travaillé sur des sujets Data Viz. Comment versionnez-vous votre travail ?
- 4. Coin Coin ! 4 La Duck Confby OCTO Technology © 2021 - All rights reserved La Business Intelligence Le Business Intelligence Mise à disposition des informations nécessaires à la prise de décision L’expression “Business Intelligence” fait son apparition dans un ouvrage de Richard Miller Devens en 1865 Cyclopedia of Commercial and Business Anecdotes
- 5. Coin Coin ! 5 La Duck Confby OCTO Technology © 2021 - All rights reserved ...des bases relationnelles au DevOps 1980 2000 2020 2010 1990
- 6. Coin Coin ! 6 La Duck Confby OCTO Technology © 2021 - All rights reserved ...de la Business Intelligence à l’Analytics Augmenté 2015 VISUAL ANALYTICS 2020+ AUGMENTED ANALYTICS PRE 2010 BUSINESS INTELLIGENCE Visuel Haptique Voix Interaction multi sensorielle
- 7. Coin Coin ! 7 La Duck Confby OCTO Technology © 2021 - All rights reserved Une histoire impliquant des évolutions d’archi et de livraison Evolution des types de stockage de données Augmentation exponentielle de la création de données Approche centrée utilisateur Accélération du Time-to-Market
- 8. Coin Coin ! 8 La Duck Confby OCTO Technology © 2021 - All rights reserved Un framework répondant à la performance des organisations Utilisation du contrôle de version pour TOUT (code d'application, configuration, scripts) Version Control Automatisation du déploiement Deployment Automation Intégration Continue (CI) Continuous Integration Utilisation du trunk-based développement (vs les features branches de longue durée) Trunk-Based Development Automatisation complète des tests, fiable facile à corriger et fonctionnant régulièrement Test Automation Gestion efficace des données de test Test Data Management Intégration des éléments de sécurité dans le processus de livraison vs dans une phase ava Shift Left On Security Une architecture faiblement couplée et bien encapsulée Loosely Coupled Architecture Les équipes sont autonomes dans le choix des outils pour obtenir de meilleurs résultats Empowered Teams
- 9. Coin Coin ! 9 La Duck Confby OCTO Technology © 2021 - All rights reserved Automatisez !!! ...justifiée pour réduire le goulot d’étranglement Automatisation de l’infra Automatisation de la collecte Automatisation de la transformation Automatisation des tests Automatisation de l’intégration Automatisation des tests Automatisation du déploiement Développement Back Développement Front
- 10. Coin Coin ! 10 La Duck Confby OCTO Technology © 2021 - All rights reserved Les racines de la colère Est-ce si facile d’évoluer ? Pourquoi versionner quand j’utilise des fichiers binaires ? Est-ce vraiment nécessaire d’automatiser mon déploiement ? Installation lente et progressive de pratiques manuelles Culture de la non-automatisation Des tests de non-régression laborieux ...voire disparition de certaines pratiques
- 11. Coin Coin ! 11 La Duck Confby OCTO Technology © 2021 - All rights reserved
- 12. Coin Coin ! 12 La Duck Confby OCTO Technology © 2021 - All rights reserved La prescription... C’est grave docteur ? Un peu...mais nous allons y aller pas à pas. Première étape, on versionne ! Version Test Deploy
- 13. Coin Coin ! 13 La Duck Confby OCTO Technology © 2021 - All rights reserved Versionner des fichiers binaires Fichiers .PBIX Sauvegarder Publier Dev Avantages ๏ Tranquilité d’esprit ๏ Traçabilité Le prix à payer... ๏ Tâche supplémentaire ๏ Des réflexes à intégrer ๏ Embarquement de l’équipe ๏ Pas de travail collaboratif Fichiers .PBIX Version Test Deploy
- 14. Coin Coin ! 14 La Duck Confby OCTO Technology © 2021 - All rights reserved C’est un bon début ! Voyons comment nous pourrions automatiser les tests Version Test Deploy
- 15. Coin Coin ! 15 La Duck Confby OCTO Technology © 2021 - All rights reserved Via un outil non-natif L’automatisation des tests Une stratégie pour tester le code Une stratégie pour tester les données Version Test Deploy
- 16. Coin Coin ! 16 La Duck Confby OCTO Technology © 2021 - All rights reserved C’est déjà un bon début... Quel bilan ? Connexion live au dataset pour les tests Versioning du fichier Versioning du fichier Réduction du goulot d’ étranglement Coût très limité (uniquement conception) Pas de ligne de commande, ni d’API Pas de monitoring AVANTAGES INCONVENIENTS Version Test Deploy
- 17. Coin Coin ! 17 La Duck Confby OCTO Technology © 2021 - All rights reserved Finissons par le déploiement. Comment pourrions-nous l’automatiser ? Version Test Deploy
- 18. Coin Coin ! 18 La Duck Confby OCTO Technology © 2021 - All rights reserved Fonctionnement du déploiement PROD Rapports Dataset TEST Rapports Dataset DEV Rapports Dataset Rapports Dataset Version Test Deploy
- 19. Coin Coin ! 19 La Duck Confby OCTO Technology © 2021 - All rights reserved Quelle en a été l’approche ? Se connecter à Power BI Déplacer un fichier Mettre à jour un fichier Version Test Deploy
- 20. Coin Coin ! 20 La Duck Confby OCTO Technology © 2021 - All rights reserved Ce que nous avons réussi...et le reste Actions Succès Connexion au répertoire (ici Azure DevOps) Déplacer des fichiers Connecter les rapports à leur jeu de données respectif Résolution du conflit utilisateur individuel vs. machine Mise à jour des paramètres de connexions aux différents environnements Intégration dans une chaîne de CI/CD* * CI/CD : Intégration Continue / Déploiement Continu Version Test Deploy
- 21. Coin Coin ! 21 La Duck Confby OCTO Technology © 2021 - All rights reserved Mars 2021, un nouvel horizon Le pipeline de Power BI Conclusion et solution retenue Version Test Deploy
- 22. Coin Coin ! 22 La Duck Confby OCTO Technology © 2021 - All rights reserved Pipeline de déploiement vs. CI/CD ● Synchronisation avec OneDrive ou Sharepoint ● Requires Power BI Premium ● Meta data et déploiements incrémentaux ● Solution non intégrée ● Déploiements manuels ● Très facile Pipeline de Déploiement ● Repertoire Azure DevOps ● Power BI Pro ou Premium ● Fichiers PBIX écrasés lors de chaque déploiement (customisation via XMLA) ● Déploiements planifiés ● Extensions tierces non-certifiées ● Compétences spéciales Chaîne de CI/CD Versions Licences Intégration Continue Déploiement Continu Compétences Version Test Deploy
- 23. Coin Coin ! 23 La Duck Confby OCTO Technology © 2021 - All rights reserved Bilan global du REX Coopération dans l’équipe Montée en compétences en internes et chez le client Fiabilisation du produit & amélioration du time-to-market Pas de coûts supplémentaires Livraisons accélérées
- 24. Coin Coin ! 24 La Duck Confby OCTO Technology © 2021 - All rights reserved Last but not least Et les éditeurs dans tout ça... Des approches et des stratégies différentes selon les éditeurs Approche Accelerate & DevOps dès la conception produit Stratégies d’évolution des produits (interne ou externe) Tests nécessaires pour explorer les possibilités
- 25. Coin Coin ! 25 La Duck Confby OCTO Technology © 2021 - All rights reserved