Business intelligence | State of the art

1 889 vues

Publié le

This is a state of the art on Business Intelligence in 2015. This has been done in the contexte of a final year presentation at EPITA.

Publié dans : Technologie

Business intelligence | State of the art

  1. 1. Business IntelligenceBusiness Intelligence Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier “ Because Data mattersBecause Data matters 11
  2. 2. Notre programmeNotre programme Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Intro BI Outils / Methode de recup des données BI entreprise / TCOM Les étapes d’un projet BI Outil décisionnel Intelligence économique 22
  3. 3. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier L'entrepriseL'entreprise 33
  4. 4. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les données de l'entrepriseLes données de l'entreprise Données clients et utilisateurs Données de présentation Fichiers financiers Indicateurs de performance Données geographiques Patrimoine fonctionnel 44
  5. 5. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier L'organisationL'organisation prends des decisions en basant sur ces donnéesprends des decisions en basant sur ces données 55
  6. 6. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les propres données de l'entreprises sont essentiellesLes propres données de l'entreprises sont essentielles Pour connaitre l'état de son marché Afin de savoir comment elle va performer demain Optimiser ses couts et dépenses Mieux comprendre ses clients 66
  7. 7. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Directeur Général Nawrocki Corp. Une entreprise de transactions de Carte de crédit Ses intérogationsSes intérogations Combien de transactions par jour ? Quel est son profit (comptable vs commerciale)? Combien de transaction avortées ? Quel est l'origine de mes transactions ? Quel est le type de transaction le plus courant ? ​Qui sont mes concurrents ? Comment il va pouvoir réduire ses couts 77
  8. 8. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Directeur Général Nawrocki Corp. Une entreprise de transactions de Carte de crédit BusinessBusiness IntelligenceIntelligence CompetitiveCompetitive intelligenceintelligence ==++ Here and now Future 88
  9. 9. IntroductionIntroduction Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Définition et introductionDéfinition et introduction La BI est une solution informatique permet de collecter, d'analyser et de traiter toutes les données de l'entreprise selon des critères spécifiques ou externe Les résultats de cette analyse permettent aux dirigeants d'obtenir une vue globale sur leur activité, une meilleur compréhension du comportement de leurs clients et une meilleure réactivité face au marché 99
  10. 10. Business intelligence,Business intelligence, son Histoire Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Aujourd'hui1965 Création d’un système d’exploitation comportant un SGBD Premier système où le logiciel et les données sont séparées Dick Pick 1976 Création de SAS 1989 "Big Data" Croissance exponentielle des données a traité au cours des dernières années Howard Dresner (Gartner), popularise pour la première fois le terme « Business Intelligence » Wal - Mart doit gérer 460 To de données 1010 2005
  11. 11. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier E T L Phase D'alimentation Phase de Modélisation Phase de restitution Phase d'analyse SGBD/R ERP WEB Call Center DWH Cubes Datamarts Bases dédiées Achats Ressources Humaines outils de restitution et pilotage outils d'analyse et datamining Entrepôt de données DataWareHouse 1111
  12. 12. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Phase D'alimentation ETL Datawarehouse SGBD/ERP/PGI CRM-SCM bureautique, fichiers access, excel ... et autre système Chaque entreprise possède ses propres systèmes, sa propre logique de fonctionnement, sa propre culture. Un ETL va essayer de prendre toutes les données de l'entreprise et les mettre dans un DW 1212
  13. 13. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Phase D'alimentation L'ETL, une étape critique Représente 70% d'un projet BI en moyenne Coeur de l'outil: système complexe ne devant rien laisser s'échapper, sous peine d'avoir de mauvaise information dans l'entrepôt, donc des données fausses, donc inutilisables.. But de l'outil : - Dé-normalisées : dans un DWH (Data Warehouse), les données apparaissent là où elles doivent apparaître. - Nettoyées : dans un système de production, les utilisateurs entrent les données. Les risques d'erreurs sont là. Il faut pouvoir détecter et corriger ces erreurs. - Contextualisées : Un entrepôt de données possède une vision universelle - Chargées en DWH : il s'agit ici d'ajouter les nouvelles lignes, voir si des lignes ont été modifiées et faire une gestion d'historique, voir si des lignes ont été supprimées et le mentionner dans l'entrepôt, tout en faisant attention de ne pas charger des données en double. Tout est critique et sujet à contrôle dans un ETL! 1313
  14. 14. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Phase D'alimentation TransformationExtraction Chargement 3 méthodes : Push : "pousse" les données vers le Staging. Si le système est occupé, il ne poussera jamais les données. Pull : "tire" les données de la source vers le Staging. peut surcharger le système s'il est en cours d'utilisation. Push-Pull : le mélange des deux méthodes. La source prépare les données à envoyer et prévient le Staging qu'elle est prête. Le Staging va récupérer les données. Si la source est occupée, le Staging fera une autre demande plus tard. Travail a effectuer : Quels sont les champs les plus sujets à erreurs ? Ai-je les moyens de corriger les erreurs automatiquement ? Comment permettre à un utilisateur de corriger les erreurs ? Quelle politique vais-je utiliser pour le traitement des erreurs (fichier log, table dans BD) ? Comment montrer à l'utilisateur final que des données n'ont pas été totalement chargées à cause d'erreurs ? Travail a effectuer : Que faire si un chargement échoue ? Ai-je les moyens de revenir à l'état avant le chargement ? Puis-je revenir dans le temps d'un chargement donné ? Comment valider mon chargement, comment détecter les erreurs ? 1414
  15. 15. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse Centre de stockage, "l'entrepôt" du système. Récupère l'information, la stocke, l'enregistre et la mets à disposition des utilisateurs avancés Centralise et uniformise les données Séparation des parties opérationelles (base de donnée) et décisionnelles (outils de reporting) Performance d'un DW sur plusieurs critères: redondance, sauvegarde, reprise sur incidents... 1515
  16. 16. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse : données Seule la lecture est possible: pas de perte de données (non volatile) Intégration de données hétérogènes depuis l'ETL Toutes les données sont conservées,archivées et historisées: à la différence des SGBD qui supprime et remplace les données 1616
  17. 17. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse : Architecture Trois types d’architecture technique de DW: SMP, MPP et CLUSTER (SPP) Symetric Multi-Processing (SMP) Une seule "grosse" machine Multiples processeurs mis en parallèle avec partage de mémoire Recommandé pour les "petits" DW (inférieur à 50To) 1717
  18. 18. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse : architecture 1818
  19. 19. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Massively Parallel Processing (MPP): Plusieurs machines physiques Grand nombre de processeurs disposant de leur propre mémoire Idéal pour les gros DW, calculs poussés Le Data Warehouse : architecture 1919
  20. 20. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse : architecture 2020
  21. 21. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le Data Warehouse : architecture CLUSTER ou Scalable Parallel Processing (SPP) Ensemble de machines organisées en grappes, interconnectées en Ethernet Haute extensibilité (scalability) Haute disponibilité 2121
  22. 22. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation 2222
  23. 23. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Les DataMarts Un DataMart (magasin de données) est un sous-ensemble du DataWarehouse déstiné à une branche métier spécifique de l'entreprise (RH, marketing, commerciale, comptable...) Les données des DW sont dites "brutes", car non traités (log, tableau d'évènements...). Réservé aux utilisateurs avancés Performances des DM améliorée car seules les données utiles sont présentées Intégrité conservé par synchronisation entre DM et DW 2323
  24. 24. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP OLAP = On Line Analytical Processing, défini en 1993. Représentation multidimensionnelle de données Agrégation de données Précalcul d'agrégats => Rapidité des requête Chargement des données des cubes à partir d'un DM Stockage spécifique, non réalisable sur tout type de données 2424
  25. 25. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Exemple 2525
  26. 26. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Différents cubes Multidimentional On Line Analytical Processing (MOLAP) Relational On Line Analytical Processing Hybrid On Line Analytical Processing Desktop On Line Analytical Processing 2626
  27. 27. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Différents cubes Multidimentional On Line Analytical Processing (MOLAP) Mode de stockage propriétaire Language MDX (Multi Dimensional eXpressions) Précalculs de requêtes Temps de réponse rapide Language accessible Coûts importants (licences) 2727
  28. 28. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Différents cubes Relational On Line Analytical Processing (ROLAP) Données extraites des jointures de tables Language SQL Faible coûts Gros volumes de données Temps de réponse long (sollicitation de la base de donnée à chaque requête) 2828
  29. 29. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Différents cubes Hybrid On Line Analytical Processing (HOLAP) Couplage de ROLAP et MOLAP Données requêtées souvent ou détailée en MOLAP Données autres en ROLAP Compromis entre les + et - de ROLAP et MOLAP Nombreux croisements de donnée Méthode complexe 2929
  30. 30. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Le cube OLAP : Différents cubes Desktop On Line Analytical Processing (DOLAP) Téléchargement de "sous-cubes" sur les postes Décentralisation des données Travailler hors connexion Puissance de calcul des postes limitée 3030
  31. 31. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Les modèles de données Deux types de modèles : Modèle en flocons : orientée autours de plusieurs tables de dimensions, représentant la donnée sous différents niveau de granularité (du moins au plus fin) Modèle en étoile : orientée autour de plusieurs tables de dimensions, représentant la donnée sous différents axes (géographiques, catégorie, temporel...) 3131
  32. 32. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Les modèles de données : flocon 3232
  33. 33. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Seconde phase : La modélisation Les modèles de données : étoile 3333
  34. 34. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier La phase de reporting Restitution des données sous forme de rapport. Reporting de masse Rapports crées automatiquement Besoins récurrents (résultats mensuels...) Reporting ad-hoc Rapport personnalisé pour l'utilisateur Choix des données "à la demande" Interface de sélection des données 3434
  35. 35. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier La phase de reporting 3535
  36. 36. Les Outils de BILes Outils de BI Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Le datamining et les outils d'analyse Datamining: utilisation d'outils statistiques ou algorithmiques sur des données pour prédire, éxpliquer ou classer des informations Industrie Résolution de panne par description des symptomes Prévision de pics de consommation d'un réseau Optimiser une chaîne de montage Finance Gestion des risques dans les établissements financiers Marketing Définir un public cible désiré pour certaines offres 3636
  37. 37. BI dans les EntreprisesBI dans les Entreprises Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Le projet BI dépends beaucoup de la structure de l'entreprise. On distingue 3 types d'organisation: Organisation centralisée autour du groupe Organisation décentralisée sur plusieurs site avec une vision groupe consolidée Organisation décentralisée avec gouvernance centralisée 3737
  38. 38. Contexte centraliséContexte centralisé Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier 3838
  39. 39. Contexte décentraliséContexte décentralisé Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Dans ce modèle, deux besoins en BI: Le BI groupe qui sert les besoins corporate Le BI d'entiés opérationelles (filiales) qui sert les besoisn de ses entité Fréquemment utilisé en présence de besoin d'outils décisionnels spécifique. Mode d'organisation le plus fréquent en cas de fusion- acquisition d'entreprise 3939
  40. 40. Contexte décentralisé avec gouvernanceContexte décentralisé avec gouvernance Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Avantage pour les entités de pouvoir travailler sur des bases et des référentiels communs avec des solutions identiques. Cas d'entreprise avec des filiales à besoins locaux identiques mais avec un besoin de cohérence globale sur la gouvernance IT au niveau groupe 4040
  41. 41. Budgets TELECOMBudgets TELECOM Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les Télécoms sont le deuxième poste de dépense des entreprises => Nécessité d'optimiser les services télécoms On retrouve le BI dans les solutions de TEM (Telecom Expense Management) Alimentation des bases de données avec les factures Rassemblement des différents facteurs de coûts (ligne fixe, mobile, VoIP, services) Analyse de la consommation 4141
  42. 42. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Data warehouses Reporting 4242
  43. 43. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les leaders en DataLes leaders en Data WarehouseWarehouse 4343
  44. 44. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les leaders en DataLes leaders en Data WarehouseWarehouse Devenu Partenaire d'HP en Janvier 2013 Propose des appliances (Hardware, software et services pré-configurés) Software : Microsoft SQL Server 2014 Hardware : HP, Dell, IBM Offre cloud : Windows Azure Virtual Machine Entreprise Allemande, connue pour ses ERP 4 offres phare Netweaver Business Warehouse Netweaver Business Warehouse Accelerator HANA Sybase IQ Hardware : Dell, HP, IBM 4444
  45. 45. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les leaders en DataLes leaders en Data WarehouseWarehouse Base de données : DB2 et informix Logiciel Data warehouse : Infosphere Systemes Data Warehouse : PureData Leader Historique des entrepôts de données Connu pour ses server MPP (Massively parallel processing) Le SGBDR Teradata a été conçu dès l'origine pour le décisionnel OS des machines : Open Suse, Microsoft 4545
  46. 46. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les leaders en DataLes leaders en Data WarehouseWarehouse Aplliances : Datable 11g, Exadata, Database 12c, Partioning Base de donnée : Oracle Plateformes supportées : Lunix, Solaris, Windows 4646
  47. 47. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Les leaders en outilsLes leaders en outils de reportingde reporting 4747
  48. 48. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Éditeur de logiciel specialise en informatique decisionnel Prix license: Analytics Pro : 8,7K $/an Visual Data Discovery : 10,1K $/an Logiciel de BI Prix de license : 1,3K $/an Les leaders en outilsLes leaders en outils de reportingde reporting 4848
  49. 49. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Logiciel d’exploration et visualisation disposant d’un moteur in-memory Les prix de Spotfire: ​Cloud work group: 2000$/an Cloud personal : 300$/an Les prix de Tableau : Desktop professional : 1999$/an Desktop personal : 999$/an Les leaders en outilsLes leaders en outils de reportingde reporting 4949
  50. 50. Outils decisionnelOutils decisionnel Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Trois type de tarif: Entreprises de catégorie E3/E5 : 240$/an Option de manière autonome : 480$/an Office 365 ProPlus : 624$/an ​Quatre produits ​Power Pivot Power Query ​Power Maps Power View Les leaders en outilsLes leaders en outils de reportingde reporting 5050
  51. 51. Intelligence économiqueIntelligence économique Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Ceci est FAUX 5151
  52. 52. Intelligence économiqueIntelligence économique Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier BI au service de l' Intelligence economiqueBI au service de l' Intelligence economique DéfinitionDéfinition Une grande majorité des projets BI ont pour vocation de permettre aux managers de bien connaître l’état de leur entreprise ou de leurs activités et ainsi prendre les « bonnes » décisions. A partir du moment où une application BI s’appuie sur des données plus globales que celles internes à l’entreprise : par l’obtention de fichiers ou études externes (analyse de marché, tarifs de la concurrence, …) , celle-ci peut permettre de faire de la veille concurrentiel. On parlera alors de BI au service de l’intelligence économique. 5252
  53. 53. Intelligence économiqueIntelligence économique Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Cycle de l'Iintelligence économiqueCycle de l'Iintelligence économique La BI est de plus en plus accessible La quantité de données est en constante augementation Apres la collecte, la maîtrise, la protection de l’information stratégique est obligatoire. Les entreprise commencent à ouvrir de plus en plus de cellule d'IE BIBI Collecte Diffusion Passé Future Chiffres Strategie information normalisée Information d'influence Données interne IEIE Acteurs + Données externe 5353
  54. 54. ConclusionConclusion Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier Pas assez exploitéUne nécessité Nous sommes à l'aube Toute entreprise technologique à aujourd'hui besoin de stocker ses données, les stocker sans meme avoir une vision globale est un frein à l'expansion de l'entreprise Nous avons vu qu'il est très difficile de mettre en place un projet de BI dans une entreprise. La non normalisation de donnée ou encore le coté retissant des employés ne permettent pas a la BI d'utiliser tout son potentiel Les humain ne sont pas assez rapide pour pouvoir analyser ses donnée et d'en produire des decisions. Donc les tableau de bords deviendrons seulement un outils de monitoring et non de prise de decision, le data- mining ou encore l'intelligence économique ouvre un avenir a peine découvert à la BI “ La BI permet d'avoir une vue global et d'être plus réactif face au marché 5454
  55. 55. ConclusionConclusion Shubham SHARMAShubham SHARMA Kévin GomesKévin Gomes Maximilien AcierMaximilien Acier 5555

×