USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Architecture web aujourd'hui, besoin de scalabilité des bases de données relationnelles, découverte des bases de données NoSQL et des différents types de celles-ci. La vidéo de présentation peut être consultée à l'adresse suivante : http://youtu.be/oIpjcqHyx2M
Le stockage des données a toujours été une des problématiques les plus difficiles à maitriser. L’augmentation massive de la quantités de données disponibles, le phénomène Big Data, incite les sociétés à moderniser leur environnement décisionnel. Dès lors, beaucoup se posent la question du choix entre SQL et NoSQL. Microsoft, avec son offre SQL Server Parallel Data Warehouse 2012 réconcilie le meilleur des technologies actuelles. Un seul moto ‘Insights on Any Data of Any Size’
Découvrez les étapes de conception et d’utilisation d’une Data Factory :
- Identifier et prioriser des use cases
- Rassembler une équipe correspondant aux besoins
- Mettre en place une démarche Agile
- Mettre en place un Data Lake
- Réaliser des POCs et piloter les KPIs
- Passer en production
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Architecture web aujourd'hui, besoin de scalabilité des bases de données relationnelles, découverte des bases de données NoSQL et des différents types de celles-ci. La vidéo de présentation peut être consultée à l'adresse suivante : http://youtu.be/oIpjcqHyx2M
Le stockage des données a toujours été une des problématiques les plus difficiles à maitriser. L’augmentation massive de la quantités de données disponibles, le phénomène Big Data, incite les sociétés à moderniser leur environnement décisionnel. Dès lors, beaucoup se posent la question du choix entre SQL et NoSQL. Microsoft, avec son offre SQL Server Parallel Data Warehouse 2012 réconcilie le meilleur des technologies actuelles. Un seul moto ‘Insights on Any Data of Any Size’
Découvrez les étapes de conception et d’utilisation d’une Data Factory :
- Identifier et prioriser des use cases
- Rassembler une équipe correspondant aux besoins
- Mettre en place une démarche Agile
- Mettre en place un Data Lake
- Réaliser des POCs et piloter les KPIs
- Passer en production
EasyVista a mis en place un XWiki afin de disposer de deux XWiki "base de connaissance" en interne et d'un wiki public pour mettre en ligne leur documentation produit pour leurs clients.
À chaque nouvelle version de la solution EasyVista, l'équipe de documentation met à jour les contenus dans la langue de référence. Ces derniers sont ensuite fournis à une agence de traduction spécialisée, qui fournit la version traduite des différentes pages. Ces dernières sont alors importées dans le wiki pour être mises à la disposition des clients.
EasyVista bénéficie des fonctionnalités de contribution de contenu, de recherche performante et de multilinguisme de la solution.
La dernière génération des bases de données ont les particularités suivante :
Être non relationnel, distribuée , open source et scalable.
Ce mouvement commence en 2009 et est entrain de grandir rapidement et avec beaucoup d'engouement.
La conférence a pour but de présenté les principales base noSql accessible en python. Elle sera agrémentée pour chaque base de donnée (environ 4, 10 min chacune) d'une présentation informative, d'une modélisation de schéma et d'un exemple d'application accédant au donnée (en python).
Les modes de licences de nos principaux produits ont considérablement évolué ces derniers mois. Cette session permettra de revenir rapidement sur les changements intervenus sur SQL Server 2012, System Center 2012, Windows Server 2012, Windows 8… L'arrivée du Nouvel Office s'accompagnant également de changements profonds sur la façon d’acheter, mixant références on-premise et services en ligne, venez découvrir les solutions qui accompagnent cette évolution.
1/ initiation avec le big Data
2/ Data warehouse VS Big Data
3/ Domaines d’utilisations
4/ Des connaissances importantes sur Hadoop
5/ Big Data et Aspect Mobile
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Lors de cette session nous ferons un tour d’horizon des solutions NoSQL présentes dans Azure telles que DocumentDB, HBase, les Tables Azure, Datastax Enterprise / Cassandra, MongoDB et bien d’autres. Venez découvrir les solutions que propose Azure via des solutions natives ou via l’intégration de solutions open source ayant fait leurs preuves.
EasyVista a mis en place un XWiki afin de disposer de deux XWiki "base de connaissance" en interne et d'un wiki public pour mettre en ligne leur documentation produit pour leurs clients.
À chaque nouvelle version de la solution EasyVista, l'équipe de documentation met à jour les contenus dans la langue de référence. Ces derniers sont ensuite fournis à une agence de traduction spécialisée, qui fournit la version traduite des différentes pages. Ces dernières sont alors importées dans le wiki pour être mises à la disposition des clients.
EasyVista bénéficie des fonctionnalités de contribution de contenu, de recherche performante et de multilinguisme de la solution.
La dernière génération des bases de données ont les particularités suivante :
Être non relationnel, distribuée , open source et scalable.
Ce mouvement commence en 2009 et est entrain de grandir rapidement et avec beaucoup d'engouement.
La conférence a pour but de présenté les principales base noSql accessible en python. Elle sera agrémentée pour chaque base de donnée (environ 4, 10 min chacune) d'une présentation informative, d'une modélisation de schéma et d'un exemple d'application accédant au donnée (en python).
Les modes de licences de nos principaux produits ont considérablement évolué ces derniers mois. Cette session permettra de revenir rapidement sur les changements intervenus sur SQL Server 2012, System Center 2012, Windows Server 2012, Windows 8… L'arrivée du Nouvel Office s'accompagnant également de changements profonds sur la façon d’acheter, mixant références on-premise et services en ligne, venez découvrir les solutions qui accompagnent cette évolution.
1/ initiation avec le big Data
2/ Data warehouse VS Big Data
3/ Domaines d’utilisations
4/ Des connaissances importantes sur Hadoop
5/ Big Data et Aspect Mobile
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Lors de cette session nous ferons un tour d’horizon des solutions NoSQL présentes dans Azure telles que DocumentDB, HBase, les Tables Azure, Datastax Enterprise / Cassandra, MongoDB et bien d’autres. Venez découvrir les solutions que propose Azure via des solutions natives ou via l’intégration de solutions open source ayant fait leurs preuves.
Le projet TEMPTRACK vise à augmenter la sûreté de la chaîne logistique via la traçabilité de la température d’un produit tout au long de sa vie (capteur électronique associé à un tag RFID)
EKOLUX Clermont Ferrand - Catalogue Produits 2015 Vincent Barlier
Découvrez notre Catalogue produits 2015.
EKOLUX Clermont Ferrand vous présente l'ensemble de ces ambiances : Sols, Bain, Cuisine et Terrasse.
Consultez nos produits et nos prix d'un simple clic !
ATTENTION : Remises sur quantités et offre de parrainage => Uniquement au magasin, 15 rue Louis Blériot, Le Brézet, 63000 Clermont Ferrand.
Converteo renouvelle son panorama sur les opportunités liées à une infrastructure Data-Lakes. Cette technologie a démontré ses capacités d’exploitation et de valorisation des datas des entreprises et, dans un contexte de mise en conformité RGPD, révèle encore plus son agilité.
Mieux comprendre le Data-Lake :
Littéralement traduit par lac de données, il s’agit d’un espace de stockage permettant le traitement d’informations de plusieurs sources et ce, de manière quasi illimitée et en un temps record.
Le Data-Lake est donc une réelle opportunité et doit être considéré en amont de toute démarche data-driven, que ce soit dans le domaine :
- Du marketing : pour alimenter des campagnes, choisir un lieu d’implantation d’un nouveau magasin ;
- De l’expérience client : pour personnaliser une offre, recommander les produits adéquats ;
- De la business Intelligence : pour créer une vision 360° de ses clients, piloter la pression publicitaire ;
- De la performance opérationnelle : pour réduire ses coûts informatiques, adapter ses ressources en fonction de l’activité.
Infrastructure flexible, elle permet donc un large champ d’analyse qualitative avec des données activables à tout moment en fonction des besoins business.
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...AZUG FR
Global Azure Bootcam Lyon, France 2017 - La BI traditionnelle est une histoire du passée. Impacts de la révolution Cloud Azure sur la BI data en général, by Ihor Leontiev et Loris Andaloro
Le Big Data offre la capacité de traiter des volumes de données conséquents à l’aide d’architectures techniques nouvelles, comment les utilisateurs traditionnels (datamanager, datasteward, dataminers) accèderont et traiteront les données dans ces nouvelles architectures ?
Power BI hybride - La Passerelle de Gestion des DonnéesJean-Pierre Riehl
Power BI a un pied dans les nuages et l'autre dans l'entreprise. Cette session focalisera sur ce côté hybride de Power BI et creusera tous les aspects du lien entre votre Tenant et vos données. Comment marche la passerelle de gestion des données (aka Data Management Gateway) ? Quels flux dois-je ouvrir ? Quelle bande passante prévoir ? Quelle sécurité ? Cette session apportera un éclairage sur l'architecture que vous devrez mettre en place
Session donnée dans le cadre des Webinaires du V-Chapter Francophone du PASS
[USI] Lambda-Architecture : comment réconcilier BigData et temps-réelMathieu DESPRIEE
Comment intégrer le big-data et le temps-réel au sein d'une même architecture sans qu'elle ne se transforme en un monstre de Frankeinstein, trop complexe et trop coûteuse à maintenir ?
La « Lambda architecture » nous propose une approche simple et élégante : stocker et traiter de larges volumes de données, en intégrant dans la seconde les données les plus récentes, le tout en préservant scalabilité et tolérance aux pannes.
[conférence présentée à l'USI 2014 : https://www.youtube.com/watch?v=tw3X7eMOVEM]
Une base de données, pourquoi faire ? Le SQL, c’est quoi ce langage ? Un DBA, ça sert à quoi ? Cette session est là pour démystifier la base de données du point de vue des développeurs. Au programme : des bonnes pratiques, de la méthodologie, quelques tips techniques… De quoi rapprocher les développeurs et les DBA.
Webinaire Comment enrichir votre BI avec l’analyse en temps réel des CDR via ...Yassine, LASRI
L'analyse d'une grande masse de EDR en temps réel n’est plus seulement une offre réservée aux opérateurs télécoms aux budgets informatiques de plusieurs millions de $. Propulsé par la technologie open source "Apache Lucene" , la Stack Elastic permet aux opérateurs télécoms de toute taille de collecter, enrichir, stocker et analyser en temps réel toute la masse de données CDR générés par les différents nœuds du réseau.
Au programme de ce webinaire de 60 minutes
1- Introduction
2- Présentation de la Stack Elastic (Logstash, Elasticsearch, Kibana)
3- Collecte, enrichissement, stockage et visualisation en temps réel des CDR
4- Questions / Réponses
Pour plus de détails, visitez notre web site http://www.synapticiel.co
Télécharger la présentation et les réponses aux questions sur notre blog. http://www.synapticiel.co/category/blog
#ScalaBigDay
Jeudi 12 juin 2014
"Présentation autour de la BI, Power BI, SQL Server 2014 et témoignage client de Massa Pneu" (Salle 1, 11h15 - 12h00)
Speakers : Ilana Cohen, Sébastien Blanc et Cédric Massa
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/36m3hmX
Découvrez la Data Virtualization lors d'un atelier organisé à distance pour les professionnels de la donnée mardi 29 septembre. Quel que soit votre rôle, responsables IT, architectes, data scientists, analystes ou CDO, vous découvrirez comment la Data Virtualization permet de livrer des données en temps réel et accéder à tout type de source de données pour en tirer de la valeur. Découvrez l'agenda complet!
Similaire à Usi 2013-next big data architecture (20)
Discovery Session France: Atelier découverte de la Data Virtualization
Usi 2013-next big data architecture
1. www.usievents.com
24 & 25 Juin 2013
LE RENDEZ-VOUS DES GEEKS & DES BOSS
POUR UNE INFORMATIQUE QUI TRANSFORME NOS SOCIÉTÉS
Prochaine Génération
d’architectures Big Data
Olivier Mallassi
1
www.gopivotal.com
2. www.usievents.com 2
« Big Data »…
Tout attribut qui défie les contraintes d’une capacité d’un
système ou besoin métier.
Challenge nos savoir-faire.
5. www.usievents.com
UNE IMPLEMENTATION
DE REFERENCE : Hadoo
5
NameNode
DataNode
DataNode
DataNode
DataNode
File#2
Block#1
File#2
Block#2
File#2
Block#3
Un système de fichier distribué :
HDFS
Découpage des fichiers en « bloc ».
Répartition des données sur plusieurs machines.
Réplication des données pour assurer la tolérance à la panne.
File#2
File#2
Block#1
File#2
Block#2
File#2
Block#3
6. www.usievents.com
UNE IMPLEMENTATION
DE REFERENCE : Hadoo
6
TaskTracker
TaskTracker
TaskTracker
TaskTracker
File#2
Block#1
File#2
Block#2
File#2
Block#3
Map Map MapReduce
Une couche de traitement:
MapReduce
Distribution des traitements.
Co-localisation traitements & données.
JobTracker
8. www.usievents.com
QUI POSE QUELQUE
DEFIS
8
Manque de généricité :
« MapReduce Only »
Structurant en termes de développement.
Structurant en termes d’architecture (« scheduling »…).
Ne convient pas à tous les types de traitements.
TaskTracker
TaskTracker
TaskTracker
TaskTracker
File#2
Block#1
File#2
Block#2
File#2
Block#3
Map Map MapReduce
JobTracker
9. www.usievents.com 9
Une architecture qui ne répond
pas aux nouveaux enjeux
Complexité d’intégration.
Mode de traitement batch incompatible avec le « plus vite ».
Architecture Master / Slave incompatible avec les problématiques
d’ingestion (Machine-2-Machine).
QUI POSE QUELQUE
DEFIS
SI Opérationnel SI Décisionnel
Hadoop
DWH (MPP...)
Déchargement
Extraction / Enrichissement
App /
RDBMS
App /
RDBMS
App /
RDBMS
App /
RDBMS
16. www.usievents.com
THEORIE
DE
L’EVOLUTI
ON
16
#2. …avec SQL
Le portage du « moteur SQL » de
Greenplum MPP
Compatibilité avec SQL
« Moteur SQL » éprouvé : redistribution des
données en cas de jointure
Stockage polymorphe : compression, « row
/ column oriented »
20. www.usievents.com 20
Ouvrir vers d’autres
types de traitements
distribués avec YARN
Faciliter et diversifier
l’accès à la donnée
avec SQL
Intégrer différentes
couches de
traitements sur HDFS
Simplifie(ra) la « gestion
technique » de la donnée.
Simplifie(ra) l’analyse et
l’accès à cette donnée.
Facilite(ra) l’intégration à
l’écosystème et l’existant.
Sera le socle technique
aux nouveaux cas
d’usage.
Notes de l'éditeur
Gérer de la donnée n’a rien de nouveauMême à très grande échelledistributed file systemAnalyser « tout ou partie » de cette donnée non plus… RDBMS, MPP ou les fameux appliance BI