CNES - CCT SIL - Traitement et Manipulation de la donnée à l‘aide des technologies Big Data
Présentation du 30 Juin 2017
Les CCT sont des espaces d'échanges techniques mis en place par le CNES il y a 20 ans, dans le but de réunir différents acteurs industriels et public pour s'enrichir mutuellement.
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
CNES - CCT SIL - Traitement et Manipulation de la donnée à l‘aide des technologies Big Data
Présentation du 30 Juin 2017
Les CCT sont des espaces d'échanges techniques mis en place par le CNES il y a 20 ans, dans le but de réunir différents acteurs industriels et public pour s'enrichir mutuellement.
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Rapide introduction à Hadoop lors du lancement du Casablanca Hadoop & Big Data Meetup.
En partenariat avec Hortonworks
http://www.meetup.com/Casablanca-Hadoop-et-Big-Data-Meetup
BigData_TP2: Design Patterns dans HadoopLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Architecture web aujourd'hui, besoin de scalabilité des bases de données relationnelles, découverte des bases de données NoSQL et des différents types de celles-ci. La vidéo de présentation peut être consultée à l'adresse suivante : http://youtu.be/oIpjcqHyx2M
MapReduce: Traitement de données distribué à grande échelle simplifiéMathieu Dumoulin
Présentation qui reprend les éléments principaux de l'article fondamental sur MapReduce de Dean et Ghemawat de 2004: MapReduce: simplified data processing on large clusters
BigData_TP1: Initiation à Hadoop et Map-ReduceLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Les modes de licences de nos principaux produits ont considérablement évolué ces derniers mois. Cette session permettra de revenir rapidement sur les changements intervenus sur SQL Server 2012, System Center 2012, Windows Server 2012, Windows 8… L'arrivée du Nouvel Office s'accompagnant également de changements profonds sur la façon d’acheter, mixant références on-premise et services en ligne, venez découvrir les solutions qui accompagnent cette évolution.
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Rapide introduction à Hadoop lors du lancement du Casablanca Hadoop & Big Data Meetup.
En partenariat avec Hortonworks
http://www.meetup.com/Casablanca-Hadoop-et-Big-Data-Meetup
BigData_TP2: Design Patterns dans HadoopLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Architecture web aujourd'hui, besoin de scalabilité des bases de données relationnelles, découverte des bases de données NoSQL et des différents types de celles-ci. La vidéo de présentation peut être consultée à l'adresse suivante : http://youtu.be/oIpjcqHyx2M
MapReduce: Traitement de données distribué à grande échelle simplifiéMathieu Dumoulin
Présentation qui reprend les éléments principaux de l'article fondamental sur MapReduce de Dean et Ghemawat de 2004: MapReduce: simplified data processing on large clusters
BigData_TP1: Initiation à Hadoop et Map-ReduceLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Les modes de licences de nos principaux produits ont considérablement évolué ces derniers mois. Cette session permettra de revenir rapidement sur les changements intervenus sur SQL Server 2012, System Center 2012, Windows Server 2012, Windows 8… L'arrivée du Nouvel Office s'accompagnant également de changements profonds sur la façon d’acheter, mixant références on-premise et services en ligne, venez découvrir les solutions qui accompagnent cette évolution.
Big Data Analytics for connected home: a few usecases, some important messages and a little example. Presentation given at CEA Cadarache - Cité des Nouvelles Energies at the strategic comittee of ARCSIS (http://www.arcsis.org/missions.html)
Cours HBase et Base de Données Orientées Colonnes (HBase, Column Oriented Dat...Hatim CHAHDI
Ce cours introduit les bases de données orientées colonnes et leurs spécificités. Il détaille par la suite l'architecture d'HBase et explique les moyens nécessaires à sa mise en place et à son exploitation.
Valtech - Du BI au Big Data, une révolution dans l’entrepriseValtech
La Business Intelligence, dans l’entreprise, est actuellement en train de se métamorphoser.
Le Big Data permet d’explorer de nouvelles possibilités qui révolutionnent l’informatique décisionnelle.
Hervé Desaunois - Directeur technique, Valtech Toulouse
herve.desaunois@valtech.fr
Lionel Molas - Consultant Senior - Coach Agile, Valtech Toulouse
Présentation générales du Big Data et zoom sur des cas d'usage dans l'industrie et les services.
Présentation réalisée à l'occasion de l'événement Big data de Niort du 20 mars 2014
Support Complet sur la technologie EJB 3.1. Ce cours Traite l'architecture JEE. Les différents types EJB (Session, Entity, MDB). Des exemple complets sont aussi présentés.
Au delà de ce buzz word :
Les grands concepts
Les étapes clés des projets Big Data et les technologies à utiliser (stockage, ingestion, …)
Les enjeux des architectures Big Data (architecture lambda, …)
L'intelligence artificielle (machine learning, deep learning, …)
Et un cas d'usage du big data sur AWS autour de l'utilisation des données gyroscopiques de vos internautes mobiles.
Sahara : Hadoop as Service avec OpenStackALTIC Altic
Un des initiative les plus intéressante du moment c'est Hadoop à la demande. Sahara, en incubation parmi les projets OpenStack facilite la mise en place de votre infrastructure moderne pour rester agile même dans une infrastructure qui réclame un nombre de machine toujours plus important...
présentation Solutions Linux 2014
Oxalide MorningTech #1 - BigData
1er MorningTech @Oxalide, animé par Ludovic Piot (@lpiot), le 15 décembre 2016.
Pour cette 1ère édition du Morning Tech nous vous proposons une overview sur un des thèmes du moment : le Big Data.
Au delà de ce buzz word nous aborderons :
Les grands concepts
Les étapes clés des projets Big Data et les technologies à utiliser (stockage, ingestion, …)
Les enjeux des architectures Big Data (architecture lambda, …)
L'intelligence artificielle (machine learning, deep learning, …)
Et nous finirons par un cas d'usage du big data sur AWS autour de l'utilisation des données gyroscopiques de vos internautes mobiles
Subject: Oxalide's 1st MorningTech talk about BigData.
Date: 15-dec-2016
Speakers: Ludovic Piot (@lpiot, @oxalide)
Language: french
Lien SpeakerDeck : https://speakerdeck.com/lpiot/oxalide-morningtech-number-1-bigdata
Lien SlideShare : https://www.slideshare.net/LudovicPiot/oxalide-morningtech-1-bigdata
YouTube Video capture: https://youtu.be/7O85lRzvMY0
Main topics:
* Les grands enjeux du BigData
** les 3 V du Gartner : volume, variété, vélocité
* Le stockage des données
** datalake
** les technos
* L'ingestion des données
** ETL
** datastream
** les technos
* Les enjeux du compute
** map-reduce
** spark
** lambda architecture
* Démo d'une plateforme BigData sur AWS
* L'intelligence artificielle
** datascience exploratoire et notebooks,
** machine learning,
** deep learning,
** data pipeline
** les technos
* Pour aller plus loin
** La gouvernance des données
** La dataviz
La BI au service de métiers en pleine mutationAudaxis
Les métiers de la presse sont en pleine mutation. Découvrez le témoignage de Centre France sur le déploiement de Jaspersoft BI fourni lors de Jasperworld Paris. Comment la consolidation de données cross-media permet de renforcer la prise de décision.
Social Network Analysis Utilizing Big Data TechnologyImad ALILAT
Collecting, collating and carrying out complex data analysis(weblogs & KPI). Also involved in reporting statistical findings to work colleagues and senior managers.
Adoption de Hadoop : des Possibilités Illimitées - Hortonworks and TalendHortonworks
Hadoop has become unavoidable. Companies of all sizes are at different stages of their thoughts on Big Data. Whether you're just starting to explore the platform or you already have several existing clusters, everyone faces the same challenge - to develop its internal expertise.
Specialists of Big Data, Talend, and Hortonworks, watch this webinar to discover how to unify all your data in Hadoop, without specific skills Big Data.
Ces trois dernières décennies de l’histoire de l’humanité ont été témoin d’une explosion sans précédent du volume de données. Il est admis que 90 % des données récoltées depuis le début de l’humanité ont été générées durant ces 2 dernières années. Pour qualifier cette explosion de données, le terme « Big Data » a été adopté.
La Big Data, qui a accompagné la révolution de l'usage d'Internet ces dix dernières années a provoqué des changements très profonds dans la société : modèles économiques à coût marginal décroissant, commoditisation de la connaissance, décentralisation du pouvoir de création de l’information, suppression des barrières à l’entrée, ubérisation de la société, Internet des Objets. Bref, aucun aspect de la société et de nos vies n‘y échappe. En fait, l’humanité est tout simplement entrée dans une nouvelle ère de sa marche ! Cet ère est qualifié de « Numérique ».
La donnée est pour l’ère Numérique ce qu’était l’électricité à l’ère industrielle. Cependant, à la différence de l’électricité, la donnée doit passer par plusieurs phases de transformation pour être utile et c’est en ça qu’une nouvelle catégorie de technologies a été développée. Hadoop est le chef de fil de ces technologies. A la différence des technologies traditionnelles, Hadoop et son écosystème technologique s’appuient sur des approches conceptuelles très différentes des approches que l’on a connu jusqu’ici. Ainsi, pour saisir les opportunités offertes par l’ère Numérique, il faut maîtriser non pas Hadoop, mais les approches conceptuelles qui sont derrières Hadoop et son écosystème. Cette présentation va vous offrir une solution à ce problème.
En bonus de cette présentation, nous vous offrons un guide sur ElasticSearch : https://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/
Similaire à Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark (20)
Business Intelligence, where is the innovation?ALTIC Altic
Business Intelligence trends, innovation, feedback of our R&D project. Serious matters like Big Data, GPU, Datavisualization! OW2 Con'. Altic presentation;
Après-midi OpenDay "Smart Tools pour l'entreprise" qui présente quatre outils ingénieux, légers et évolutifs pour l'entreprise, qui répondent à des besoins métiers spécifiques : générer un formulaire web complexe à partir d'une feuille Excel, travailler et suivre collaborativement ses projets avec Redmine, Industrialiser ses réponses aux appels d'offre avec Wiki Book et professionnaliser son reporting opérationnel avec Palo pour Excel.
Presentation Jaspersoft 4.0 par l'éditeur - Bénéfices et fonctionnalitésALTIC Altic
Jaspersoft et son partenaire certifié Altic vous invitent à venir découvrir la toute dernière version de Jaspersoft et d’entrer dans la nouvelle génération de l’informatique décisionnelle!
Découvrez sa nouvelle architecture modulable pour un meilleur environnement d’utilisation et de déploiement de vos projets.
Comprenez pourquoi de nombreux éditeurs de solutions métiers intègrent les composants Jaspersoft au sein de leurs applications.
Appropriez-vous la solution via des ateliers pratiques organisés par les équipes d’Altic et de Jaspersoft.
Open day Business Intelligence spécial Jaspersoft 4ALTIC Altic
Jaspersoft et son partenaire certifié Altic vous invitent à venir découvrir la toute dernière version de Jaspersoft et d’entrer dans la nouvelle génération de l’informatique décisionnelle!
Découvrez sa nouvelle architecture modulable pour un meilleur environnement d’utilisation et de déploiement de vos projets.
Comprenez pourquoi de nombreux éditeurs de solutions métiers intègrent les composants Jaspersoft au sein de leurs applications.
Appropriez-vous la solution via des ateliers pratiques organisés par les équipes d’Altic et de Jaspersoft.
Retour d'expérience Ville de ChâteaurouxALTIC Altic
Retour d'expérience de la Ville de Châteauroux, un an après le premier projet de Business Intelligence accompagné par Altic, intégrateur de solutions Open Source.
Plateforme bigdata orientée BI avec Hortoworks Data Platform et Apache Spark
1. Plateforme Big Data
orientée BI
avec
Hadoop et Spark
Charly CLAIRMONT
CTO
ALTIC
http://altic.org
charly.clairmont@altic.org
@egwada
2. petite bio
Depuis 10 ans Altic
Une évolution permanente avec les
technologies suivantes :
Un des animateurs de l'écosystème Hadoop
en France
Un groupe de plus en plus actif !
(messages échangés sur l'année)
3. Altic
@Altic_Buzz
Métier
Informatique Décisionnelle
Intégration de données
Valeurs
– Innovations
– Open Source
Une maîtrise de toute la chaîne de valeur du Big Data
4. Notre approche
historique de la BI
● Intégration de données
– Talend
● Reporting :
– JasperReports,
– Birt
● OLAP :
– Mondrian,
– Jedox
● Portail décisionnel :
– SpagoBI,
– JasperServer
5. Tout le monde parle de déluge de
données !
Chez Altic nous aimerions déjà
décloisonner l'entreprise !
Et lui rappeler qu'elle est une
« Entreprise étendue »
6. Toute organisation peut désormais
avoir son « lac de données »,
construire une vision unifiée de ses
clients, ses produits, ses partenaires, ses
processus
7. Le standard du Big Data : « Hadoop », et
son compagnon par défaut « Spark »
8. Hadoop est robuste !
● Stable
– Testé - Yahoo! (40 000 noeuds)
● Fiable
– Tolérant à la panne
● Flexible
– Schéma à la lecture !
– Passage à l'échelle
● Économique
– Prédictibilité des
coûts
22. Hadoop dans le monde bancaire :
Crédit Mutuel Arkea
– Groupe bancaire de plein exercice
– 3.2 millions de sociétaires et clients
– 9000 salariés
– 84 milliard d'euros de total de bilan
(2011)
23. Hadoop dans le monde bancaire :
Crédit Mutuel Arkea
● Offrir une meilleure expérience aux
utilisateurs
– Les clients peuvent accéder à leur
historique de paiements depuis 2001 !
● Dé-silotage l'organisation
– Avoir une vision à 360° des clients, des
produits
http://www.journaldunet.com/solutions/dsi/big-data-dans-les-dsi/l
31. Y aller pas à pas
● Télécharger une VM prêt à l'emploi
(Pseudo cluster)
– Tester les démos / tutoriels
– Essayer avec vos données
● Passer à la vitesse supérieure avec une
offre hébergée
● Formez vous, faites vous accompagner
● Lancez vous avec vos propres machines,
hébergées ou non !