Un parc informatique d’un millier de machines génère de nombreux Terra Octets de logs. Comment parvenir à y retrouver une information pertinente et comment valoriser les informations contenues dans ces logs ?
Au programme :
- La centralisation des logs : back to basics;
- Cas pratiques : détection d’attaques DoS et refacturation sur plateforme mutualisée;
- Une grille Hadoop : en quoi ça consiste ?
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Big Data : Hadoop
- Généralité
- Architecture HDFS
- Algorithme MapRduce
- Architecture YARN
- Hadoop v3.x vs Hadoopv2.x
Cours Big Data - Chap2 - GI3 - ENIS
USI 2013 : 7 changements nécessaires pour sauver vos SI décisionnelsJoseph Glorieux
Présentation de ma session à l'USI 2013 : www.usievents.com
Les principes des architectures décisionnelles ont... 20 ans.
Si on peut leur souhaiter de vivre aussi longtemps que le mainframe, il va être nécessaire de s’adapter à un contexte riche en changement :
- L'explosion de la volumétrie, des usages, de la diversité, l'instantanéité, bref Big Data
- La réduction du time to market dans un contexte de baisse du budget
- La volonté d'indépendance des utilisateurs et des métiers
- Le raz de marée apporté par de nouveaux paradigmes et solutions (NoSQL, in memory, dataviz, R....)
Ce que je propose donc dans cette session c'est un petit guide de survie en 7 points touchant aussi bien à l'architecture, qu'aux pratiques de développements ou à l'organisation.
Mon objectif est de redonner de l'espoir, ou au moins de faire persister encore quelques années les systèmes d'information décisionnels afin de fêter les noces de perles !!
Big Data : Hadoop
- Généralité
- Architecture HDFS
- Algorithme MapRduce
- Architecture YARN
- Hadoop v3.x vs Hadoopv2.x
Cours Big Data - Chap2 - GI3 - ENIS
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
BigData_TP2: Design Patterns dans HadoopLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Le stockage des données a toujours été une des problématiques les plus difficiles à maitriser. L’augmentation massive de la quantités de données disponibles, le phénomène Big Data, incite les sociétés à moderniser leur environnement décisionnel. Dès lors, beaucoup se posent la question du choix entre SQL et NoSQL. Microsoft, avec son offre SQL Server Parallel Data Warehouse 2012 réconcilie le meilleur des technologies actuelles. Un seul moto ‘Insights on Any Data of Any Size’
Big Data: Hadoop Map / Reduce sur Windows et Windows AzureMicrosoft
L'algorithme Map/Reduce et sa mise en oeuvre avec Apache Hadoop permettent de gérer de très grands volumes de données non structurées. Microsoft adopte Haddop sur Windows et Windows Azure. Venez voir comment.
BigData_TP2: Design Patterns dans HadoopLilia Sfaxi
Pour accéder aux fichiers nécessaires pour faire ce TP, visitez: https://drive.google.com/folderview?id=0Bz7DokLRQvx7M2JWZEt1VHdwSE0&usp=sharing
Pour plus de contenu, Visitez http://liliasfaxi.wix.com/liliasfaxi !
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
Big Data, MapReduce, calculs distribués, sont autant de buzz words et de concepts cantonnés jusqu’à maintenant à quelques acteurs spécifiques. Pourtant, il est un état de fait : nous sommes assis sur une quantité gigantesque de données dont il est difficile d’extraire l’information… D’autre part MapReduce est une solution éprouvée pour analyser d’énormes quantités de données (ou Big Data). Elle a, par exemple, été mise en œuvre par Google pour indexer le web, par LinkedIn pour calculer ses campagnes d’email… Dans ces conditions, ces concepts ont-ils un intérêt dans nos SI ? Quel est le niveau de maturité de ces solutions ? Cet atelier, co-organisé par OCTO Technology (www.octo.com) et Plaform (www.platform.com), démontrera que de telles solutions font sens dans nos projets SI. - See more at: http://blog.octo.com/petit-dejeuner-mapreduce-la-revolution-dans-lanalyse-des-bigdata-le-27-septembre/#sthash.GvRo8gOQ.dpuf
Le stockage des données a toujours été une des problématiques les plus difficiles à maitriser. L’augmentation massive de la quantités de données disponibles, le phénomène Big Data, incite les sociétés à moderniser leur environnement décisionnel. Dès lors, beaucoup se posent la question du choix entre SQL et NoSQL. Microsoft, avec son offre SQL Server Parallel Data Warehouse 2012 réconcilie le meilleur des technologies actuelles. Un seul moto ‘Insights on Any Data of Any Size’
Les ecoles d ingenieurs peuvent elles former au developpement durable? Confer...Said KOUTANI
Cette conférence résume un concept né de l'analyse de la situation des ingénieurs et des écoles d'ingénieurs face à l'idée du développement durable. Un concept qui traverse la vie sociétale, économique et politique.
Cette conférence présentée à l’École des Ponts et Chaussées à Paris résume le concept présenté dans mon livre LE DEVENIR DU MÉTIER D’INGÉNIEUR.
Le tramway à Amiens, florilège de l'absurdeamiens2014
La construction d'un tramway à Amiens ruinerait la Ville. Quel sera le montant de la facture globale ? Quelle durée pour la construction ? Tout est possible : retards dus à des fouilles archéologiques, des terrains instables, bombes à désamorcer, effondrements d'immeubles, crise financière interdisant la poursuite du projet.
Aujourd'hui, les transports en commun ne sont pas saturés sur Amiens. Pire encore, les habitants les boudent de plus en plus.
Le projet se fait au mépris de toute véritable concertation publique.
Gilles Demailly, maire socialiste d'Amiens, oublie les maux qui frappent la Ville : taux de chômage exponentielle, l'insécurité florissante, la misère galopante, l'illettrisme, désertification urbaine, etc.
L'usine GoodYear vient de fermer ses portes. Arnaud Montebourg a ironisé en qualifiant "Gilles Demailly d'inspecteur des travaux finis." Il faut bien reconnaître que le soutien du maire s'est cantonné à l'affichage du bannière géante. A rien d'autre si ce n'est quelques mots sans intérêt et de fausses colères.
La population doit réagir face à ce projet séduisant mais rétrograde et absolument éco-irresponsable. Le tramway et Amiens n'ont jamais fait bon ménage.
A défaut d'avoir des projets, Demailly vend du rêve mais la folie a un coût impossible à amortir. Se laisser séduire, c'est endosser la faute d'une poignée d'hommes en rupture d'imagination. C'est aussi oblitérer l'avenir de nos enfants.
Après moi, le déluge, telle semble être la devise du maire. Non, le bon sens citoyen doit lui faire barrage.
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Modern Data Stack France
Hadoop User Group du lundi 6 oct 2014:
Talk #3: Administration Hadoop et retour d’expérience BI avec Impala, limites et recommandations par Abed Ajraou et Cherif Tifrani de Solocal (Pages Jaunes).
Stinco propose un point de synchronisation sur des technologies de déduplication du marché. N\'hésitez pas à nous contacter si vous souhaitez en savoir un peu plus ....
OSA02 - Pas de transactionnel haute performance sans un couple machine logici...Nicolas Desachy
Ressources cloisonnées et dépourvues de flexibilité ? Goulots d\’étranglement au niveau des performances ? Temps d\’arrêt inacceptables ? Coûts et complexité liés à l\’évolutivité ? Tâches de gestion manuelles très longues ? L’explosion des données et la croissance des transactions augmente la demande de systèmes éprouvés et capables de garantir l\’intégrité, les performances et la flexibilité tout en permettant de réaliser des économies. Si ces questions vous interpellent, cet atelier est pour vous. Vous y découvrirez les dernières nouveautés en terme de systèmes transactionnels IBM et les raisons pour lesquelles de nombreux clients migrent vers ces systèmes.
En prime : les premiers retours d’expérience de portage vers IBM DB2 9.7
Social Network Analysis Utilizing Big Data TechnologyImad ALILAT
Collecting, collating and carrying out complex data analysis(weblogs & KPI). Also involved in reporting statistical findings to work colleagues and senior managers.
Au delà de ce buzz word :
Les grands concepts
Les étapes clés des projets Big Data et les technologies à utiliser (stockage, ingestion, …)
Les enjeux des architectures Big Data (architecture lambda, …)
L'intelligence artificielle (machine learning, deep learning, …)
Et un cas d'usage du big data sur AWS autour de l'utilisation des données gyroscopiques de vos internautes mobiles.
Petit-déjeuner OCTO : Hadoop, plateforme multi-tenant, à tout d'une grande !OCTO Technology
Hadoop, initialement conçu pour traiter les (très) gros batchs, a été victime de son succès : il s'affirme de plus en plus comme la plateforme à tout faire du Big Data. On lui demande désormais de supporter plusieurs utilisateurs, les traitements interactifs, la ségrégation ou le partage de données entre entité, et, évidemment... la sécurité qui va avec ces nouveaux usages !
D'une solution de geeks, Hadoop est devenu une plateforme business stratégique pour les entreprises.
Pour aller chatouiller des Oracle ou des Teradata sur leur terrain, Hadoop a dû muscler son jeu avec de nouvelles fonctionnalités.
Ce petit déjeuner est l'occasion de faire un point sur les dernières évolutions d'Hadoop, l'état de l'art de sa mise en oeuvre chez nos clients, et sur les éléments clés de la roadmap des principales distributions.
Session en ligne: Découverte du Logical Data Fabric & Data VirtualizationDenodo
Watch full webinar here: https://buff.ly/47gqTVV
Une session découverte de Denodo Platform pour les professionnels de la data
D'après la dernière étude du cabinet Forrester The Total Economic Impact™️ of Data Virtualization Using The Denodo Platform, l’impact de la Data Virtualization avec Denodo permet un ROI de 408% et inférieur à 6 mois, une réduction de 65 % des délais de livraison des données par rapport à l'ETL, de 83 % du time-to-revenue et de 67 % du temps alloué à la préparation des données.
Découvrez lors de cette session en ligne de 1h30 en quoi la Logical Data Fabric et la data virtualization révolutionnent l'approche métier & IT dans l’accès, la livraison, la consommation, la gouvernance et la sécurisation de vos données, quel que soit l'âge de votre technologie, le format de la donnée ou son emplacement.
Avec plus de 1000 clients à travers le monde, Denodo est heureux de vous inviter à cette session en ligne le 14 novembre 2023 de 9h30 à 11h. Si vous êtes un IT Manager, architecte, DSI, Data Scientist ou Data Analyst, cet atelier est pour vous!
CONTENU
Au programme : une introduction à ce qu'est la virtualisation des données, les cas d'usages, des études de cas clients réels et une démo guidée pas à pas des fonctionnalités de Denodo Platform avec notre version gratuite sur le cloud, Denodo Test Drive. Vous apprendrez comment:
- Intégrer et livrer vos données rapidement et facilement à l'aide de Denodo Platform
- L'optimiseur de requêtes de Denodo fournit des données en temps réel, à la demande, même lorsqu'il s'agit de jeux de données très volumineux
- Exposer les données en tant que «services de données» en vue d’être consommées par une variété d'utilisateurs et d'outils
- La virtualisation des données joue un rôle essentiel dans la gouvernance et la sécurité des données au sein de votre organisation
Il y a souvent des difficultés dans la communication entre les équipes d’exploitation et les équipes
de développement. Les enjeux ne sont pas les mêmes: les uns ont pour mission de stabiliser
le système, les autres au contraire de le faire évoluer. Ces incompréhensions sont encore plus
fortes avec les équipes BI, car les bases BI ont des besoins très différents des applications traditionnelles.
En expliquant ces différences, j’espère amener à une meilleure compréhension entre
les équipes. C’est aussi l’occasion de parler des technologies récentes qui adressent les besoins
BI: Exadata, In-Memory, réplication temps réel,…
Hitachi File & Content Solutions - HCP est le portail Cloud Storage de vos données partagées primaires et d’archivage. Information produit sur le fonctionnel et les capacités de gestion d'un Stockage Objet ou Object Storage.
Similaire à Big Data ou comment retrouver une aiguille dans une botte de foin (20)
The Agile Transformation Hell - PALO IT BarCampPALO IT
Agile is the beating heart of PALO IT, and many successful companies nowadays will say the same, but along the journey some might fall into habits and traps that lead them into what we call Agile Transformation Hell. Scary thought! But in this BarCamp we’ll talk through some of these pitfalls, and explore how to reduce risks, nurture a new business culture and make a smooth transition to Agile.
PROGRAM OVERVIEW
> Mapping the agile transformation
Understanding the stages of Agile transformation, and pinpointing where your company sits along that timeline.
> What’s led us to this point?
Feeling out the current market climate, and digging into why certain companies are struggling to keep abreast in ‘Agile waters’.
> Explaining the game
Techniques and approaches to understanding Agile transformation, along with some best and worst case scenarios.
> Selecting your approach
Picking an Agile strategy to push forward in your organisation.
> Discovering
Uncovering your company’s context and culture, and getting the ball rolling.
> Experimenting
Creating a safe environment to experiment with different Agile approaches, and bolstering company culture within that environment.
> Conclusion
Wrapping up the evening’s discussion with Q&A.
OUR SPEAKER
The evening will be led by Vitor Queiroz. An Agile Coach with 14 years of experience, Vitor has worked in a myriad of environments, using agile methods and techniques to make individuals, teams, and companies more effective and efficient. With a strong digital transformation and technical background, he has the capacity to identify gaps in value delivery, using a pragmatic approach and system thinking. His experience is based on projects developed in Brazil, the US, and Europe.
AUDIENCE
> Agile Coaches, Scrum Masters
> Project Managers
> CTO, CIO, IT Directors, and Head of IT
> Agile team members who are starting their Agile Transformation.
PALO IT is a global technology innovation consultancy dedicated to helping organisations embrace exponential change. We work with our clients to rapidly launch new products and services, prepare their leadership and culture for the future, and frame a forward-thinking technology strategy.
Last year, we had the opportunity to start disrupting the accounting industry by incubating Eleven, a promising FinTech startup. Our PALO IT experts want to share their journey and what they've learned along the way with you. Eleven's co-founders will also be joining us for a 15-minute Q&A session.
---
WHAT WE WILL EXPLORE
To offer a painless, end-to-end experience for consumers in the accounting industry, Eleven was conceived as a platform to automate accounting processes, in order to fill the gaps that traditional systems have left unattended.
Join us on November 22 to hear from our Developers and Designers as they share their experience in bringing this new generation of smart business software to life.
Our PALO IT experts will delve in to agile team dynamics, discuss our design process, and of course, share their experience in working with Clojure!
---
PROGRAM OVERVIEW
Introduction to Eleven
Presentation of the team and product.
PALO IT end-to-end approach
From research to development: design thinking & agile team dynamics
Our tech expertise
Overview of the tech stack: Clojure & Datomic
---
AUDIENCE
> Designers, Developers & Tech Leads
> Project Managers
> Entrepreneurs, Startup & FinTech Enthusiasts
> Finance professionals
Growth Mindset & Psychological Safety - High Performing Teams in Software Dev...PALO IT
Software quality, psychological safety and growth mindset might seem to be unrelated at first glance. However, both psychological safety and growth mindset are crucial in high performance teams. Join our upcoming PALO IT BarCamp to understand more about psychological safety and different mindset, learn how these topics affect one another, and get inspired to enable teams to deliver awesomeness to users.
What you will explore
We have always been seeking the secret sauce of high performance teams in the software development industry. Some teams deliver products better than several teams combined. Some others adjust to market change quicker than the change itself. Some others learn from failure and raise the bar by making their product more resilient than ever. Not long ago, Google's Project Aristotle has answered the million dollar question on the successful recipe of building high performance teams with psychological safety cited as the most important factor. In this BarCamp, we will dive into details and find out what it takes to allow individual team members to feel psychologically safe and willing to take calculated risks for learning and improvement.
Through research and case studies, we will explore the following:
> What is psychological safety?
> How mindset affects the perception of psychological safety?
> How to assess mindset and psychological safety in your team?
> How to create an environment that promotes growth mindset and fosters psychological safety?
Audience
> Developers
> Team Leads
> Team Coaches
> Managers
> Business Leaders
> Anyone looking to maximise self and team's ability to grow and improve.
BigText, compréhension et inférence avancées sur les textesPALO IT
Les groupes de travail de l’association EGC – « Fouille de Données Complexes » (GT-FDC), « Fouille de Grands Graphes » (GT-FGG), « Visualisation d’informations, interaction et fouille de données » (GT-VIF, commun avec l’AFIHM) et « Gestion et Analyse de données Spatiales et Temporelles » (GT-GAST, commun avec l’action prospective EXCES, GDR MAGIS) – organisent la 7ème édition des journées thématiques visant d’une part à poursuivre les activités des groupes et d’autre part à développer des axes communs autour de la prise en compte, la gestion, l’analyse, le traitement et la visualisation des données massives (Big Data).
Patrick LAFFITTE, Raja HADDAD et Yassin CHABEB ont présenté la conférence : BigText, compréhension et inférence avancées sur les textes.
Aujourd’hui, le volume des données textuelles échangées par les systèmes numériques est en croissance continue. L’exploitation de ces données offre de nombreuses perspectives de développement de nouveaux services pour les particuliers comme pour les professionnels.
Pour exploiter cette richesse, il est indispensable d’extraire et de produire des connaissances à partir de ce type de données.
Explorez l’Employee eXperience grâce au Design ThinkingPALO IT
67% des salariés ne sont pas motivés au travail et pourtant tout le monde rêve d’employés engagés ! Comment remettre de l’Humain au centre de l’Entreprise grâce à une approche UX ?
“Il existe une application pour cela ! Créons un chatbot… ou une plateforme connectée…” Vraiment ?!
Nous verrons ensemble pourquoi le rôle du designer doit aller au-delà de la conception d’un outil afin d’accompagner et d’assurer le succès de la transformation numérique des PME et grands groupes. Quels sont les leviers et freins les plus courants ? Comment accompagner les RHs et convaincre ?
De la théorie à la pratique… à l’introspection : et vous, qu’est-ce-qui fait de vous un collaborateur engagé ?
Chez PALO IT, cabinet de conseil et de réalisation en innovation et transformation digitale, le Design Thinking s’inscrit dans une approche pragmatique en cohérence parfaite avec l’ADN Agile de l’entreprise. Au-delà du buzz word, nous nous sommes posés la question de l’intégration de ces méthodes dans notre démarche d’innovation et de transformation digitale, en interne et au service de nos clients.
Au programme
- Pourquoi est-ce si difficile ?
- Solutions issues de l’UX et de la psychologie cognitive
- Business Cases
- La minute démo : test utilisateur d’un outil que nous utilisons en interne !
- Échanges : la parole est à vous !
Nadège BIDE, Head of UX @PALO IT France
Du design de mode industrielle au design d’interface, Nadège à développé une approche pragmatique de conception centrée utilisateurs en s’inspirant de ses retours d’expérience dans des secteurs très variés (créatif, numérique, industriel, service, formation, communication). Elle intervient à la fois sur du conseil en stratégie et sur des missions plus opérationnelles.“La compétence la plus importante du 21ème siècle ? La capacité à apprendre et se renouveler ”
Self-Organisation & Transparency: Delegation PokerPALO IT
One of the key success factors in Agile / Scrum team is the self-organizing maturity of the team. However, there are many shades of grey between no delegation and full self-organization and different challenges to embrace in a traditional command & control mindset.
Through this workshop, Herbert, Agile Coach at PALO IT Hong Kong, introduced Delegation Poker that has become increasingly popular around the world over the past years, to discover how to effectively empower your teams to be self-organizing!
Framework de Digitalisation par les Organisations ExponentiellesPALO IT
Les organisations qui produisent et manipulent des actifs numériques ont l’opportunité de croitre de manière exponentielle. Cette réalité a été étudiée par Salim Ismael dans son célèbre livre “Exponential organizations“. Au delà de cet aspect surprenant sur la croissance, les secrets dévoilés dans ce livre forment un réel “framework de digitalisation”.
Ce Barcamp PALO IT avait pour objectif de décortiquer les caractéristiques des organisations exponentielles et de montrer comment les utiliser pour guider la digitalisation de votre entreprise.
LET'S TALK LEADERSHIP!
As more and more organisations are adopting Agile software development practices, many project managers may be asking themselves how to adapt to this new trend. Becoming a Scrum Master might be the obvious solution, but are there other roles in the Agile frameworks that are suitable for a Project Manager to adopt? Should they become Product Owners?
WHAT YOU WILL LEARN
PALO IT shared its experience in running Agile projects, including the differences between Project Managers, Scrum Masters, and Product Owners. We covered the scope of each role, the required skills and mindsets and how these affect the relationship with the broader development team. We also rovided insight on how to effectively transition from a classical Project Manager role to an Agile one.
Audience
> Project Managers & Senior Managers
> Scrum Masters & Product Owners
> Developers
> HR Professionals
> Anyone with experience of working with a development team.
LET'S TALK FUTURE!
User Experience (UX) design is a dynamic and constantly evolving field that will continue to be shaped by future trends and technologies. In this interactive session, we explored how topics like artificial intelligence, virtual reality, micro-interactions, physical hardware, design sprints and innovation games are changing the landscape of UX.
WHAT YOU WILL LEARN
We shared of PALO IT’s experience in applying future UX methodologies to a variety of different projects. Participants were invited to share questions and topics to drive a dynamic conversation around their experiences and perspectives on the future of UX.
Developers are from Mars, Designers are from VenusPALO IT
Our Developer and UX Designer, Justin and Samson, delivered a talk on "Developers are from Mars, Designers from Venus" during the Code Learn Hong Kong Meetup on 24 April 2017 at PALO IT Hong Kong WeWork office. Learn how to improve communication through Agile between technical and creative stakeholders!
Self-Organization in Agile & Digital Transformation PALO IT
Get an Agile mindset!
One of the key success factors in Agile & Digital transformation is the self-organizing maturity of the team. However, there are many shades of grey between no delegation and full self-organization and different challenges to embrace in a traditional command & control mindset.
Through this workshop, we will introduce a game that has become increasingly popular around the world over the past years, to discover how to effectively empower your teams to be self-organizing!
Kevin Maschtaler, Développeur chez Marmelab nous a présenté : “La Blockchain pour les développeurs”. De nombreux experts estiment qu’il s’agit d’une révolution majeure comparable à celle d’Internet, mais qu’en est-il réellement ? En tant que Développeur, comment l’utiliser ?
AU PROGRAMME
> Introduction à la Blockchain : qui l’utilise et pourquoi?
> Vulgarisation et explication de son fonctionnement;
> Petit tour des outils existants liés à cette technologie;
> Démonstration pratique avec session de live-coding.
Pourquoi est-ce si difficile de concevoir une API ?PALO IT
Alexandre Estela, Leader de Practice Architecture chez PALO IT, sera l’un des speakers lors du Meetup organisé par Paris API. Hébergée chez Mangopay, la session proposera 2 talks autour des APIs !
Au programme
> API Design-First : pourquoi et comment ?
Paris API Meetup est un groupe de personnes qui pensent que les APIs vont révolutionner le web. Ces personnes se rencontrent à Paris pour discuter et partager leurs expériences autour des APIs.
Emerging Innovation: an exploratory journey into Design Thinking and why it m...PALO IT
Design Thinking can be used to design products, new customer experience or corporate strategy and large scale systems. Like Agile, adopting a Design Thinking approach is not a process but a change of mindset. For large organizations, it often means radical cultural change. Embracing the customer perspective as a starting point to re-invent a strategy or becoming comfortable dealing with ambiguity is a slow but highly rewarding learning process.
Design Thinking is a making-based approach to solving problems creatively. It fosters radical collaboration and focuses on human values. If you want to understand more about Design Thinking and hear how organizations like Uber, Metlife or AirBnB use it to become and remain innovative, attend this synthetic lecture about Design Thinking key concepts and implementation principles.
Program :
> What’s in the world? Innovation around the world;
> Thinking What? Design Thinking key principles;
> Business Cases: Applied Design Thinking.
Our speaker :
> Cédric MAINGUY, Head of Digital Innovation @PALO IT Singapore.
Co-founder of three start-ups in Cambodia, India and New York, Cédric is a seasoned IT entrepreneur. Over the years, Cédric has developed a knack for structuring innovation processes, implementing best practices in a wide range of areas, empowering teams to become highly efficient and helping managers structure operations to boost performance. Passionate about innovation which is at the heart of the transformation of many industries, he works with clients to develop multi-channel strategies, operating models and improve customer experience. Cédric has 15 years of international experience and specializes in innovation, Agile and digital transformations. He served clients in the high-tech, healthcare, retail, finance and music industries on strategy, innovation, product development, IT and organization.
Notre cerveau est très attentif aux éléments en mouvement : de nombreux sites l’ont bien compris et utilisent désormais le CSS pour animer l’apparition de leur contenu. Et si au lieu d’intégrer des “objets inanimés qui bougent”, nous choisissions de faire évoluer des données en temps réel ? L’impact sur les utilisateurs en serait bien plus grand. Bonne nouvelle : le temps réel n’est plus réservé aux traders new-yorkais à chemise rayée ! Les données en temps réel sont partout : sur les réseaux sociaux, dans les transports, en économie collaborative, sur les ventes privées, etc. La mise à jour de la donnée a à la fois une utilité pratique et commerciale, tant pour l’annonceur que l’utilisateur final.
Au programme :
- Qu’est-ce que la donnée animée ?
- Quels sont les différents types de données animées ?
- Comment la mettre en oeuvre ? (Polling vs Server-sent events vs Websockets)
- Présentation de la solution Streamdata.io
- Samples clients de données animées (iOS, Android, JS, etc.).
Speaker :
Cédric Tran Xuan, Développeur chez Streamdata.io
Développeur chez Streamdata.io, Cédric participe à l’élaboration d’une plate-forme de push temps réel. Pendant son temps libre, il écume l’Alpes JUG, les HumanTalks et les Meetups de Grenoble ainsi que quelques MOOCs. Il joue avec des technos comme Java, Scala et Web (AngularJS, EmberJS, Riot.js, etc.).
Actuellement, on parle beaucoup de traitement en lots (batch) dans le monde du Big Data. Mais qu’en est-il du Streaming et du temps réel ? Beaucoup de frameworks Big Data tentent de répondre à cette problématique. En tête de liste figure Spark : grâce à son composant Spark Streaming, il permet un traitement en continu des flux de données et une disponibilité 24/7.
Au programme :
- Streaming et Architecture Big Data
- Hello world Spark Streaming
- Intégration de Flume à Spark Streaming
- Use case “métriques sur des logs applicatifs”
- Architecture physique : driver / workers / receivers
- Monitoring de Spark Streaming
- Fail over : reliable / unreliable sources, checkpoint, recover
- Tuning et performance.
Speakers :
- Nadhem LAMTI, Architecte Technique chez PALO IT
Depuis 10 ans, Nadhem intervient principalement sur des projets JAVA JEE de grande envergure dans différents secteurs (Télécommunication, Banque, Finance, Transports, Tourisme, etc.), développant ainsi une expertise polyvalente en abordant multiples technologies et architectures. Fort d’une expérience concluante en tant qu’Ingénieur Performance & Support, Nadhem est capable d’intervenir sur des problématiques de production liées à des systèmes d’informations complexes. Actuellement en mission chez Voyages SNCF, il contribue à un grand chantier Big Data de centralisation de logs et s’intéresse tout particulièrement au nouveau produit phare de traitement de données Apache Spark.
- Saâd-Eddine MALTI, Expert BDD chez Voyages SNCF
En poste depuis 10 ans chez Voyages SNCF, Saâd-Eddine intervient en tant qu’Expert BDD sur toutes les applications de manière transverse. L’orientation affichée de Voyages SNCF vers le Big Data pousse Saâd-Eddine à s’investir pleinement dans ce domaine, également sur le nouveau produit phare de traitement de données Apache Spark.
EE et JSF : des technologies qui ont effrayé et fait souffrir bon nombre de développeurs ! Elles auront peut être laissé à certains d’entre vous un goût amer mais ont énormément évolué ces dernières années pour finalement devenir légères et productives. Découvrons en quoi ces solutions peuvent vous aider dans le cadre de vos différents projets et ouvrons un œil neuf sur ces technologies d’avenir.
Programme :
- JEE 6 : historique, nouveautés, testabilité
- JBoss Seam 3 – Framework de contrôle applicatif : context and dependancies injections, événements, Bean validator, restriction des vues
- JSF 2 – Framework de présentation graphique : page description language, composants composite, PrettyFaces, Ajax 4 JSF, RichFaces, PrimeFaces
Sarah : l’Internet des Objets au service de la maison connectée PALO IT
PALO IT a reçu Jean Philippe Encausse, Ingénieur R&D et créateur de Sarah pour un BarCamp exceptionnel sur les objets connectés.
Descriptif :
Loin d’être une Nième box domotique, Sarah est un framework Open Source, créé dans le but de palier le manque de communication entre les objets connectés afin d’interagir naturellement avec eux via la reconnaissance vocale, gestuelle et faciale, dans la maison ou au bureau.
Au cours de ces 15 dernières années, nous avons vu émerger puis se consolider le Web, ses APIs et ses usages autour de l’Open Software. Il a fallu normaliser ces derniers suite à l’apparition de l’Internet Mobile. Aujourd’hui, le réel rencontre le virtuel avec l’avènement de l’Open Hardware. A travers ce BarCamp, Jean Philippe nous projette dans le tsunami de l’Internet des Objets et aborde les nouveaux enjeux métiers qui en découlent.
Au programme :
- Les métiers du Web en plein bouleversement;
- Etat de l’art de l’Internet des Objets;
- SARAH, un laboratoire d’expérimentation pour les NUI;
- Retour d’expérience sur les projets Open Source.
Aujourd’hui, bon nombre d’entreprises du monde de l’IT se tournent désormais vers les méthodes Lean et Agile ou les utilisent déjà. L’un des rôles les plus difficiles est probablement celui du « Responsable Produit », alias « Product Owner ». A la frontière de plusieurs métiers, le PO donne le rythme et oriente ses équipes. Après avoir navigué dans des univers complexes depuis plusieurs années, Catherine et François, Product Owners chez Palo IT, vous proposent de partager leur retour d’expérience. Ils vous montreront que malgré les difficultés rencontrées, le rôle de PO reste passionant !
Au programme :
- Aux frontières du PO.
- Pensez Produit et retour sur investissement du produit : le rôle premier du PO.
- Portez la vision du produit : l’importance du « Quoi » et du « Pourquoi »
- Quels outils de travail à votre disposition ?
- Organisation et collaboration : un processus qui peut vous aider (REX sur le projet « Libon » chez Orange).
- Quelques unes des meilleurs pratiques à retenir, à partager et à faire évoluer.
JEE et JSF : des technologies qui ont effrayé et fait souffrir bon nombre de développeurs ! Elles auront peut être laissé à certains d’entre vous un goût amer mais ont énormément évolué ces dernières années pour finalement devenir légères et productives. Découvrons en quoi ces solutions peuvent vous aider dans le cadre de vos différents projets et ouvrons un œil neuf sur ces technologies d’avenir.
Programme:
- JEE 6 : historique, nouveautés, testabilité.
- JBoss Seam 3 – Framework de contrôle applicatif : context and dependancies injections, événements, Bean validator, restriction des vues.
- JSF 2 – Framework de présentation graphique : page description language, composants composite, PrettyFaces, Ajax 4 JSF, RichFaces, PrimeFaces.
Big Data ou comment retrouver une aiguille dans une botte de foin
1. BarCamp « Big Data, ou comment retrouver
une aiguille dans une botte de foin »
Janvier 2014 @ Paris
Pierre REVELLIN
Responsable Architecture
et Performance
2. 2
Au programme
Contexte et origine du besoin
La première ébauche
Le vrai problème : les ressources CPU vs IOs
Hadoop, une vulgarisation :
Partie 1 : Le stockage
Partie 2 : Le traitement de données
Partie 3 : Quelle implémentation ?
Intégration dans un SI
Big Data au delà d'une mode
Comment valoriser des téra/pétaoctets d'informations ?
Use cases
Le Big Data en France
4. 6
Contexte et origine du besoin
Contexte
Site de E-commerce parmi les leaders du marché
Complexe, composé d'applications multi-tiers / instances / multi-sites
Forte visibilité avec un besoin de réactivité très fort.
Problèmes pour exploiter des applications réparties
Répartition sur des périmètres différents des équipes supports /exploitations
Application statefull pour simplifier l'analyse puis statefull'less'
Quid du reporting global ?
Besoin de centraliser l'information
Les logs constituent la première source d’information.
6. 88
La première ébauche
Architecture
Centralisation des logs
Ecriture sur du SAN.
Une implémentation via syslog
Solution éprouvée, multiplateforme
Plusieurs datasources : streaming / fichier
Niveau de Qos : UDP / TCP, bufferisation
Enrichissement de message post émission.
Faiblesse de la solution
Pas de loadbalancing ou failover natif
Pas de travail à la volée des messages
Périmètre de responsabilité diffus ( équ système / équ applicative /dev )
IO concentré nécessite du SAN (10000 à 30000 IO/s ).
8. 1010
Résultats au delà des faiblesses techniques
Difficulté à valoriser car méconnaissance du contenu des logs
Possibilité quasi infinie, seule limite : l'information est-elle disponible ?
Information mélangée car pas de 'contextualisation' du log mais :
Information commerciale : activité clientèle
Information technique : performance du SI malgré son hétérogénéité.
Problèmes de fond : le traitement des données
Temps nécessaire pour retrouver/traiter une information
Pour traiter il faut normaliser les évènements
Sécurité des informations
Pas de réponse simple au problème du périmètre des équipes supports/exploitations.
10. 1212
Le vrai problème : les ressources CPU vs les IOs
Problème du CPU vs IO
Test 1 : on lit un fichier de 500mo : 4s environ 123Mos, limité par les IO disques
Test 2 : on grep une ip dans un fichier de 500mo : 12s soit 42Mo/s
Test 3 : on passe en multithread sur le grep : 118Mo/s
La contention est la CPU ou la bande passante pour alimenter le processus.
Optimisation par agrégation de ressources
Problème historique touchant toutes les strates :
Cas des supercalculateurs / RAID / Chunk&Tap sur le réseau.
Ne pas oublier qu'au delà de la largeur des données, la latence d'accès est maîtresse
Pas d'invention : c'est LE moteur de l'évolution des ordinateurs :
Augmenter le nombre d'opération en 'parallèle' : pipelining / hypethreading
La problématique d'IO est résolue par des niveaux de cache (cache niveau 2/3 partagé)
Bank RAM appairé pour doubler la BP
Enfin le multi-core.
14. 16
Partie 1 : le stockage
File System issue de Google FS
Orienté : large scale (100T/Po de donnée) / lecture intensive / lowcost.
Back to basics
Un disque dur est décomposé en secteur de 512 octets
Les secteurs sont organisés en bloc par un système de fichier (FS)
Bloc totalement alloué même pour 10 utilisations.
Hadoop FileSystem : HDFS
Se repose sur les FS natif OS
Utilise des block de 64Mo par défaut
Avec un débit de 100Mo/s et un seek time de 10ms : 1% du temps en latence
Allocation optimisée.
15. 17
Partie 1 : le stockage
HDFS
Autorise un facteur de réplication de block
Les metadatas (genre inode) sont stockés dans un NameNode
Distribution des blocs de données pour améliorer la lecture : anti-défragmentation
Adopte les normes posix.
Méthode d’accès
Accès console
Webapp
Par API (pyhon/java/ruby)
FuseFS.
18. 20
Partie 2 : le traitement des données
La théorie
L'API repose sur 2 fonctions
MAP
Reduce.
Mise en avant de la programmation fonctionnelle vs impérative
Impact fort suivant les indicateurs attendus.
Optimisations 'cachées'
Les maps sont lancés au plus proche des données
Attention à la compression.
19. 21
Partie 2 : le traitement des données
Répartition sur plusieurs nœuds
20. 22
Partie 2 : le traitement des données
Dans la vraie vie … il faut coder
TDD via MRUnit
Difficile de debugger/profiler une application
Le fait d'être en large scale provoque un effet loupe sur le moindre problème de code.
… ou sous traiter
Hive
PIG
SPSS.
21. 23
Partie 2 : le traitement des données
Pour ceux qui aiment être root : tout est disponible sous apache.org
Offre hadoop packagée
En pleine explosion ( HortonWorks/ cloudera / ….)
Attention au mode de licencing
Exemple Splunk : 800k +100k par 500g
Cloudera : au début limité à 10 nœuds puis modification du mode de licencing
Pas à l'abri d'un revirement à la Oracle.
Aucune implémentation ne remplace un expert pour l'exploitation
Les coûts cachés
Injection des données
Nettoyage des données.
23. 25
Intégration dans un SI
Attention aux effets de bord sur le cœur du SI
On parle de centaine de giga jour, switch/cœur de réseau mutualisés
Bande passante inter-sites (Qos MPLS)
CPU/RAM consommé sur les serveurs applicatifs
Lock des ressources (Map/Reduce) de la grille : mise en place de quota
Durée de vie des données ?
Pas de place dans vos travées ?
Utilisation de serveur MoonShot HP 4U : 125 slots à repartir entre CPU est stockage
Cartouche 16 core
Disque de 1 tera.
Recyclage
Faire du capacity planning en recyclant les vieux serveurs en nœuds déstockage.
Externalisation de l’infra
Infra cloud dédiée, coûteuse si vous avez des exigences de temps de traitement.
25. 2727
Comment valoriser des téra/pétaoctets d'informations ?
Difficulté à valoriser car méconnaissance du contenu des logs
L'information est-elle disponible ?
Possibilité quasi infinie mais :
Un expert Big Data ne remplacera pas un datascientist
L'information a force de valeur uniquement par sa qualité et sa date de péremption.
Use case réel
GrepIt !
Facturation cliente sur plateforme mutualise
Indicateur de SLA sur du middleware
Détection d'attaque par analyse comportementale.
27. 2929
Problématique : trouver un mot clef dans les logs
Map / Reduce basique
Map va filtrer les logs contenant le mot clé
Reduce va simplement écrire les logs lui arrivant.
Use Case 1 : GrepIT
28. 3030
Use case 2 : facturation client sur plateforme mutualisée
Faire du SLA sur du middle tiers mutualisé
Clé de répartition composite
IP / Stats / Htpp Code / Login / URL /Plateforme.
90 percentiles sur 2 sites
29. 3131
Use case 2 : facturation client sur plateforme mutualisée
30. 3232
Use case 3 : détection d’attaque DOS
Problématique : détection de robots qui empêchent la vente de produit
Identifier les comportements anormaux
Map va filtrer les URL utiles, la clé de répartition est l’ip
Reduce va calculer des compteurs :
Nombre de mise en panier
Délai entre 2 mise en panier
Nombre de paiement versus nombre de mise en panier
En sortie on corrèle avec des seuils prédéfinies.
Bannissement d’IP non automatique
31. 3333
Use case 4 : indicateur de SLA sur du middleware
Problématique : vérifier qu’on entre dans le SLA sur du middleware répartie
Identifier les comportements anormaux
Agrégation
Corrélation
Gestion de plusieurs datasources.
33. 3535
Les nouveaux besoins
Mode batch pas toujours adapté
Introduction d’ElasticSearch / Kibana.
Gestion de la durée de vie de l’information : besoin de streaming
35. 37
Big Data au-delà d’une mode
Solutions inventées et adoptées par et pour les leaders de marché
L’algorithme map/reduce remis au goût du jour par Google pour indexer le Web
Hadoop core vient des équipe de Yahoo pour indexer le Web
Difficile de faire mieux avec un équipe R&D (on RivoDB).
Sans engagement :
Pas de technologie propriétaire
Hardware standard
Produit Open Source massivement adopté qui devient donc un standard.
Implications stratégiques au delà du rêve
Permet d'établir des stratégies marketing a court et moyen terme, comment ?
Toute la matière première est là
Nécessite de réelles compétences de Data Scientist
Permet une évolution « maîtrisée » du SI au delà de l'amortissement CAPEX/OPEX
étalé.
37. 39
Conclusion
N'est qu'un moyen technique, pas la finalité
Ne pas se tromper d'acteur/profil
L'analyse statistique est un métier à par entière (Data Scientist)
Exploitation d'un cluster nécessite un bon niveau d'expertise
De même pour les développements : peu très vite déraper.
Attention aux promesses des sociétés de consulting
Pose des problèmes organisationnels importants
Peu de société en France sont dotées d’un vrai retour d'expérience