Démarrer rapidement avec Apache Flink par Bilal Baltagi
- Présentation de l'éco Système Apache Flink
- Prise en main rapide
Bilal Baltagi a obtenu un master en analyse des données à l'Université Paris Nord - Paris 13. Il est actuellement consultant décisionnel chez Sarenza à Paris. Il intervient sur toutes les phases d'un projet décisionnel et Big data: recueil des besoins, conceptions, réalisations et accompagnement des utilisateurs. Bilal est de plus en plus intéressé à l'intersection de la Big Data avec la Business Intelligence et aime jouer avec Apache Flink!
Oxalide Workshop #3 - Elasticearch, an overviewLudovic Piot
Après les 2 précédents ateliers Varnish, c’est au tour d’ElasticSearch de passer entre les mains Ludovic Piot (Oxalide) avec Edouard Fajnzilberg (Kernel42) . Ils ont déroulé le sujet avec les points de vue Syadmin et Dev.
Subject: Oxalide's workshop about an overview of elasticsearch.
Date: 10-mar-2016
Speakers: Edouard Fajnzilberg (Kernel42) and Ludovic Piot (Oxalide)
Language: french
Video capture: https://youtu.be/3bPoeVoUdFI
Main topics:
When do we use elasticsearch?
Why is it cool?
Introduction to Head plugin
Introduction to the REST API
Introduction to the Query DSL and the JSON document
How to configure a cluster?
How does it compare to a SGBD-R?
How does a reversed-index work?
An explaination of Lucene Segments
An explaination of the cluster architecture
An overview of the mappings (principles, dynamic mapping and templates)
An overview of the aggregations (buckets, metrics, multiple, nestable, sortable, aggregation types, use cases, pipelines)
An overview of the ecosystem (Sense, Logstash, Beats, Kibana, TimeLion, Marvel, Watcher, Shield, Head, Kopf, HQ, Inquisitor, BigDesk, SegmentSpy)
Spark meetup www.meetup.com/Paris-Spark-Meetup/events/222607538/
La dernière version de Spark nous apporte une nouvelle API inspirée des librairies et langage d'analyse statistique. Nous verrons comment Spark Dataframe nous permet de simplement manipuler et explorer les données en conservant la scalabilité de Spark RDD
Actuellement, on parle beaucoup de traitement en lots (batch) dans le monde du Big Data. Mais qu’en est-il du Streaming et du temps réel ? Beaucoup de frameworks Big Data tentent de répondre à cette problématique. En tête de liste figure Spark : grâce à son composant Spark Streaming, il permet un traitement en continu des flux de données et une disponibilité 24/7.
Au programme :
- Streaming et Architecture Big Data
- Hello world Spark Streaming
- Intégration de Flume à Spark Streaming
- Use case “métriques sur des logs applicatifs”
- Architecture physique : driver / workers / receivers
- Monitoring de Spark Streaming
- Fail over : reliable / unreliable sources, checkpoint, recover
- Tuning et performance.
Speakers :
- Nadhem LAMTI, Architecte Technique chez PALO IT
Depuis 10 ans, Nadhem intervient principalement sur des projets JAVA JEE de grande envergure dans différents secteurs (Télécommunication, Banque, Finance, Transports, Tourisme, etc.), développant ainsi une expertise polyvalente en abordant multiples technologies et architectures. Fort d’une expérience concluante en tant qu’Ingénieur Performance & Support, Nadhem est capable d’intervenir sur des problématiques de production liées à des systèmes d’informations complexes. Actuellement en mission chez Voyages SNCF, il contribue à un grand chantier Big Data de centralisation de logs et s’intéresse tout particulièrement au nouveau produit phare de traitement de données Apache Spark.
- Saâd-Eddine MALTI, Expert BDD chez Voyages SNCF
En poste depuis 10 ans chez Voyages SNCF, Saâd-Eddine intervient en tant qu’Expert BDD sur toutes les applications de manière transverse. L’orientation affichée de Voyages SNCF vers le Big Data pousse Saâd-Eddine à s’investir pleinement dans ce domaine, également sur le nouveau produit phare de traitement de données Apache Spark.
Démarrer rapidement avec Apache Flink par Bilal Baltagi
- Présentation de l'éco Système Apache Flink
- Prise en main rapide
Bilal Baltagi a obtenu un master en analyse des données à l'Université Paris Nord - Paris 13. Il est actuellement consultant décisionnel chez Sarenza à Paris. Il intervient sur toutes les phases d'un projet décisionnel et Big data: recueil des besoins, conceptions, réalisations et accompagnement des utilisateurs. Bilal est de plus en plus intéressé à l'intersection de la Big Data avec la Business Intelligence et aime jouer avec Apache Flink!
Oxalide Workshop #3 - Elasticearch, an overviewLudovic Piot
Après les 2 précédents ateliers Varnish, c’est au tour d’ElasticSearch de passer entre les mains Ludovic Piot (Oxalide) avec Edouard Fajnzilberg (Kernel42) . Ils ont déroulé le sujet avec les points de vue Syadmin et Dev.
Subject: Oxalide's workshop about an overview of elasticsearch.
Date: 10-mar-2016
Speakers: Edouard Fajnzilberg (Kernel42) and Ludovic Piot (Oxalide)
Language: french
Video capture: https://youtu.be/3bPoeVoUdFI
Main topics:
When do we use elasticsearch?
Why is it cool?
Introduction to Head plugin
Introduction to the REST API
Introduction to the Query DSL and the JSON document
How to configure a cluster?
How does it compare to a SGBD-R?
How does a reversed-index work?
An explaination of Lucene Segments
An explaination of the cluster architecture
An overview of the mappings (principles, dynamic mapping and templates)
An overview of the aggregations (buckets, metrics, multiple, nestable, sortable, aggregation types, use cases, pipelines)
An overview of the ecosystem (Sense, Logstash, Beats, Kibana, TimeLion, Marvel, Watcher, Shield, Head, Kopf, HQ, Inquisitor, BigDesk, SegmentSpy)
Spark meetup www.meetup.com/Paris-Spark-Meetup/events/222607538/
La dernière version de Spark nous apporte une nouvelle API inspirée des librairies et langage d'analyse statistique. Nous verrons comment Spark Dataframe nous permet de simplement manipuler et explorer les données en conservant la scalabilité de Spark RDD
Actuellement, on parle beaucoup de traitement en lots (batch) dans le monde du Big Data. Mais qu’en est-il du Streaming et du temps réel ? Beaucoup de frameworks Big Data tentent de répondre à cette problématique. En tête de liste figure Spark : grâce à son composant Spark Streaming, il permet un traitement en continu des flux de données et une disponibilité 24/7.
Au programme :
- Streaming et Architecture Big Data
- Hello world Spark Streaming
- Intégration de Flume à Spark Streaming
- Use case “métriques sur des logs applicatifs”
- Architecture physique : driver / workers / receivers
- Monitoring de Spark Streaming
- Fail over : reliable / unreliable sources, checkpoint, recover
- Tuning et performance.
Speakers :
- Nadhem LAMTI, Architecte Technique chez PALO IT
Depuis 10 ans, Nadhem intervient principalement sur des projets JAVA JEE de grande envergure dans différents secteurs (Télécommunication, Banque, Finance, Transports, Tourisme, etc.), développant ainsi une expertise polyvalente en abordant multiples technologies et architectures. Fort d’une expérience concluante en tant qu’Ingénieur Performance & Support, Nadhem est capable d’intervenir sur des problématiques de production liées à des systèmes d’informations complexes. Actuellement en mission chez Voyages SNCF, il contribue à un grand chantier Big Data de centralisation de logs et s’intéresse tout particulièrement au nouveau produit phare de traitement de données Apache Spark.
- Saâd-Eddine MALTI, Expert BDD chez Voyages SNCF
En poste depuis 10 ans chez Voyages SNCF, Saâd-Eddine intervient en tant qu’Expert BDD sur toutes les applications de manière transverse. L’orientation affichée de Voyages SNCF vers le Big Data pousse Saâd-Eddine à s’investir pleinement dans ce domaine, également sur le nouveau produit phare de traitement de données Apache Spark.
Slides de la présentation "Cassandra Java Driver" à l'Ippevent du 20 juin 2013
http://blog.ippon.fr/2013/06/03/ippevent-utiliser-les-nouvelles-apis-cassandra-le-2-juin-2013/
Indexation d'une base documentaire pour LiberationParis, France
Présentation des évolutions envisagées pour le moteur de recherche du quotidien Libération. Le back-office de Libération repose sur un moteur d'indexation, intensément utilisé pour la navigation et la recherche. Le moteur actuel, propriétaire, a atteint ses limites en termes de performances et de stabilité. Pilot Systems a donc développé un nouveau moteur, basé sur PostgreSQL. La grande volumétrie (500 000 articles, plus d'un million de contributions), l'utilisation massive de full text search et les contraintes de performances nous ont conduit à utiliser quelques heuristiques.
De 20 000 à 4 millions d'utilisateurs : mode d'emploiKhanh Maudoux
Présentation donnée au breizhCamp 2014 concernant un retour d'expérience d'une mission dont l'objectif était de passer de 20 000 utilisateurs à 4 millions.
Pour ce faire, il a été nécessaire de revoir certaines parties du SI afin de pouvoir stocker en masse les données des utilisateurs mais également afin d'être capable de les traiter.
Ce retour d'expérience montrera comment, avec une approche et des technologies simples, il a été possible de revoir la façon de faire et comment il a été proposé de traiter le sujet.
Il montrera également les pistes qui ont été étudiées et les solutions qui ont été retenues.
Les différents points qui seront abordés seront : Cassandra, REST, Netty, Spring Integration, Jolokia, Metrics saupoudré d'un peu de "Big Data".
Dans cette première partie, nous présenterons une architecture projet permettant de récupérer les données Yammer suivant une fenêtre temporelle paramétrable, de les insérer dans une base de données, et d’exposer la base de données avec des web services grâce au framework nodeJS.
PostgreSQL, plus qu'une base de données, une plateforme aux multiples usagesOpen Source Experience
PostgreSQL est un système de gestion de bases de données relationnelles (SGBDR) opensource qui suscite un engouement et une adoption de plus en plus large à travers le monde. Classé SGBD de l'année trois fois lors des quatre dernières années par le site DB-Engines, PostgreSQL va bien au-delà du simple moteur de bases de données. Il offre nativement un large ensemble de fonctionnalités auxquelles viennent se greffer plusieurs outils matures, en faisant une véritable plateforme pour tirer le meilleur des données qu'il gère.
Cette présentation proposée par le PGGTIE (Groupe de Travail Inter-Entreprises sur PostgreSQL - https://www.postgresql.fr/entreprises) de l'association PostgreSQL.fr a pour objet de partager des retours d'expériences de grandes entreprises françaises (IGN, SocGen, MAIF, leboncoin) dans la mise en oeuvre de fonctionnalités parfois méconnues et pourtant largement éprouvées (Usage Géographique, NoSQL, JSON, OnPrem/OnCloud, ...).
Un temps d'échange sera privilégié pour permettre aux participants de poser toutes leurs questions sur PostgreSQL aux experts du PGGTIE qui viendront témoigner : adoption, nouveautés, difficultés, succès, etc ...
Elastic search
Moteur de recherche
Crée en 2010 par Shay Banon
Basé sur Apache Lucene (+multi-nodes)
Développé en Java
Open source (Licence Apache)
La société a été crée en 2012
La version courante est 2.0
Site officiel: https://www.elastic.co/
Introduction à ElasticSearch et les possibilités offertes par l'outil.
Retours d'expériences, recommandations et demonstration des outils gravitant autour : Kibana, Rivers, Logstash...
Téléchargez le fichier pour disposer des animations !
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...Guillaume MOCQUET
Cet article traite d’une part, de la solution de virtualisation d’infrastructure serveurs via la plateforme VMware vSphere / vCenter et d'autre part, de la plateforme open source d’analyse de logs des frontaux web en temps réel basée sur Rsyslog (extension du protocole basique Syslog), ElasticSearch, Logstash et Kibana (ELK Stack).
Logging with Elasticsearch, Logstash & KibanaAmazee Labs
This document discusses logging with the ELK stack (Elasticsearch, Logstash, Kibana). It provides an overview of each component, how they work together, and demos their use. Elasticsearch is for search and indexing, Logstash centralizes and parses logs, and Kibana provides visualization. Tools like Curator help manage time-series data in Elasticsearch. The speaker demonstrates collecting syslog data with Logstash and viewing it in Kibana. The ELK stack provides centralized logging and makes queries like "check errors from yesterday between times" much easier.
Slides de la présentation "Cassandra Java Driver" à l'Ippevent du 20 juin 2013
http://blog.ippon.fr/2013/06/03/ippevent-utiliser-les-nouvelles-apis-cassandra-le-2-juin-2013/
Indexation d'une base documentaire pour LiberationParis, France
Présentation des évolutions envisagées pour le moteur de recherche du quotidien Libération. Le back-office de Libération repose sur un moteur d'indexation, intensément utilisé pour la navigation et la recherche. Le moteur actuel, propriétaire, a atteint ses limites en termes de performances et de stabilité. Pilot Systems a donc développé un nouveau moteur, basé sur PostgreSQL. La grande volumétrie (500 000 articles, plus d'un million de contributions), l'utilisation massive de full text search et les contraintes de performances nous ont conduit à utiliser quelques heuristiques.
De 20 000 à 4 millions d'utilisateurs : mode d'emploiKhanh Maudoux
Présentation donnée au breizhCamp 2014 concernant un retour d'expérience d'une mission dont l'objectif était de passer de 20 000 utilisateurs à 4 millions.
Pour ce faire, il a été nécessaire de revoir certaines parties du SI afin de pouvoir stocker en masse les données des utilisateurs mais également afin d'être capable de les traiter.
Ce retour d'expérience montrera comment, avec une approche et des technologies simples, il a été possible de revoir la façon de faire et comment il a été proposé de traiter le sujet.
Il montrera également les pistes qui ont été étudiées et les solutions qui ont été retenues.
Les différents points qui seront abordés seront : Cassandra, REST, Netty, Spring Integration, Jolokia, Metrics saupoudré d'un peu de "Big Data".
Dans cette première partie, nous présenterons une architecture projet permettant de récupérer les données Yammer suivant une fenêtre temporelle paramétrable, de les insérer dans une base de données, et d’exposer la base de données avec des web services grâce au framework nodeJS.
PostgreSQL, plus qu'une base de données, une plateforme aux multiples usagesOpen Source Experience
PostgreSQL est un système de gestion de bases de données relationnelles (SGBDR) opensource qui suscite un engouement et une adoption de plus en plus large à travers le monde. Classé SGBD de l'année trois fois lors des quatre dernières années par le site DB-Engines, PostgreSQL va bien au-delà du simple moteur de bases de données. Il offre nativement un large ensemble de fonctionnalités auxquelles viennent se greffer plusieurs outils matures, en faisant une véritable plateforme pour tirer le meilleur des données qu'il gère.
Cette présentation proposée par le PGGTIE (Groupe de Travail Inter-Entreprises sur PostgreSQL - https://www.postgresql.fr/entreprises) de l'association PostgreSQL.fr a pour objet de partager des retours d'expériences de grandes entreprises françaises (IGN, SocGen, MAIF, leboncoin) dans la mise en oeuvre de fonctionnalités parfois méconnues et pourtant largement éprouvées (Usage Géographique, NoSQL, JSON, OnPrem/OnCloud, ...).
Un temps d'échange sera privilégié pour permettre aux participants de poser toutes leurs questions sur PostgreSQL aux experts du PGGTIE qui viendront témoigner : adoption, nouveautés, difficultés, succès, etc ...
Elastic search
Moteur de recherche
Crée en 2010 par Shay Banon
Basé sur Apache Lucene (+multi-nodes)
Développé en Java
Open source (Licence Apache)
La société a été crée en 2012
La version courante est 2.0
Site officiel: https://www.elastic.co/
Introduction à ElasticSearch et les possibilités offertes par l'outil.
Retours d'expériences, recommandations et demonstration des outils gravitant autour : Kibana, Rivers, Logstash...
Téléchargez le fichier pour disposer des animations !
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...Guillaume MOCQUET
Cet article traite d’une part, de la solution de virtualisation d’infrastructure serveurs via la plateforme VMware vSphere / vCenter et d'autre part, de la plateforme open source d’analyse de logs des frontaux web en temps réel basée sur Rsyslog (extension du protocole basique Syslog), ElasticSearch, Logstash et Kibana (ELK Stack).
Logging with Elasticsearch, Logstash & KibanaAmazee Labs
This document discusses logging with the ELK stack (Elasticsearch, Logstash, Kibana). It provides an overview of each component, how they work together, and demos their use. Elasticsearch is for search and indexing, Logstash centralizes and parses logs, and Kibana provides visualization. Tools like Curator help manage time-series data in Elasticsearch. The speaker demonstrates collecting syslog data with Logstash and viewing it in Kibana. The ELK stack provides centralized logging and makes queries like "check errors from yesterday between times" much easier.
Séminaire e-Xpert Solutions : Log Management
La centralisation des logs, 1ère étape avant la corrélation
Définition d’un log
Pourquoi les logs sont-ils si importants ?
Définition du terme Log Management
Log Management / SEM, quelles différences ?
Evolutions / Tendances
Les fonctionnalités premières d’un bon Log Management
Conclusion
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...Guillaume MOCQUET
Cet article traite d’une part, de la solution de virtualisation d’infrastructure serveurs via la plateforme VMware vSphere / vCenter et d'autre part, de la plateforme open source d’analyse de logs des frontaux web en temps réel basée sur Rsyslog (extension du protocole basique Syslog), ElasticSearch, Logstash et Kibana (ELK Stack).
Logstash is a tool for managing logs that allows for input, filter, and output plugins to collect, parse, and deliver logs and log data. It works by treating logs as events that are passed through the input, filter, and output phases, with popular plugins including file, redis, grok, elasticsearch and more. The document also provides guidance on using Logstash in a clustered configuration with an agent and server model to optimize log collection, processing, and storage.
Jilles van Gurp presents on the ELK stack and how it is used at Linko to analyze logs from applications servers, Nginx, and Collectd. The ELK stack consists of Elasticsearch for storage and search, Logstash for processing and transporting logs, and Kibana for visualization. At Linko, Logstash collects logs and sends them to Elasticsearch for storage and search. Logs are filtered and parsed by Logstash using grok patterns before being sent to Elasticsearch. Kibana dashboards then allow users to explore and analyze logs in real-time from Elasticsearch. While the ELK stack is powerful, there are some operational gotchas to watch out for like node restarts impacting availability and field data caching
Présentation de ElasticSearch / Digital apéro du 12/11/2014Silicon Comté
ElasticSearch est un moteur de recherche open source reposant sur une interface JSON, pouvant fonctionner en mode distribué et interrogeable facilement via son API REST. Cédric Nirousset, Développeur web indépendant, vous fera découvrir les intérêts de l’utiliser dans vos applications à travers quelques exemples pratiques.
A propos de l’intervenant : Cédric Nirousset, diplomé dut DUT SRC Montébliard en 2006 et de l’UTBM en Informatique en 2010, il est maintenant développeur web indépendant à Besançon, travaillant pour des entreprises de toutes tailles et tous horizons. Suivez Cédric sur Twitter @Nyr0
Rapport PFE-Implémentation de la solution Dual-Homing Hassane Sennouni
Le rapport de mon stage de fin d'études chez Huawei Maroc, qui pour sujet : Implémentation de la solution Dual-Homing pour la diversification des liens uplinks du MSAN MA5600T au sein du réseau METRO de Maroc Telecom.
Logs serveurs : du terme barbare à la simplicité de la réalitéKarles Nine
Logs serveurs :
du terme barbare à la simplicité de la réalité.
Vulgarisation et de démystification des log informatique et principalement des access log web.
Nantes JUG - Traçabilité dans une architecture distribuée avec Node.js et Mon...Sébastien Prunier
Les architectures distribuées soulèvent un certains nombre de problématiques en terme de traçabilité : détection des anomalies, suivi des utilisateurs, mesure des performances des différents services … Durant cette session, nous vous montrerons - démonstration à l'appui - comment nous avons apporté une solution simple à ces problématiques, en mettant en place un système de consolidation de logs avec Node.js et MongoDb.
Nantes JUG - mars 2013 - http://www.nantesjug.org
Solr and Elasticsearch in Action (at Breizhcamp)Lucian Precup
Lucene @ Breizhcamp
Lucene, la fameuse technologie pour l’indexation, la recherche et l’analyse du texte a été présente à l'édition 2012 de Breizhcamp à travers deux sessions « Tools In Action » : ElasticSearch et Solr.
Allant au-delà du tutorial, ces deux sessions ont permis de découvrir des patterns d’architecture pour l'intégration d'un moteur de recherche et navigation dans un SI ainsi que de comprendre l’alternative qu’offrent les moteurs de recherche et les approches NoSQL aux bases de données relationnelles. Des subtilités sur l’analyse du texte ont été abordées afin de montrer les forces mais aussi les limites de la magie Lucene. Les démonstrations de chaque technologie et des outils dans leur écosystème ont rendu la présentation plus interactive.
La vidéo de la présentation se trouve sur Parleys (http://www.parleys.com/#st=5&id=3351).
JEE et JSF : des technologies qui ont effrayé et fait souffrir bon nombre de développeurs ! Elles auront peut être laissé à certains d’entre vous un goût amer mais ont énormément évolué ces dernières années pour finalement devenir légères et productives. Découvrons en quoi ces solutions peuvent vous aider dans le cadre de vos différents projets et ouvrons un œil neuf sur ces technologies d’avenir.
Programme:
- JEE 6 : historique, nouveautés, testabilité.
- JBoss Seam 3 – Framework de contrôle applicatif : context and dependancies injections, événements, Bean validator, restriction des vues.
- JSF 2 – Framework de présentation graphique : page description language, composants composite, PrettyFaces, Ajax 4 JSF, RichFaces, PrimeFaces.
International Journal of Engineering Research and Development (IJERD)IJERD Editor
call for paper 2012, hard copy of journal, research paper publishing, where to publish research paper,
journal publishing, how to publish research paper, Call For research paper, international journal, publishing a paper, IJERD, journal of science and technology, how to get a research paper published, publishing a paper, publishing of journal, publishing of research paper, reserach and review articles, IJERD Journal, How to publish your research paper, publish research paper, open access engineering journal, Engineering journal, Mathemetics journal, Physics journal, Chemistry journal, Computer Engineering, Computer Science journal, how to submit your paper, peer reviw journal, indexed journal, reserach and review articles, engineering journal, www.ijerd.com, research journals,
yahoo journals, bing journals, International Journal of Engineering Research and Development, google journals, hard copy of journal
Lors du PostgreSQL Lyon User Group, j'ai présenté Play SQL. C'est un outil de gestion de données présenté comme un tableur, basé sur PostgreSQL, et vendu en tant que plugin d'Atlassian Confluence. Pas besoin de s'y connaître en CREATE TABLE, à destination des gens qui n'ont pas le temps d'être DBA.
Les micro orm, alternatives à entity frameworkMSDEVMTL
L'arrivée il y 10 ans d'Entity Framework a permis de manipuler une base de données sans écrire une seule ligne de SQL.Entity Framework a apporté son lot d'avantages mais aussi d'inconvénients.
Aujourd'hui il existe différentes alternatives à ce dernier, les micro ORM.Nous allons voir en quoi ils sont intéressants : leur compatibilité avec les différentes bases de données, leur simplicité, leur performance, la communauté autour de ces derniers.
Activeeon est un éditeur de logicels open source permettant de répondre aux problématiques suivantes: orchestration IT du big data et de machine learning, création de workflows, planification et contôle de l'exécution de jobs, passage à l'échelle de l'infrastructure informatique, monitoring et migration cloud.
Découvrez les avantages de la solution ProActive et les cas d'utilisation clients.
Contactez Activeeon
Site web: https://www.activeeon.com/
Plateforme d'essai: https://try.activeeon.com/
LinkedIn: https://www.linkedin.com/company/activeeon/
Twitter: https://twitter.com/activeeon
contact@activeeon.com
Si la baisse de la productivité est effective dans toutes les économies développées... elle est particulièrement marquée en France. Au niveau national, cet essoufflement touche tous les secteurs, et plus particulièrement celui de l’industrie, usuellement caractérisé par des gains de productivité élevés. Depuis la crise Covid, le secteur industriel contribue pour 35 % environ à cette perte, alors qu’il ne représente que 9,3 % de la valeur ajoutée nationale brute en 2023. Dans ce contexte, est-il possible de mener une politique de réindustrialisation du pays sans y associer un objectif de hausse des gains de productivité ?Non rappelle ce Cube. Au contraire, ces deux objectifs, jusqu’alors indépendants l’un de l’autre, sont désormais deux défis à relever conjointement. En analysant les différents explications à la baisse de celle-ci observée en France et dans les autres économies développées, ce Cube suggère que l’augmenter en parallèle d’une politique de réindustrialisation sous-entend une réallocation des facteurs de production vers les entreprises industrielles à fort potentiel. Elle suppose également une une meilleure affectation des ressources.
1. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Pourquoi la gestion des logs ?
Les logs (ou traces) sont souvent peu ou mal exploités de part notamment leur
quantité. Cependant, ils révèlent un grand nombre d’informations comme par
exemple :
-Des tentatives d’intrusion
-Des erreurs système
-L’état de machines ou de services
-La fréquentation de sites
-Etc …
Elasticsearch, logstash , Kibana
(plus Redis et bien d’autres …)
2. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Outil de collecte, analyse et stockage des logs. Développé en Jruby.
Mise en forme des logs et enrichissement via filtres et Grok ( chapitre 3 de
formation)
Export des données en base de donnée Elasticsearch, fichier txt.
Traitement de flux de logs parallèle pour un même stockage.
3. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
SGBD Clé-Valeur scalable No-SQL.
Ecrit en C ANSI.
N’existe pas en mode cluster.
Conserve l’intégralité des données en RAM ou en mémoire virtuelle.
Principe de réplication maître/esclave pour la répartition de charge.
4. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Crée par Shay Banon
Ecrit en Java.
Elasticsearch est un moteur de recherche open-source basé sur Lucene avec
une architecture type cloud computing.
Il repose sur une BD No-SQL avec des flux d’information en JSON.
5. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Interface web permettant de rechercher des infos stockées par logstash et
Elasticsearch.
Sujet du deuxième chapitre de ce cours.
Permet de créer des outils d’analyse de logs grâce à des tableaux de bord
personnalisés.
6. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
L’ensemble ELK conduit donc à une avancée dans la matière de traitement de la
donnée et est voué à un avenir radieux, notamment en ce qui concerne les
futures problématiques de voiture connectée.
Les possibilités sont immenses et seule la limite de stockage s’impose dans ce
véritable écosystème.
Le second chapitre portera sur l’utilisation de Kibana pour exploiter les logs.