Découvrez les multiples usages d'elasticsearch pour améliorer votre ROI, votre productivité ou la sécurité de votre entreprise
Contactez Spoon Consulting pour vos besoins Elasticsearch sur https://spoon-elastic.com/
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Jean-Pierre Riehl
-- session présentée dans le cadre du SQLSaturday Montréal 2017 --
Azure Data Lake est LA technologie "big data" maison de Microsoft. En provenance de MS Research (nom de code Cosmos), elle est utilisée en interne par les équipes X-Box, Bing, O365 depuis quelques années déjà. Cette technologie est disponible depuis l'été dernier dans Azure et s'enrichit mois après mois.
ADL, concrètement, c'est quoi ? C'est la possibilité de stocker et analyser une quantité illimitée de données et de requêter avec un nouveau langage : le U-SQL
La Suite Elastic à BPCE IT: Centre de service Elastic et Security AnalyticsElasticsearch
BPCE-IT présentera la mise en place d’un centre d’excellence Elastic dans le cadre de la centralisation des logs du groupe, du suivi d’activité et de l’aide au diagnostic. Egalement sera couvert l’utilisation d’Elastic dans un contexte de Security Analytics afin de détecter des attaques, d’investiguer et d’automatiser les procédures de remédiation du SOC.
Une base de données, pourquoi faire ? Le SQL, c’est quoi ce langage ? Un DBA, ça sert à quoi ? Cette session est là pour démystifier la base de données du point de vue des développeurs. Au programme : des bonnes pratiques, de la méthodologie, quelques tips techniques… De quoi rapprocher les développeurs et les DBA.
Session découverte de la Logical Data Fabric soutenue par la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/3oGxZmz
Reconnu en tant que leader dans le Gartner® Magic Quadrant™ for Data Integration Tools ainsi que Customers’ Choice 3 années consécutives, Denodo Platform, soutenue par la Data Virtualization, permet une approche moderne de l'intégration, de la gestion et de la livraison des données, en offrant des fonctionnalités clés telles que la couche d'abstraction des données, les requêtes optimisées par l'IA pour les charges de travail analytiques complexes, le data catalog basé sur l'IA/ML, et la gestion de l'infrastructure cloud.
Découvrez lors de cette session d'1h30 en quoi la Logical Data Fabric et la Data Virtualization révolutionnent l'approche métier & IT dans l’accès, la livraison, la consommation, la gouvernance et la sécurisation de vos données, quel que soit l'âge de votre technologie, le format de la donnée ou son emplacement. Cette technologie mature comble le fossé entre l’IT et les utilisateurs métier, et permet des économies considérables en termes de coûts et de temps.
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/34EYBaE
Découvrez la Data Virtualization lors d'un atelier organisé à distance pour les professionnels de la donnée mardi 29 octobre. Quel que soit votre rôle, responsables IT, architectes, data scientists, analystes ou CDO, vous découvrirez comment la Data Virtualization permet de livrer des données en temps réel et accéder à tout type de source de données pour en tirer de la valeur.
Azure Data Lake, le Big Data 2.0 - SQL Saturday Montreal 2017Jean-Pierre Riehl
-- session présentée dans le cadre du SQLSaturday Montréal 2017 --
Azure Data Lake est LA technologie "big data" maison de Microsoft. En provenance de MS Research (nom de code Cosmos), elle est utilisée en interne par les équipes X-Box, Bing, O365 depuis quelques années déjà. Cette technologie est disponible depuis l'été dernier dans Azure et s'enrichit mois après mois.
ADL, concrètement, c'est quoi ? C'est la possibilité de stocker et analyser une quantité illimitée de données et de requêter avec un nouveau langage : le U-SQL
La Suite Elastic à BPCE IT: Centre de service Elastic et Security AnalyticsElasticsearch
BPCE-IT présentera la mise en place d’un centre d’excellence Elastic dans le cadre de la centralisation des logs du groupe, du suivi d’activité et de l’aide au diagnostic. Egalement sera couvert l’utilisation d’Elastic dans un contexte de Security Analytics afin de détecter des attaques, d’investiguer et d’automatiser les procédures de remédiation du SOC.
Une base de données, pourquoi faire ? Le SQL, c’est quoi ce langage ? Un DBA, ça sert à quoi ? Cette session est là pour démystifier la base de données du point de vue des développeurs. Au programme : des bonnes pratiques, de la méthodologie, quelques tips techniques… De quoi rapprocher les développeurs et les DBA.
Session découverte de la Logical Data Fabric soutenue par la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/3oGxZmz
Reconnu en tant que leader dans le Gartner® Magic Quadrant™ for Data Integration Tools ainsi que Customers’ Choice 3 années consécutives, Denodo Platform, soutenue par la Data Virtualization, permet une approche moderne de l'intégration, de la gestion et de la livraison des données, en offrant des fonctionnalités clés telles que la couche d'abstraction des données, les requêtes optimisées par l'IA pour les charges de travail analytiques complexes, le data catalog basé sur l'IA/ML, et la gestion de l'infrastructure cloud.
Découvrez lors de cette session d'1h30 en quoi la Logical Data Fabric et la Data Virtualization révolutionnent l'approche métier & IT dans l’accès, la livraison, la consommation, la gouvernance et la sécurisation de vos données, quel que soit l'âge de votre technologie, le format de la donnée ou son emplacement. Cette technologie mature comble le fossé entre l’IT et les utilisateurs métier, et permet des économies considérables en termes de coûts et de temps.
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
Watch full webinar here: https://bit.ly/34EYBaE
Découvrez la Data Virtualization lors d'un atelier organisé à distance pour les professionnels de la donnée mardi 29 octobre. Quel que soit votre rôle, responsables IT, architectes, data scientists, analystes ou CDO, vous découvrirez comment la Data Virtualization permet de livrer des données en temps réel et accéder à tout type de source de données pour en tirer de la valeur.
Salesforce 101 : connaître les bases avant de démarrer TrailheadDavid Wise
Salesforce est un nouvel outil pour vous ?
Avant de vous plonger dans Trailhead, tour d'horizon des connaissances primaires à connaître afin de ne pas être complètement perdu.
Le Big Data en temps réel n’est plus seulement réservée projets à gros budget. En s'appuyant sur Apache Spark, Talend 6 permet aux entreprises de toute taille et de tout secteur d’activité de convertir des Big Data et données issues de l’Internet des Objets en connaissances exploitables immédiatement.
Les exemples d’utilisation d’analytique en temps réel tels que les recommandations personnalisées, la détection des fraudes, les soins préventifs et la tarification prédictive représentent seulement un échantillon des possibilités qui s’offrent aux entreprises ayant accès en temps réel aux informations métier. Cette présentation permet de découvrir les nouvelles capacité de Talend 6 dans ce domaine et aussi de manière plus générale, et aussi comment :
- révéler les données utiles concernant vos produits, clients, et opérations ;
- passer sans efforts au traitement Big Data temps réel et aux applications pour données décisionnelles ;
- capturer et traiter des données issues de l’Internet des Objets facilement pour délivrer des insights rapidement ;
- fournir des données plus sécurisées et fiables grâce à la qualité de données.
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Amazon Web Services
Cette présentation propose une vue d'ensemble sur l'utilisation du Cloud AWS dans le but de rendre vos infrastructures plus flexibles, disponibles et économiques tout en améliorant la sécurité de vos applications.
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
Le Cloud révolutionne la manière de concevoir, de gérer et d'utiliser le système d'information. En effet, il offre des bénéfices déterminants pour répondre aux enjeux des entreprises : maîtrise du Time to Market, accélération des cycles d’innovation, gestion du risque disruptif, maîtrise des coûts, ect.
Dans cette session, nous présenterons une démarche globale pour bâtir votre stratégie Coud. Ainsi que les différents modèles (cloud public / hybride) et technologies Microsoft Azure pour faciliter et réussir votre transition vers le Cloud.
Nous aborderons différents scénarios et retours d’expériences.
Lors du PaaS Tour de France, j'ai co-organisé et réalisé un talk sous forme de REX sur Hager
Vincent Thavonekham Regional Director
AZUG FR-MUG Lyon
VISEO
Big Data, tout le monde en parle…
Soft Computing le pratique au quotidien : applications marketing, concepts, outils, retours d’expérience.
Big Data s’impose comme une réalité incontournable. Mais qu’en est-il réellement des retours sur investissements ? Quelles en sont les applications concrètes en marketing ? Par où et comment commencer ? Comment s’organiser entre le marketing et la DSI pour tirer profit des big data ? Comment exploiter les données des réseaux sociaux et les logs web ? Quelles sont les données légalement et techniquement exploitables ? Comment choisir entre internalisation et externalisation, entre « first party » et « third party » ? Quelles possibilités pour capter et exploiter les données issues de la mobilité ?
Notre expérience de plusieurs dizaines d’années hommes sur des projets concrets et nos investissements en R&D nous permettent aujourd’hui de vous apporter des réponses à ces multiples questions. Nous nous appuierons en particulier sur 3 cas concrets illustrant :
1. L’augmentation des ventes croisées grâce à un moteur de recommandations en ligne pour un site de e-Commerce ;
2. L’enrichissement de la connaissance et de l’interaction client et marché par une écoute active des réseaux sociaux ;
3. Une amélioration de l’expérience client grâce au monitoring et à l’analyse des parcours client.
La plateforme Microsoft Experiences repose sur un système en backoffice bâti sur les derniers produits et services Microsoft.
Dans cette session, vous découvrirez au travers d’un cas concret en production, les nouveautés et les bénéfices apportés par ASP.NET Core 1.0, les bonnes pratiques ainsi que les pièges à éviter pour le faire fonctionner de manière optimale dans Azure.
Seront également abordés les différentes possibilités offertes par ASP.NET et Azure pour rendre votre plateforme extensible en ouvrant de manière sécurisée l’accès à vos APIs.
Retrouvez la présentation de retour d'expérience utilisateurs de la plateforme Simplicité. Qui de mieux pour en parler que des clients satisfaits.
Partie 1 : Présentation de la plateforme Simplicité
Partie 2 : Témoignage de la startup Lofty
Partie 3: Témoignage d'un client grand compte Silca filiale du groupe Crédit-Agricole
Partie 4 : IBM
Track 2 - Atelier 1 - Big data analytics présenté avec IntelAmazon Web Services
En savoir plus sur les outils, techniques et technologies pour travailler de manière productive avec des données à n'importe quelle échelle. Vous découvrirez la gamme d'outils d'analyse des données disponible sur AWS et que vous pouvez utiliser pour collecter, stocker, analyser et partager vos données, pour des volumes allant du giga-octets au péta-octets (1024 tera-octets). Nous discuterons d’Amazon Elastic MapReduce, d’Hadoop, de données structurées et non structurées, et des types d'instances Amazon EC2 qui permettent des analyses hautes performances à coûts optimisés.
Contenu connexe
Similaire à Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting
Salesforce 101 : connaître les bases avant de démarrer TrailheadDavid Wise
Salesforce est un nouvel outil pour vous ?
Avant de vous plonger dans Trailhead, tour d'horizon des connaissances primaires à connaître afin de ne pas être complètement perdu.
Le Big Data en temps réel n’est plus seulement réservée projets à gros budget. En s'appuyant sur Apache Spark, Talend 6 permet aux entreprises de toute taille et de tout secteur d’activité de convertir des Big Data et données issues de l’Internet des Objets en connaissances exploitables immédiatement.
Les exemples d’utilisation d’analytique en temps réel tels que les recommandations personnalisées, la détection des fraudes, les soins préventifs et la tarification prédictive représentent seulement un échantillon des possibilités qui s’offrent aux entreprises ayant accès en temps réel aux informations métier. Cette présentation permet de découvrir les nouvelles capacité de Talend 6 dans ce domaine et aussi de manière plus générale, et aussi comment :
- révéler les données utiles concernant vos produits, clients, et opérations ;
- passer sans efforts au traitement Big Data temps réel et aux applications pour données décisionnelles ;
- capturer et traiter des données issues de l’Internet des Objets facilement pour délivrer des insights rapidement ;
- fournir des données plus sécurisées et fiables grâce à la qualité de données.
Un Voyage dans le Cloud: Les Meilleures Pratiques Pour Démarrer Dans Le Cloud...Amazon Web Services
Cette présentation propose une vue d'ensemble sur l'utilisation du Cloud AWS dans le but de rendre vos infrastructures plus flexibles, disponibles et économiques tout en améliorant la sécurité de vos applications.
Exadays cloud – Enjeux et Transformation du SISamir Arezki ☁
Le Cloud révolutionne la manière de concevoir, de gérer et d'utiliser le système d'information. En effet, il offre des bénéfices déterminants pour répondre aux enjeux des entreprises : maîtrise du Time to Market, accélération des cycles d’innovation, gestion du risque disruptif, maîtrise des coûts, ect.
Dans cette session, nous présenterons une démarche globale pour bâtir votre stratégie Coud. Ainsi que les différents modèles (cloud public / hybride) et technologies Microsoft Azure pour faciliter et réussir votre transition vers le Cloud.
Nous aborderons différents scénarios et retours d’expériences.
Lors du PaaS Tour de France, j'ai co-organisé et réalisé un talk sous forme de REX sur Hager
Vincent Thavonekham Regional Director
AZUG FR-MUG Lyon
VISEO
Big Data, tout le monde en parle…
Soft Computing le pratique au quotidien : applications marketing, concepts, outils, retours d’expérience.
Big Data s’impose comme une réalité incontournable. Mais qu’en est-il réellement des retours sur investissements ? Quelles en sont les applications concrètes en marketing ? Par où et comment commencer ? Comment s’organiser entre le marketing et la DSI pour tirer profit des big data ? Comment exploiter les données des réseaux sociaux et les logs web ? Quelles sont les données légalement et techniquement exploitables ? Comment choisir entre internalisation et externalisation, entre « first party » et « third party » ? Quelles possibilités pour capter et exploiter les données issues de la mobilité ?
Notre expérience de plusieurs dizaines d’années hommes sur des projets concrets et nos investissements en R&D nous permettent aujourd’hui de vous apporter des réponses à ces multiples questions. Nous nous appuierons en particulier sur 3 cas concrets illustrant :
1. L’augmentation des ventes croisées grâce à un moteur de recommandations en ligne pour un site de e-Commerce ;
2. L’enrichissement de la connaissance et de l’interaction client et marché par une écoute active des réseaux sociaux ;
3. Une amélioration de l’expérience client grâce au monitoring et à l’analyse des parcours client.
La plateforme Microsoft Experiences repose sur un système en backoffice bâti sur les derniers produits et services Microsoft.
Dans cette session, vous découvrirez au travers d’un cas concret en production, les nouveautés et les bénéfices apportés par ASP.NET Core 1.0, les bonnes pratiques ainsi que les pièges à éviter pour le faire fonctionner de manière optimale dans Azure.
Seront également abordés les différentes possibilités offertes par ASP.NET et Azure pour rendre votre plateforme extensible en ouvrant de manière sécurisée l’accès à vos APIs.
Retrouvez la présentation de retour d'expérience utilisateurs de la plateforme Simplicité. Qui de mieux pour en parler que des clients satisfaits.
Partie 1 : Présentation de la plateforme Simplicité
Partie 2 : Témoignage de la startup Lofty
Partie 3: Témoignage d'un client grand compte Silca filiale du groupe Crédit-Agricole
Partie 4 : IBM
Track 2 - Atelier 1 - Big data analytics présenté avec IntelAmazon Web Services
En savoir plus sur les outils, techniques et technologies pour travailler de manière productive avec des données à n'importe quelle échelle. Vous découvrirez la gamme d'outils d'analyse des données disponible sur AWS et que vous pouvez utiliser pour collecter, stocker, analyser et partager vos données, pour des volumes allant du giga-octets au péta-octets (1024 tera-octets). Nous discuterons d’Amazon Elastic MapReduce, d’Hadoop, de données structurées et non structurées, et des types d'instances Amazon EC2 qui permettent des analyses hautes performances à coûts optimisés.
Similaire à Devcon Ile Maurice présentation Use Cases Elasticsearch par Spoon Consulting (20)
6. 6
Histoire
● Créé en 2004 par Shay Banon sous le nom de Compass dans le but de créer un système de recherche distribué avec une interface Json
● Renommé Elasticsearch en 2010
● En 2018, avant son entrée en bourse, l’entreprise était évaluée autour de 3 Milliards de dollars
Elasticsearch
Spoon Consulting
Confidential
Kesako ?
Base de données NoSQL distribuée optimisée pour la recherche
● Base de donnée NoSql
● Basée sur Apache Lucene (optimisé pour la recherche full text)
● Open Source
● Distribué
● Offre gratuite
● Licences pour services payant (licence OpenSource revue en 2019)
● On Premise ou Service gérés (cloud.elastic.co)
8. 8
Search
WHY
HOW
WHAT
You know…. for search…
Mais mieux, plus vite et sur plus de datas
● Surcouche a Apache Lucene
● Architecture distribuée (niveau serveurs et niveau data)
● Scoring
● “Facetting”
● Stemming, typo tolérance, etc….
Elasticsearch vous permettra d’ :
● Améliorer le ROI d’un site e-commerce ou d’un site d’information
● Améliorer la productivité interne des salariés
● Exploiter l’ensemble des données existantes de l’entreprise (structurées et non-
structurées)
9. 9
Slide Démo ?
Quantités et sections disponibles mis à
jours en fonction de la recherche
(faceting)
Recherche assistée
Suppression des mots inutiles
(le, des, etc…)
Gestion des erreures typographiques
Filtre par range (ici les dates)
Recherche par score
Résultats provenant directement
d’Elastic Search, pas de requête
supplémentaire en BDD
Réponse en quelques milli-secondes
sur plus de 10 000 000 d’articles
11. 11
Cool stuffs
● Score Ordering
○ Utilisation du relevance score de lucene
(TF:IDF)
○ Boost
○ Personnalisation (ajout des votes pour
influencer le score, etc...)
● Typo tolerant
○ Suppression des accents
○ Ignore la casse
○ Prise en compte des singuliers / pluriels
○ Faute de typo
Recherche :
elsticSearch
12. 12
Cool stuffs
● “Facetting”
○ Aggregation live dans une seule requête
○ Comptes calculés en live avec la requête
○ Permet de créer des catégories dynamiques
● Recherche sur plusieurs index
○ GET posts-fr,posts-en/_search
○ GET posts-*/_search
● Text suggestion
● “More like this” queries
13. 13
Utilisations
● On Premise - Souplesse totale
○ Avec ou sans licences OpenSource
○ Orchestrateurs (ECE / ECK)
● Cloud - Simplicité, souplesses et best practices
○ Pure players
○ Amazone
○ Elastic
■ Rollover updates / Snapshot management
● PAAS - pas de gestion serveur, stats, etc...
○ Enterprise Search
○ Api unifiée
○ Services de pilotages
● SAAS - website crawler
○ Site Search
Workplace Search
● Solution packagé de recherche
multisource
● Connecteurs (GIT, Jira, Salesforce,
Dropbox, Drive, Slack, Custom...)
● Interface graphique fournie
16. 16
Observabilité
WHY
HOW
WHAT
● Volume de donnée important
● Structuré ou Non structurées (ou format non connu entièrement à l’avance)
● Log
● Infra distribuée (clusters, nodes, shards, réplicas, segments)
● Ingestion / ETL (Logstash, Beats, API)
● Kibana (visualisation, Dashboarding, …)
Elasticsearch et Kibana vous permettront de créer des dashboards complets
• Mise à jour en temps réel
• Business intelligence
• Performance, bug
17. 17
Slide Démo
Dashboard sur les logs de compagnie aérienne
Sectorisation Géographique
contextuelle
Graphiques variés mis à jour en temps
réel
Editeur de graph simple
Pas de limite de volumétrie
21. 21
Sécurité
WHY
HOW
WHAT
La vérité est dans les logs
Oui…. mais il y en a beaucoup
Et c’est pas clair
Ingestion simplifiée et Ultra rapide des logs avec LogStash et Beats
Parsing et enrichissement des données avec les Pipelines
Envoyez des Mo, des Go ou des Peta par jours
Visualisation Kibana , Dashboard et SIEM
Machine Learning - EndPoint
Elasticsearch vous permettra dans ce contexte de :
• De superviser l’ensemble de votre infrastructure de manière centralisée (serveurs,
routeurs, pc de bureaux, etc…)
• Analyser les comportements de vos utilisateurs, détecter les anomalies, vous alerter,
déclenchez des routines
• Détecter les comportements anormaux sans avoir besoin de les connaitres et les
anticiper grâce au Machine Learning.
• Bloquer les menaces grâce au endpoint
22. 22
Slide Démo
Une suite complète pour tous vos cas d’usage
Supervisez vos serveurs
Vue détaillée en temps réel
Machine learning
Affichage souple de données non structurées
Gérez des Peta-Octet des données pour surveiller toute votre infrastructure
en temps réel dans un seul outil
Démo Siem par Elastic https://www.elastic.co/fr/videos/elastic-siem-5min
Démo Endpoint par Elastic https://www.youtube.com/watch?v=oZhvYAc1D5w