SlideShare une entreprise Scribd logo
© Copyright 2015 – Keyrus 1
© Copyright 2015 – Keyrus 2© Copyright 2015 – Keyrus 2
MEETUP
Présentation des services Google
Pierre Coste – Leader Technique BI & Search & Cloud
02/05/2017
© Copyright 2015 – Keyrus 3© Copyright 2015 – Keyrus - – Réf. Modèle : KFR_C3_COP01_V02(Reporting Mensuel Projet au Forfait) 3
SOMMAIRE
• Présentation & tour de table
• Présentation du Cloud Google
• Présentation succincte des services
• Démo d’utilisation de 4 services Google
• Comment utiliser Google pour intégrer plusieurs 10K d’event / second
© Copyright 2015 – Keyrus 4
CLOUD : UNE OFFRE DE SERVICE
UTILISATION
• A LA DEMANDE
• « PAY AS YOU USE »
UNITÉ « BIG DATA »
• LE TO, MD SONT
L’UNITÉ DE BASE
• FAIT POUR ÊTRE
SCALABLE
• AVEC DES QUOTAS
EN STANDARD
AMIS QUI
S’AUGMENTENT
© Copyright 2015 – Keyrus 5
CLOUD : DES BRIQUES À ASSEMBLER
PROCHE DE LA BI
STANDARD
• INTÉGRATION
• STOCKAGE
• ANALYTIQUE
• DATAVIZ
• PLUSIEURS CHOIX
TECHNOLOGIQUE
• No SQL /
Relationnel /
BigData
• VM /
Container
© Copyright 2015 – Keyrus 6
GOOGLE CLOUD STORAGE
• Stockage de fichier dans le cloud
• Plusieurs modes de stockages et d’accès
• Utiliser par les autres services
• Chargement bulk pour Bigquery etc…
Le stockage
∕ Stockage temps réel
∕ Stockage standard
∕ Archivage à froid
© Copyright 2015 – Keyrus 7
GOOGLE CLOUD COMPUTE ENGINE
• Système de VM
• Windows (coût licence)
• Linux
• VM avec des Sql Server
• Choix des configuration des vm
• CPU
• RAM
• Disque
• Choix du lieu
• Machine préemptible
• Jusqu’ 64 TB de disque SSD en mode SAN
• Automatisation très simple à mettre en place
Le fonctionnement
∕ Démarrage rapide des
machines
∕ Coût à l’usage (min 10 min)
∕ Utilisation de groupe de
machines pour des
démarrages en masse
Le coût
∕ 8 CPU
∕ 30 GB de RAM
∕ Normal : 40 cts/heure
∕ Préemtible : 8 cts/heure
∕ Le coût baisse en fonction de
l’utilisation
© Copyright 2015 – Keyrus 8
GOOGLE CLOUD FUNCTION (ALPHA)
• En mode beta,
• Création de microservices http
• Fonction éphémère « serverless »
• Permet d’appeler d’autres services
• Trigger Pub/sub…
• Ecrite dans Bigquery
Le coût
∕ 2 millions d’appel / mois
gratuit
∕ Ensuite 40 cts/ million
∕ Cout à l’exécytion en fonction
du couple CPU/RAM
∕ 10M d’appel / 128 MB Ram
@200mHz sur 300 ms  7€/
mois
Le fonctionnement
∕ Développement en Node.js
∕ Lié à CloudStorage pour la
config …
© Copyright 2015 – Keyrus 9
GOOGLE PUB/SUB
• Système de message
• Venant du monde java avec les files de messages
• Notion de publication de message à un topic
• Connexion avec d’autres services comme dataflow
• Limite de message à 10K/s puis 1M/s si demande d’augmentation
Le coût
∕ Cout au million de message
avant 2017
∕ < 250 M : 40 cts €
∕ > 1Md : 10 cts €
∕ > 1,8Md : 5cts €
∕ Depuis 2017, cout au volume
∕ 10 premier Gb gratuit
∕ Entre 4 et 6 cts le GB
© Copyright 2015 – Keyrus 10
GOOGLE DATAFLOW
• Système d’intégration de données en temps réel
• Auto Scaling
• Développement via des classes Java
• Intégré à Apache sous le nom « Apache BEAM »
• S’exécute sur plusieurs « runners » dont dataflow
Fonctionnement
∕ En mode Batch comme un
ETL
∕ En mode Steaming pour du
temps réel
Le coût
∕ Batch
CPU : 5 cts/heure
RAM : 0,3 cts / GB / h
∕ Streaming
CPU : 7 cts/heure
RAM : 0,3 cts / GB / h
Pipelines : ensemble d’opération qui
lit les données, les transforme et qui
écrit les résultats / job
PCollections : Ensemble de données
(bounded - fixe / unbounded -
variable)
Transforms : Action pour manipuler
les données, prend N PCollection en
entrée et en fournit une autre en
sortie
sources and sinks : sources en entrée
/ Sink en sortie
© Copyright 2015 – Keyrus 11
GOOGLE DATAFLOW
• Gérer les données dans le temps et de npas être en avance ou en retard
© Copyright 2015 – Keyrus 12
GOOGLE DATAFLOW
• Plusieurs langages, plusieurs runners…
© Copyright 2015 – Keyrus 13
PRÉSENTATION BIGQUERY
• Stockage en colonne VS stockage en ligne
• Full scan de la table à chaque requête
• Wildcard ou partitionnement pour éviter un full scan
• Partition en date
• Mise en cache de chaque requête
• Chargement Bulk
• Gestion des données « nesteed »
• Cache automatique
• Données cryptées et compréssées
• Temps d’exécution « rapide »
• 15s pour 5Md de lignes
• Pas instantanée mais n’est dépendant du volume
Les données
Une table alimentée était immuable
Update et delete depuis quelques
mois
∕ Stockage : $0.020 per GB, per
month puis 0.01 passé 90 jours
∕ Requête : $5 per TB (1er TB gratuit)
∕ Chargement / Copie / Export gratuit
Les couts
© Copyright 2015 – Keyrus 14
LES AUTRES
• Spanner : base de données relationnel haute disponibilités avec réplication
• BigTable : NoSQL Database
• Cloud SQL : Cloud MySQL database
• Dataproc : Déployer des cluster Hadoop & Spark
• Vision API : Détection d’image
• TensorFlow : Machine Learning
© Copyright 2015 – Keyrus 15
QUELQUES RESSOURCES
• Le calcul du prix
• Repository GitHub pour les
librairies de test
• La documentation avec des
exemples..
Les liens
• https://cloud.google.com/produ
cts/calculator/
• https://cloud.google.com/docs/
• https://github.com/GoogleClou
dPlatform/
© Copyright 2015 – Keyrus 16© Copyright 2015 – Keyrus 16
DÉMO
Chaine complète
- Cloud Storage
- PUB / SUB
- Dataflow
- Bigquery
- DataStudio
© Copyright 2015 – Keyrus 17
ARCHITECTURE DE LA DÉMO
X INSTANCES AVEC UN
SCRIPT JAVA QUI POUSSE
DES MESSAGES
UN TOPIC QUI REÇOIT DES
MESSAGES
STOCKAGE DU
DÉVELOPPEMENT
DATAFLOW
PIPELINE D’INTÉGRATION
DES MESSAGES :
5 À 10K MESSAGE /
SECONDE
INSERTION EN STREAMING
+ RESTITUTION EN TEMPS
RÉEL
« DATAVIZ » EN
REQUÉTANT EN
DIRECT SUR
BIGQUERY
© Copyright 2015 – Keyrus 18
DATAFLOW
Explication
• Installation d’un plugin Java
pour faciliter le développement
• Runner intégré avec
configuration pour définir le
projet Google + Cloud Storage
• Développement d’un projet
BEAM avec les étapes suivantes
• Lecture dans PUB/SUB
• Transformation du
message
• Insertion dans
Bigquery
© Copyright 2015 – Keyrus 19
DATAFLOW
Explication
• Démarrage du projet
• Copie des fichiers sur un
ensemble Cloud Storage
© Copyright 2015 – Keyrus 20
DATAFLOW + PUB SUB
Explication
• Instance dataflow visible sur
linterface Google
• Démarrage de machine
compute engine (3 par défaut)
• Démarrage de Xmachines pour
insérer des messages dans un
topic pub/sub
• Envoie de 1,5 millions
d’évènements en 5 minutes
• Environ 4 à 5K events/s à
traiter par les instances dataflow

Contenu connexe

Tendances

Modern DevOps - kill the bottleneck (part 1/2)
Modern DevOps - kill the bottleneck (part 1/2)Modern DevOps - kill the bottleneck (part 1/2)
Modern DevOps - kill the bottleneck (part 1/2)
Loic Ortola
 
Comment l’architecture événementielle révolutionne la communication dans le S...
Comment l’architecture événementielle révolutionne la communication dans le S...Comment l’architecture événementielle révolutionne la communication dans le S...
Comment l’architecture événementielle révolutionne la communication dans le S...
Vincent Lepot
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
Microsoft
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS
 
Google Compute Engine
Google Compute EngineGoogle Compute Engine
Google Compute Engine
Jean-Baptiste Claramonte
 
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delàAzure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Microsoft
 
Comment calculer le coût de Windows Azure ?
Comment calculer le coût de Windows Azure ?Comment calculer le coût de Windows Azure ?
Comment calculer le coût de Windows Azure ?Microsoft Décideurs IT
 
Résilience avec Hystrix dans Liferay
Résilience avec Hystrix dans  LiferayRésilience avec Hystrix dans  Liferay
Résilience avec Hystrix dans Liferay
Quang Tu LE
 
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshopImporter des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Nuxeo
 
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
MS Cloud Summit
 
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Nuxeo
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?
Victor Coustenoble
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le Cloud
Victor Coustenoble
 
Toutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBToutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDB
Content Square
 
20120402 nantes gtug - app engine
20120402   nantes gtug - app engine20120402   nantes gtug - app engine
20120402 nantes gtug - app engineGDG Nantes
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016
Guillaume Nocent
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans Azure
Microsoft Décideurs IT
 
Webinar - Enterprise Cloud Databases
Webinar - Enterprise Cloud DatabasesWebinar - Enterprise Cloud Databases
Webinar - Enterprise Cloud Databases
OVHcloud
 
Cloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiquesCloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiques
Microsoft
 

Tendances (19)

Modern DevOps - kill the bottleneck (part 1/2)
Modern DevOps - kill the bottleneck (part 1/2)Modern DevOps - kill the bottleneck (part 1/2)
Modern DevOps - kill the bottleneck (part 1/2)
 
Comment l’architecture événementielle révolutionne la communication dans le S...
Comment l’architecture événementielle révolutionne la communication dans le S...Comment l’architecture événementielle révolutionne la communication dans le S...
Comment l’architecture événementielle révolutionne la communication dans le S...
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
GUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the WebGUSS - CRITEO Meetup Scale SQL for the Web
GUSS - CRITEO Meetup Scale SQL for the Web
 
Google Compute Engine
Google Compute EngineGoogle Compute Engine
Google Compute Engine
 
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delàAzure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
 
Comment calculer le coût de Windows Azure ?
Comment calculer le coût de Windows Azure ?Comment calculer le coût de Windows Azure ?
Comment calculer le coût de Windows Azure ?
 
Résilience avec Hystrix dans Liferay
Résilience avec Hystrix dans  LiferayRésilience avec Hystrix dans  Liferay
Résilience avec Hystrix dans Liferay
 
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshopImporter des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
 
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
 
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
 
Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?Quelles stratégies de Recherche avec Cassandra ?
Quelles stratégies de Recherche avec Cassandra ?
 
DataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le CloudDataStax Enterprise - La plateforme de base de données pour le Cloud
DataStax Enterprise - La plateforme de base de données pour le Cloud
 
Toutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDBToutes les raisons d'adopter MongoDB
Toutes les raisons d'adopter MongoDB
 
20120402 nantes gtug - app engine
20120402   nantes gtug - app engine20120402   nantes gtug - app engine
20120402 nantes gtug - app engine
 
Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016Présentation JSS2015 - Le Query Store de SQL Server 2016
Présentation JSS2015 - Le Query Store de SQL Server 2016
 
Panorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans AzurePanorama des offres NoSQL disponibles dans Azure
Panorama des offres NoSQL disponibles dans Azure
 
Webinar - Enterprise Cloud Databases
Webinar - Enterprise Cloud DatabasesWebinar - Enterprise Cloud Databases
Webinar - Enterprise Cloud Databases
 
Cloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiquesCloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiques
 

Similaire à Meetup Google Cloud

#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
marcomeasyteam
 
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Modern Data Stack France
 
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Amazon Web Services
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
MSDEVMTL
 
Construire un data lake managé - GDG Paris - Juin 2019
Construire un data lake managé - GDG Paris - Juin 2019Construire un data lake managé - GDG Paris - Juin 2019
Construire un data lake managé - GDG Paris - Juin 2019
Jean-Baptiste Claramonte
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1
Microsoft
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptx
Marc Bojoly
 
Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques
Microsoft Technet France
 
Windows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiquesWindows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiques
MCKLMT
 
Google Cloud Workshop
Google Cloud WorkshopGoogle Cloud Workshop
Google Cloud Workshopsparow2010
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureThomas Conté
 
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiquesTechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
MCKLMT
 
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
sebastienmoreno
 
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
GAB 2015  - Nouveautes sur le stockage de donnees dans AzureGAB 2015  - Nouveautes sur le stockage de donnees dans Azure
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
Jean-Luc Boucho
 
Au coeur du framework .net 4.5.1
Au coeur du framework .net 4.5.1Au coeur du framework .net 4.5.1
Au coeur du framework .net 4.5.1Cellenza
 
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big DataPower Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
PowerSaturdayParis
 
Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques
Microsoft Technet France
 
Drupal 8
Drupal 8Drupal 8
Drupal 8
qdelance
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
MissaouiWissal
 
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
Scaleway
 

Similaire à Meetup Google Cloud (20)

#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
#OOW15LeOff Breakfast EASYTEAM 28 octobre 2015
 
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
 
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
 
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
Sébastien Coutu: Copy this Meetup Devops - microservices - infrastructure imm...
 
Construire un data lake managé - GDG Paris - Juin 2019
Construire un data lake managé - GDG Paris - Juin 2019Construire un data lake managé - GDG Paris - Juin 2019
Construire un data lake managé - GDG Paris - Juin 2019
 
Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1Au cœur du Framework .NET 4.5.1
Au cœur du Framework .NET 4.5.1
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptx
 
Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques
 
Windows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiquesWindows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiques
 
Google Cloud Workshop
Google Cloud WorkshopGoogle Cloud Workshop
Google Cloud Workshop
 
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans AzureTechDays 2014 : retour d'expérience Kompass migration Java dans Azure
TechDays 2014 : retour d'expérience Kompass migration Java dans Azure
 
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiquesTechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
TechDays 2014 : Cloud Azure – Services de données et bonnes pratiques
 
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
Lost in serverless AWS Lambda, Google Cloud Function, Azure Function quelle s...
 
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
GAB 2015  - Nouveautes sur le stockage de donnees dans AzureGAB 2015  - Nouveautes sur le stockage de donnees dans Azure
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
 
Au coeur du framework .net 4.5.1
Au coeur du framework .net 4.5.1Au coeur du framework .net 4.5.1
Au coeur du framework .net 4.5.1
 
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big DataPower Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
Power Saturday 2019 A6 - les nouveautés SQL Server 2019 et le Big Data
 
Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques
 
Drupal 8
Drupal 8Drupal 8
Drupal 8
 
BigData_Technologies_PL.pdf
BigData_Technologies_PL.pdfBigData_Technologies_PL.pdf
BigData_Technologies_PL.pdf
 
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
De la DB à la DB-as-a-Service : avantages, limites et étapes pour franchir l...
 

Dernier

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
Université de Franche-Comté
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Laurent Speyser
 
Les écrans informatiques au fil du temps.pptx
Les écrans informatiques au fil du temps.pptxLes écrans informatiques au fil du temps.pptx
Les écrans informatiques au fil du temps.pptx
abderrahimbourimi
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
UNITECBordeaux
 
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
Horgix
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
OCTO Technology
 

Dernier (6)

De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'universitéDe l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
De l'IA comme plagiat à la rédaction d'une « charte IA » à l'université
 
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
Ouvrez la porte ou prenez un mur (Agile Tour Genève 2024)
 
Les écrans informatiques au fil du temps.pptx
Les écrans informatiques au fil du temps.pptxLes écrans informatiques au fil du temps.pptx
Les écrans informatiques au fil du temps.pptx
 
Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024Le support de présentation des Signaux 2024
Le support de présentation des Signaux 2024
 
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
MongoDB in a scale-up: how to get away from a monolithic hell — MongoDB Paris...
 
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
Le Comptoir OCTO - Qu’apporte l’analyse de cycle de vie lors d’un audit d’éco...
 

Meetup Google Cloud

  • 1. © Copyright 2015 – Keyrus 1
  • 2. © Copyright 2015 – Keyrus 2© Copyright 2015 – Keyrus 2 MEETUP Présentation des services Google Pierre Coste – Leader Technique BI & Search & Cloud 02/05/2017
  • 3. © Copyright 2015 – Keyrus 3© Copyright 2015 – Keyrus - – Réf. Modèle : KFR_C3_COP01_V02(Reporting Mensuel Projet au Forfait) 3 SOMMAIRE • Présentation & tour de table • Présentation du Cloud Google • Présentation succincte des services • Démo d’utilisation de 4 services Google • Comment utiliser Google pour intégrer plusieurs 10K d’event / second
  • 4. © Copyright 2015 – Keyrus 4 CLOUD : UNE OFFRE DE SERVICE UTILISATION • A LA DEMANDE • « PAY AS YOU USE » UNITÉ « BIG DATA » • LE TO, MD SONT L’UNITÉ DE BASE • FAIT POUR ÊTRE SCALABLE • AVEC DES QUOTAS EN STANDARD AMIS QUI S’AUGMENTENT
  • 5. © Copyright 2015 – Keyrus 5 CLOUD : DES BRIQUES À ASSEMBLER PROCHE DE LA BI STANDARD • INTÉGRATION • STOCKAGE • ANALYTIQUE • DATAVIZ • PLUSIEURS CHOIX TECHNOLOGIQUE • No SQL / Relationnel / BigData • VM / Container
  • 6. © Copyright 2015 – Keyrus 6 GOOGLE CLOUD STORAGE • Stockage de fichier dans le cloud • Plusieurs modes de stockages et d’accès • Utiliser par les autres services • Chargement bulk pour Bigquery etc… Le stockage ∕ Stockage temps réel ∕ Stockage standard ∕ Archivage à froid
  • 7. © Copyright 2015 – Keyrus 7 GOOGLE CLOUD COMPUTE ENGINE • Système de VM • Windows (coût licence) • Linux • VM avec des Sql Server • Choix des configuration des vm • CPU • RAM • Disque • Choix du lieu • Machine préemptible • Jusqu’ 64 TB de disque SSD en mode SAN • Automatisation très simple à mettre en place Le fonctionnement ∕ Démarrage rapide des machines ∕ Coût à l’usage (min 10 min) ∕ Utilisation de groupe de machines pour des démarrages en masse Le coût ∕ 8 CPU ∕ 30 GB de RAM ∕ Normal : 40 cts/heure ∕ Préemtible : 8 cts/heure ∕ Le coût baisse en fonction de l’utilisation
  • 8. © Copyright 2015 – Keyrus 8 GOOGLE CLOUD FUNCTION (ALPHA) • En mode beta, • Création de microservices http • Fonction éphémère « serverless » • Permet d’appeler d’autres services • Trigger Pub/sub… • Ecrite dans Bigquery Le coût ∕ 2 millions d’appel / mois gratuit ∕ Ensuite 40 cts/ million ∕ Cout à l’exécytion en fonction du couple CPU/RAM ∕ 10M d’appel / 128 MB Ram @200mHz sur 300 ms  7€/ mois Le fonctionnement ∕ Développement en Node.js ∕ Lié à CloudStorage pour la config …
  • 9. © Copyright 2015 – Keyrus 9 GOOGLE PUB/SUB • Système de message • Venant du monde java avec les files de messages • Notion de publication de message à un topic • Connexion avec d’autres services comme dataflow • Limite de message à 10K/s puis 1M/s si demande d’augmentation Le coût ∕ Cout au million de message avant 2017 ∕ < 250 M : 40 cts € ∕ > 1Md : 10 cts € ∕ > 1,8Md : 5cts € ∕ Depuis 2017, cout au volume ∕ 10 premier Gb gratuit ∕ Entre 4 et 6 cts le GB
  • 10. © Copyright 2015 – Keyrus 10 GOOGLE DATAFLOW • Système d’intégration de données en temps réel • Auto Scaling • Développement via des classes Java • Intégré à Apache sous le nom « Apache BEAM » • S’exécute sur plusieurs « runners » dont dataflow Fonctionnement ∕ En mode Batch comme un ETL ∕ En mode Steaming pour du temps réel Le coût ∕ Batch CPU : 5 cts/heure RAM : 0,3 cts / GB / h ∕ Streaming CPU : 7 cts/heure RAM : 0,3 cts / GB / h Pipelines : ensemble d’opération qui lit les données, les transforme et qui écrit les résultats / job PCollections : Ensemble de données (bounded - fixe / unbounded - variable) Transforms : Action pour manipuler les données, prend N PCollection en entrée et en fournit une autre en sortie sources and sinks : sources en entrée / Sink en sortie
  • 11. © Copyright 2015 – Keyrus 11 GOOGLE DATAFLOW • Gérer les données dans le temps et de npas être en avance ou en retard
  • 12. © Copyright 2015 – Keyrus 12 GOOGLE DATAFLOW • Plusieurs langages, plusieurs runners…
  • 13. © Copyright 2015 – Keyrus 13 PRÉSENTATION BIGQUERY • Stockage en colonne VS stockage en ligne • Full scan de la table à chaque requête • Wildcard ou partitionnement pour éviter un full scan • Partition en date • Mise en cache de chaque requête • Chargement Bulk • Gestion des données « nesteed » • Cache automatique • Données cryptées et compréssées • Temps d’exécution « rapide » • 15s pour 5Md de lignes • Pas instantanée mais n’est dépendant du volume Les données Une table alimentée était immuable Update et delete depuis quelques mois ∕ Stockage : $0.020 per GB, per month puis 0.01 passé 90 jours ∕ Requête : $5 per TB (1er TB gratuit) ∕ Chargement / Copie / Export gratuit Les couts
  • 14. © Copyright 2015 – Keyrus 14 LES AUTRES • Spanner : base de données relationnel haute disponibilités avec réplication • BigTable : NoSQL Database • Cloud SQL : Cloud MySQL database • Dataproc : Déployer des cluster Hadoop & Spark • Vision API : Détection d’image • TensorFlow : Machine Learning
  • 15. © Copyright 2015 – Keyrus 15 QUELQUES RESSOURCES • Le calcul du prix • Repository GitHub pour les librairies de test • La documentation avec des exemples.. Les liens • https://cloud.google.com/produ cts/calculator/ • https://cloud.google.com/docs/ • https://github.com/GoogleClou dPlatform/
  • 16. © Copyright 2015 – Keyrus 16© Copyright 2015 – Keyrus 16 DÉMO Chaine complète - Cloud Storage - PUB / SUB - Dataflow - Bigquery - DataStudio
  • 17. © Copyright 2015 – Keyrus 17 ARCHITECTURE DE LA DÉMO X INSTANCES AVEC UN SCRIPT JAVA QUI POUSSE DES MESSAGES UN TOPIC QUI REÇOIT DES MESSAGES STOCKAGE DU DÉVELOPPEMENT DATAFLOW PIPELINE D’INTÉGRATION DES MESSAGES : 5 À 10K MESSAGE / SECONDE INSERTION EN STREAMING + RESTITUTION EN TEMPS RÉEL « DATAVIZ » EN REQUÉTANT EN DIRECT SUR BIGQUERY
  • 18. © Copyright 2015 – Keyrus 18 DATAFLOW Explication • Installation d’un plugin Java pour faciliter le développement • Runner intégré avec configuration pour définir le projet Google + Cloud Storage • Développement d’un projet BEAM avec les étapes suivantes • Lecture dans PUB/SUB • Transformation du message • Insertion dans Bigquery
  • 19. © Copyright 2015 – Keyrus 19 DATAFLOW Explication • Démarrage du projet • Copie des fichiers sur un ensemble Cloud Storage
  • 20. © Copyright 2015 – Keyrus 20 DATAFLOW + PUB SUB Explication • Instance dataflow visible sur linterface Google • Démarrage de machine compute engine (3 par défaut) • Démarrage de Xmachines pour insérer des messages dans un topic pub/sub • Envoie de 1,5 millions d’évènements en 5 minutes • Environ 4 à 5K events/s à traiter par les instances dataflow