SlideShare une entreprise Scribd logo
1  sur  18
11
MEETUP
Présentation des services Google
Pierre Coste – Leader Technique BI & Search & Cloud
22
SOMMAIRE
• Présentation & tour de table
• Présentation du Cloud Google
• Présentation des services & demo
3
CLOUD : UNE OFFRE DE SERVICE
UTILISATION
• A LA DEMANDE
• « PAY AS YOU USE »
UNITÉ « BIG DATA »
• LE TO, MD SONT
L’UNITÉ DE BASE
• FAIT POUR ÊTRE
SCALABLE
• AVEC DES QUOTAS
EN STANDARD
AMIS QUI
S’AUGMENTENT
4
CLOUD : DES BRIQUES À ASSEMBLER
PROCHE DE LA BI
STANDARD
• INTÉGRATION
• STOCKAGE
• ANALYTIQUE
• DATAVIZ
• PLUSIEURS CHOIX
TECHNOLOGIQUE
• No SQL /
Relationnel /
BigData
• VM /
Container
5
GOOGLE CLOUD : LA FACTURATION ?
• GOOGLE FREE TIER
LES PREMIERS USAGES SONT
GRATUITS !
• Cout à l’utilisation du service en fonction du type
• Disque
• CPU
• Ram
• …
• Il y aura toujours des couts difficilement prédictible
• SUSTAINED USE (VM)
PLUS VOUS UTILISEZ, MOINS
VOUS PAYER À « L’UNITÉ »
JUSQU’À 30%
• COMMITTED USE
DISCOUNTS (VM)
ENGAGEMENT SUR DES
RESSOURCES
JUSQU’À 57%
6
GOOGLE CLOUD STORAGE
• Stockage de fichier dans le cloud
• Plusieurs modes de stockages et d’accès
• Utiliser par les autres services
• Chargement bulk pour Bigquery etc…
• Possibilité d’agir comme trigger
Le stockage
∕ Stockage temps réel
∕ Stockage standard
∕ Archivage à froid
∕ Upload très rapide en Linux
avec multi-upload
∕ Point d’entrée pour les autres
services Google Cloud
7
GOOGLE CLOUD FUNCTION (ALPHA)
• En mode beta,
• Création de microservices
• Fonction éphémère « serverless »
• Permet d’appeler d’autres services
• Trigger Pub/sub…
• Ecrire dans Bigquery
Le coût
∕ 2 millions d’appel / mois
gratuit
∕ Ensuite 40 cts/ million
∕ Cout à l’exécution (100ms) en
fonction du couple CPU/RAM
∕ 10M d’appel / 128 MB Ram
@200mHz sur 300 ms  7€/
mois
Le fonctionnement
∕ Développement en Node.js
∕ Lié à CloudStorage pour la
config …
8
GOOGLE CLOUD FUNCTION (DEMO)
• Utilisation de plusieurs services
• Cloud Storage
• Pub/Sub
• Cloud Function
• Vision API (OCR)
• Translate
Le fonctionnement
Source
Résultat
1. Dépôt d’un fichier image dans GS
2. Exécution d’une fonction et appel
de vision API pour faire de l’OCR
3. Publication Pub/Sub et trigger
pour fonction qui appelle Google
Translate en 5 langues
4. Sauvegarde dans un bucket GS
9
GOOGLE CLOUD COMPUTE ENGINE
• Système de VM
• Windows (coût licence)
• Linux
• VM avec des Sql Server
• Choix des configuration des vm
• CPU
• RAM
• Disque
• Choix du lieu
• Machine préemptible
• Jusqu’ 64 TB de disque SSD en mode SAN
• Automatisation très simple à mettre en place
Le fonctionnement
∕ Démarrage rapide des
machines
∕ Coût à l’usage (min 10 min)
∕ Utilisation de groupe de
machines pour des
démarrages en masse
Le coût
∕ 8 CPU
∕ 30 GB de RAM
∕ Normal : 40 cts/heure
∕ Préemtible : 8 cts/heure
∕ Le coût baisse en fonction de
l’utilisation
10
GOOGLE PUB/SUB
• Système de message
• Venant du monde java avec les files de messages
• Notion de publication de message à un topic
• Connexion avec d’autres services comme dataflow
• Limite de message à 10K/s puis 1M/s si demande d’augmentation
Le coût
∕ Cout au million de message
avant 2017
∕ < 250 M : 40 cts €
∕ > 1Md : 10 cts €
∕ > 1,8Md : 5cts €
∕ Depuis 2017, cout au volume
∕ 10 premier Gb gratuit
∕ Entre 4 et 6 cts le GB
11
PRÉSENTATION BIGQUERY
• Stockage en colonne VS stockage en ligne
• Full scan de la table à chaque requête
• Wildcard ou partitionnement pour éviter un full scan
• Partition en date
• Mise en cache de chaque requête
• Chargement Bulk
• Gestion des données « nesteed »
• Cache automatique
• Données cryptées et compréssées
• Temps d’exécution « rapide »
• 15s pour 5Md de lignes
• Pas instantanée mais n’est dépendant du volume
Les données
Une table alimentée était immuable
Update et delete depuis quelques
mois
∕ Stockage : $0.020 per GB, per
month puis 0.01 passé 90 jours
∕ Requête : $5 per TB (1er TB gratuit)
∕ Chargement / Copie / Export gratuit
Les couts
12
PRÉSENTATION BIGQUERY (DÉMO)
• Présentation des sources fédérés
Le fonctionnement
1. Dépôts de plus de 250 fichiers sur
les noms des naissances aux US /
an
2. Création d’une table fédéré basé
sur un bucket et un pattern de
fichier
3. Création d’une restitution pointant
sur cette table « virtuelle »
Fichiers sources
Table
Dataviz sur Datastudio
Bigquery exécute des requêtes en live sur les fichiers. Un ajout ou une suppression d’un
fichier est automatiquement pris en compte. Aucun fichier n’est chargé physiquement
dans la table
13
GOOGLE DATAFLOW
• Système d’intégration de données en temps réel
• Auto Scaling
• Développement via des classes Java
• Intégré à Apache sous le nom « Apache BEAM »
• S’exécute sur plusieurs « runners » dont dataflow
Fonctionnement
∕ En mode Batch comme un
ETL
∕ En mode Steaming pour du
temps réel
Le coût
∕ Batch
CPU : 5 cts/heure
RAM : 0,3 cts / GB / h
∕ Streaming
CPU : 7 cts/heure
RAM : 0,3 cts / GB / h
Pipelines : ensemble d’opération qui
lit les données, les transforme et qui
écrit les résultats / job
PCollections : Ensemble de données
(bounded - fixe / unbounded -
variable)
Transforms : Action pour manipuler
les données, prend N PCollection en
entrée et en fournit une autre en
sortie
sources and sinks : sources en entrée
/ Sink en sortie
14
GOOGLE DATAFLOW
• Gérer les données dans le temps et de pas être en avance ou en retard
15
16
GOOGLE DATAFLOW
• Plusieurs langages, plusieurs runners…
17
LES AUTRES
• Spanner : base de données relationnel haute disponibilités avec réplication
• BigTable : NoSQL Database
• Cloud SQL : Cloud MySQL database
• Dataproc : Déployer des cluster Hadoop & Spark
• Vision API : Détection d’image
• TensorFlow : Machine Learning
18
QUELQUES RESSOURCES
• Le calcul du prix
• Repository GitHub pour les
librairies de test
• La documentation avec des
exemples..
Les liens
• https://cloud.google.com/produ
cts/calculator/
• https://cloud.google.com/docs/
• https://github.com/GoogleClou
dPlatform/

Contenu connexe

Tendances

Héberger son site web sur le cloud avec Windows Azure
Héberger son site web sur le cloud avec Windows AzureHéberger son site web sur le cloud avec Windows Azure
Héberger son site web sur le cloud avec Windows Azure
MCKLMT
 
20120402 nantes gtug - app engine
20120402   nantes gtug - app engine20120402   nantes gtug - app engine
20120402 nantes gtug - app engine
GDG Nantes
 
Utilisation de node.js avec mongoDB
Utilisation de node.js avec mongoDBUtilisation de node.js avec mongoDB
Utilisation de node.js avec mongoDB
13p
 

Tendances (19)

Héberger son site web sur le cloud avec Windows Azure
Héberger son site web sur le cloud avec Windows AzureHéberger son site web sur le cloud avec Windows Azure
Héberger son site web sur le cloud avec Windows Azure
 
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
Des cas d'intégration client par Sword: XL Airways, Ministere de la Culture...
 
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshopImporter des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
Importer des données dans Nuxeo Platform - Nuxeo Tour 2014 - workshop
 
MongoDB day Paris 2012
MongoDB day Paris 2012MongoDB day Paris 2012
MongoDB day Paris 2012
 
Talk performance web
Talk performance webTalk performance web
Talk performance web
 
Web server local
Web server localWeb server local
Web server local
 
REX : la webperf chez RueDuCommerce
REX : la webperf chez RueDuCommerceREX : la webperf chez RueDuCommerce
REX : la webperf chez RueDuCommerce
 
Djangocong 2010 django-et_xmpp
Djangocong 2010 django-et_xmppDjangocong 2010 django-et_xmpp
Djangocong 2010 django-et_xmpp
 
20120402 nantes gtug - app engine
20120402   nantes gtug - app engine20120402   nantes gtug - app engine
20120402 nantes gtug - app engine
 
Utilisation de node.js avec mongoDB
Utilisation de node.js avec mongoDBUtilisation de node.js avec mongoDB
Utilisation de node.js avec mongoDB
 
Comment améliorer la performance de vos sites et applications web présen...
Comment améliorer la performance de vos sites et applications web    présen...Comment améliorer la performance de vos sites et applications web    présen...
Comment améliorer la performance de vos sites et applications web présen...
 
Découvrez les nouveautés produits Nuxeo
Découvrez les nouveautés produits NuxeoDécouvrez les nouveautés produits Nuxeo
Découvrez les nouveautés produits Nuxeo
 
Hi-Media Couchbase meetup Paris Nb #1
Hi-Media Couchbase meetup Paris Nb #1Hi-Media Couchbase meetup Paris Nb #1
Hi-Media Couchbase meetup Paris Nb #1
 
BBL - Monitoring - kyriba
BBL - Monitoring - kyribaBBL - Monitoring - kyriba
BBL - Monitoring - kyriba
 
Cloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiquesCloud Azure – Services de données et bonnes pratiques
Cloud Azure – Services de données et bonnes pratiques
 
La montée en charge
La montée en chargeLa montée en charge
La montée en charge
 
Premiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure SearchPremiers pas avec Microsoft Azure Search
Premiers pas avec Microsoft Azure Search
 
Postgres 11 nouvelles fonctionnalités
Postgres 11 nouvelles fonctionnalitésPostgres 11 nouvelles fonctionnalités
Postgres 11 nouvelles fonctionnalités
 
Css maintenable - Morgane Hervé
Css maintenable - Morgane HervéCss maintenable - Morgane Hervé
Css maintenable - Morgane Hervé
 

Similaire à Meetup Google Cloud

Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Amazon Web Services
 
Google Cloud Workshop
Google Cloud WorkshopGoogle Cloud Workshop
Google Cloud Workshop
sparow2010
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows Azure
Microsoft Technet France
 

Similaire à Meetup Google Cloud (20)

Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
Track 2 - Atelier 3 - Comment Ysance met le cloud au service du digital avec ...
 
Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques
 
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delàAzure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
Azure: que puis-je faire pour 0€, 1€, 1000€, un million d’€ et au-delà
 
Comment passer d'un POC en prod @ plusieurs milliards de rêquetes
Comment passer d'un POC en prod @ plusieurs milliards de rêquetesComment passer d'un POC en prod @ plusieurs milliards de rêquetes
Comment passer d'un POC en prod @ plusieurs milliards de rêquetes
 
Optimisations et Performances d'un POC en prod @ plusieurs milliards de requê...
Optimisations et Performances d'un POC en prod @ plusieurs milliards de requê...Optimisations et Performances d'un POC en prod @ plusieurs milliards de requê...
Optimisations et Performances d'un POC en prod @ plusieurs milliards de requê...
 
AWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de donnéesAWS Paris Summit 2014 - T1 - Services de bases de données
AWS Paris Summit 2014 - T1 - Services de bases de données
 
OpenDS - Ludovic Poitou - December 2010
OpenDS - Ludovic Poitou - December 2010OpenDS - Ludovic Poitou - December 2010
OpenDS - Ludovic Poitou - December 2010
 
Alphorm.com Formation Microsoft Hyperconvergence
Alphorm.com Formation Microsoft HyperconvergenceAlphorm.com Formation Microsoft Hyperconvergence
Alphorm.com Formation Microsoft Hyperconvergence
 
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
Hug france - Administration Hadoop et retour d’expérience BI avec Impala, lim...
 
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
GAB 2015  - Nouveautes sur le stockage de donnees dans AzureGAB 2015  - Nouveautes sur le stockage de donnees dans Azure
GAB 2015 - Nouveautes sur le stockage de donnees dans Azure
 
Google Cloud Workshop
Google Cloud WorkshopGoogle Cloud Workshop
Google Cloud Workshop
 
Google Cloud Workshop
Google Cloud WorkshopGoogle Cloud Workshop
Google Cloud Workshop
 
Windows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiquesWindows Azure : Services de données et bonnes pratiques
Windows Azure : Services de données et bonnes pratiques
 
Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques Cloud Azure -- Services de données et bonnes pratiques
Cloud Azure -- Services de données et bonnes pratiques
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Meetup du 21 septembre 2017
Meetup du 21 septembre 2017Meetup du 21 septembre 2017
Meetup du 21 septembre 2017
 
Monter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows AzureMonter des environnements dev test efficaces avec Windows Azure
Monter des environnements dev test efficaces avec Windows Azure
 
Perfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptxPerfug BOF devoxx2017.pptx
Perfug BOF devoxx2017.pptx
 
Modern DevOps - kill the bottleneck (part 2/2)
Modern DevOps - kill the bottleneck (part 2/2)Modern DevOps - kill the bottleneck (part 2/2)
Modern DevOps - kill the bottleneck (part 2/2)
 
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
J1 T1 2 - Azure DocumentDB, une base de données extrêmement rapide à l’échell...
 

Meetup Google Cloud

  • 1. 11 MEETUP Présentation des services Google Pierre Coste – Leader Technique BI & Search & Cloud
  • 2. 22 SOMMAIRE • Présentation & tour de table • Présentation du Cloud Google • Présentation des services & demo
  • 3. 3 CLOUD : UNE OFFRE DE SERVICE UTILISATION • A LA DEMANDE • « PAY AS YOU USE » UNITÉ « BIG DATA » • LE TO, MD SONT L’UNITÉ DE BASE • FAIT POUR ÊTRE SCALABLE • AVEC DES QUOTAS EN STANDARD AMIS QUI S’AUGMENTENT
  • 4. 4 CLOUD : DES BRIQUES À ASSEMBLER PROCHE DE LA BI STANDARD • INTÉGRATION • STOCKAGE • ANALYTIQUE • DATAVIZ • PLUSIEURS CHOIX TECHNOLOGIQUE • No SQL / Relationnel / BigData • VM / Container
  • 5. 5 GOOGLE CLOUD : LA FACTURATION ? • GOOGLE FREE TIER LES PREMIERS USAGES SONT GRATUITS ! • Cout à l’utilisation du service en fonction du type • Disque • CPU • Ram • … • Il y aura toujours des couts difficilement prédictible • SUSTAINED USE (VM) PLUS VOUS UTILISEZ, MOINS VOUS PAYER À « L’UNITÉ » JUSQU’À 30% • COMMITTED USE DISCOUNTS (VM) ENGAGEMENT SUR DES RESSOURCES JUSQU’À 57%
  • 6. 6 GOOGLE CLOUD STORAGE • Stockage de fichier dans le cloud • Plusieurs modes de stockages et d’accès • Utiliser par les autres services • Chargement bulk pour Bigquery etc… • Possibilité d’agir comme trigger Le stockage ∕ Stockage temps réel ∕ Stockage standard ∕ Archivage à froid ∕ Upload très rapide en Linux avec multi-upload ∕ Point d’entrée pour les autres services Google Cloud
  • 7. 7 GOOGLE CLOUD FUNCTION (ALPHA) • En mode beta, • Création de microservices • Fonction éphémère « serverless » • Permet d’appeler d’autres services • Trigger Pub/sub… • Ecrire dans Bigquery Le coût ∕ 2 millions d’appel / mois gratuit ∕ Ensuite 40 cts/ million ∕ Cout à l’exécution (100ms) en fonction du couple CPU/RAM ∕ 10M d’appel / 128 MB Ram @200mHz sur 300 ms  7€/ mois Le fonctionnement ∕ Développement en Node.js ∕ Lié à CloudStorage pour la config …
  • 8. 8 GOOGLE CLOUD FUNCTION (DEMO) • Utilisation de plusieurs services • Cloud Storage • Pub/Sub • Cloud Function • Vision API (OCR) • Translate Le fonctionnement Source Résultat 1. Dépôt d’un fichier image dans GS 2. Exécution d’une fonction et appel de vision API pour faire de l’OCR 3. Publication Pub/Sub et trigger pour fonction qui appelle Google Translate en 5 langues 4. Sauvegarde dans un bucket GS
  • 9. 9 GOOGLE CLOUD COMPUTE ENGINE • Système de VM • Windows (coût licence) • Linux • VM avec des Sql Server • Choix des configuration des vm • CPU • RAM • Disque • Choix du lieu • Machine préemptible • Jusqu’ 64 TB de disque SSD en mode SAN • Automatisation très simple à mettre en place Le fonctionnement ∕ Démarrage rapide des machines ∕ Coût à l’usage (min 10 min) ∕ Utilisation de groupe de machines pour des démarrages en masse Le coût ∕ 8 CPU ∕ 30 GB de RAM ∕ Normal : 40 cts/heure ∕ Préemtible : 8 cts/heure ∕ Le coût baisse en fonction de l’utilisation
  • 10. 10 GOOGLE PUB/SUB • Système de message • Venant du monde java avec les files de messages • Notion de publication de message à un topic • Connexion avec d’autres services comme dataflow • Limite de message à 10K/s puis 1M/s si demande d’augmentation Le coût ∕ Cout au million de message avant 2017 ∕ < 250 M : 40 cts € ∕ > 1Md : 10 cts € ∕ > 1,8Md : 5cts € ∕ Depuis 2017, cout au volume ∕ 10 premier Gb gratuit ∕ Entre 4 et 6 cts le GB
  • 11. 11 PRÉSENTATION BIGQUERY • Stockage en colonne VS stockage en ligne • Full scan de la table à chaque requête • Wildcard ou partitionnement pour éviter un full scan • Partition en date • Mise en cache de chaque requête • Chargement Bulk • Gestion des données « nesteed » • Cache automatique • Données cryptées et compréssées • Temps d’exécution « rapide » • 15s pour 5Md de lignes • Pas instantanée mais n’est dépendant du volume Les données Une table alimentée était immuable Update et delete depuis quelques mois ∕ Stockage : $0.020 per GB, per month puis 0.01 passé 90 jours ∕ Requête : $5 per TB (1er TB gratuit) ∕ Chargement / Copie / Export gratuit Les couts
  • 12. 12 PRÉSENTATION BIGQUERY (DÉMO) • Présentation des sources fédérés Le fonctionnement 1. Dépôts de plus de 250 fichiers sur les noms des naissances aux US / an 2. Création d’une table fédéré basé sur un bucket et un pattern de fichier 3. Création d’une restitution pointant sur cette table « virtuelle » Fichiers sources Table Dataviz sur Datastudio Bigquery exécute des requêtes en live sur les fichiers. Un ajout ou une suppression d’un fichier est automatiquement pris en compte. Aucun fichier n’est chargé physiquement dans la table
  • 13. 13 GOOGLE DATAFLOW • Système d’intégration de données en temps réel • Auto Scaling • Développement via des classes Java • Intégré à Apache sous le nom « Apache BEAM » • S’exécute sur plusieurs « runners » dont dataflow Fonctionnement ∕ En mode Batch comme un ETL ∕ En mode Steaming pour du temps réel Le coût ∕ Batch CPU : 5 cts/heure RAM : 0,3 cts / GB / h ∕ Streaming CPU : 7 cts/heure RAM : 0,3 cts / GB / h Pipelines : ensemble d’opération qui lit les données, les transforme et qui écrit les résultats / job PCollections : Ensemble de données (bounded - fixe / unbounded - variable) Transforms : Action pour manipuler les données, prend N PCollection en entrée et en fournit une autre en sortie sources and sinks : sources en entrée / Sink en sortie
  • 14. 14 GOOGLE DATAFLOW • Gérer les données dans le temps et de pas être en avance ou en retard
  • 15. 15
  • 16. 16 GOOGLE DATAFLOW • Plusieurs langages, plusieurs runners…
  • 17. 17 LES AUTRES • Spanner : base de données relationnel haute disponibilités avec réplication • BigTable : NoSQL Database • Cloud SQL : Cloud MySQL database • Dataproc : Déployer des cluster Hadoop & Spark • Vision API : Détection d’image • TensorFlow : Machine Learning
  • 18. 18 QUELQUES RESSOURCES • Le calcul du prix • Repository GitHub pour les librairies de test • La documentation avec des exemples.. Les liens • https://cloud.google.com/produ cts/calculator/ • https://cloud.google.com/docs/ • https://github.com/GoogleClou dPlatform/