Présentation et démos techniques des principaux services Google Cloud et leurs relations (Compute Engine, Cloud Storage, Bigquery, Cloud SQL, Dataflow, Pub/Sub, Cloud Function)

1. 11
MEETUP
Présentation des services Google
Pierre Coste – Leader Technique BI & Search & Cloud

2. 22
SOMMAIRE
• Présentation & tour de table
• Présentation du Cloud Google
• Présentation des services & demo

3. 3
CLOUD : UNE OFFRE DE SERVICE
UTILISATION
• A LA DEMANDE
• « PAY AS YOU USE »
UNITÉ « BIG DATA »
• LE TO, MD SONT
L’UNITÉ DE BASE
• FAIT POUR ÊTRE
SCALABLE
• AVEC DES QUOTAS
EN STANDARD
AMIS QUI
S’AUGMENTENT

4. 4
CLOUD : DES BRIQUES À ASSEMBLER
PROCHE DE LA BI
STANDARD
• INTÉGRATION
• STOCKAGE
• ANALYTIQUE
• DATAVIZ
• PLUSIEURS CHOIX
TECHNOLOGIQUE
• No SQL /
Relationnel /
BigData
• VM /
Container

5. 5
GOOGLE CLOUD : LA FACTURATION ?
• GOOGLE FREE TIER
LES PREMIERS USAGES SONT
GRATUITS !
• Cout à l’utilisation du service en fonction du type
• Disque
• CPU
• Ram
• …
• Il y aura toujours des couts difficilement prédictible
• SUSTAINED USE (VM)
PLUS VOUS UTILISEZ, MOINS
VOUS PAYER À « L’UNITÉ »
JUSQU’À 30%
• COMMITTED USE
DISCOUNTS (VM)
ENGAGEMENT SUR DES
RESSOURCES
JUSQU’À 57%

6. 6
GOOGLE CLOUD STORAGE
• Stockage de fichier dans le cloud
• Plusieurs modes de stockages et d’accès
• Utiliser par les autres services
• Chargement bulk pour Bigquery etc…
• Possibilité d’agir comme trigger
Le stockage
∕ Stockage temps réel
∕ Stockage standard
∕ Archivage à froid
∕ Upload très rapide en Linux
avec multi-upload
∕ Point d’entrée pour les autres
services Google Cloud

7. 7
GOOGLE CLOUD FUNCTION (ALPHA)
• En mode beta,
• Création de microservices
• Fonction éphémère « serverless »
• Permet d’appeler d’autres services
• Trigger Pub/sub…
• Ecrire dans Bigquery
Le coût
∕ 2 millions d’appel / mois
gratuit
∕ Ensuite 40 cts/ million
∕ Cout à l’exécution (100ms) en
fonction du couple CPU/RAM
∕ 10M d’appel / 128 MB Ram
@200mHz sur 300 ms  7€/
mois
Le fonctionnement
∕ Développement en Node.js
∕ Lié à CloudStorage pour la
config …

8. 8
GOOGLE CLOUD FUNCTION (DEMO)
• Utilisation de plusieurs services
• Cloud Storage
• Pub/Sub
• Cloud Function
• Vision API (OCR)
• Translate
Le fonctionnement
Source
Résultat
1. Dépôt d’un fichier image dans GS
2. Exécution d’une fonction et appel
de vision API pour faire de l’OCR
3. Publication Pub/Sub et trigger
pour fonction qui appelle Google
Translate en 5 langues
4. Sauvegarde dans un bucket GS

9. 9
GOOGLE CLOUD COMPUTE ENGINE
• Système de VM
• Windows (coût licence)
• Linux
• VM avec des Sql Server
• Choix des configuration des vm
• CPU
• RAM
• Disque
• Choix du lieu
• Machine préemptible
• Jusqu’ 64 TB de disque SSD en mode SAN
• Automatisation très simple à mettre en place
Le fonctionnement
∕ Démarrage rapide des
machines
∕ Coût à l’usage (min 10 min)
∕ Utilisation de groupe de
machines pour des
démarrages en masse
Le coût
∕ 8 CPU
∕ 30 GB de RAM
∕ Normal : 40 cts/heure
∕ Préemtible : 8 cts/heure
∕ Le coût baisse en fonction de
l’utilisation

10. 10
GOOGLE PUB/SUB
• Système de message
• Venant du monde java avec les files de messages
• Notion de publication de message à un topic
• Connexion avec d’autres services comme dataflow
• Limite de message à 10K/s puis 1M/s si demande d’augmentation
Le coût
∕ Cout au million de message
avant 2017
∕ < 250 M : 40 cts €
∕ > 1Md : 10 cts €
∕ > 1,8Md : 5cts €
∕ Depuis 2017, cout au volume
∕ 10 premier Gb gratuit
∕ Entre 4 et 6 cts le GB

11. 11
PRÉSENTATION BIGQUERY
• Stockage en colonne VS stockage en ligne
• Full scan de la table à chaque requête
• Wildcard ou partitionnement pour éviter un full scan
• Partition en date
• Mise en cache de chaque requête
• Chargement Bulk
• Gestion des données « nesteed »
• Cache automatique
• Données cryptées et compréssées
• Temps d’exécution « rapide »
• 15s pour 5Md de lignes
• Pas instantanée mais n’est dépendant du volume
Les données
Une table alimentée était immuable
Update et delete depuis quelques
mois
∕ Stockage : $0.020 per GB, per
month puis 0.01 passé 90 jours
∕ Requête : $5 per TB (1er TB gratuit)
∕ Chargement / Copie / Export gratuit
Les couts

12. 12
PRÉSENTATION BIGQUERY (DÉMO)
• Présentation des sources fédérés
Le fonctionnement
1. Dépôts de plus de 250 fichiers sur
les noms des naissances aux US /
an
2. Création d’une table fédéré basé
sur un bucket et un pattern de
fichier
3. Création d’une restitution pointant
sur cette table « virtuelle »
Fichiers sources
Table
Dataviz sur Datastudio
Bigquery exécute des requêtes en live sur les fichiers. Un ajout ou une suppression d’un
fichier est automatiquement pris en compte. Aucun fichier n’est chargé physiquement
dans la table

13. 13
GOOGLE DATAFLOW
• Système d’intégration de données en temps réel
• Auto Scaling
• Développement via des classes Java
• Intégré à Apache sous le nom « Apache BEAM »
• S’exécute sur plusieurs « runners » dont dataflow
Fonctionnement
∕ En mode Batch comme un
ETL
∕ En mode Steaming pour du
temps réel
Le coût
∕ Batch
CPU : 5 cts/heure
RAM : 0,3 cts / GB / h
∕ Streaming
CPU : 7 cts/heure
RAM : 0,3 cts / GB / h
Pipelines : ensemble d’opération qui
lit les données, les transforme et qui
écrit les résultats / job
PCollections : Ensemble de données
(bounded - fixe / unbounded -
variable)
Transforms : Action pour manipuler
les données, prend N PCollection en
entrée et en fournit une autre en
sortie
sources and sinks : sources en entrée
/ Sink en sortie

14. 14
GOOGLE DATAFLOW
• Gérer les données dans le temps et de pas être en avance ou en retard

15. 15

16. 16
GOOGLE DATAFLOW
• Plusieurs langages, plusieurs runners…

17. 17
LES AUTRES
• Spanner : base de données relationnel haute disponibilités avec réplication
• BigTable : NoSQL Database
• Cloud SQL : Cloud MySQL database
• Dataproc : Déployer des cluster Hadoop & Spark
• Vision API : Détection d’image
• TensorFlow : Machine Learning

18. 18
QUELQUES RESSOURCES
• Le calcul du prix
• Repository GitHub pour les
librairies de test
• La documentation avec des
exemples..
Les liens
• https://cloud.google.com/produ
cts/calculator/
• https://cloud.google.com/docs/
• https://github.com/GoogleClou
dPlatform/