Présentation de Google Cloud Composer basé sur Apache Ariflow

1. 11
MEETUP
Présentation de Google Cloud Composer
Pierre Coste – Architecte BI & Cloud

2. 22
SOMMAIRE
• Présentation Meetup & tour de table
• Présentation de Google Cloud Composer
• Théorie
• Démo

3. 33
MEETUP GCP
Merci à ADNEOM
• Groupe existe depuis l’année dernière
• Prochain meetup by Devoteam

4. 4
MEETUP GCP
Vous y étiez ?

5. 5
CLOUD : UNE OFFRE DE SERVICE

6. 6
CLOUD : ET LA PLANIFICATION ? LES WORKFLOW ?
• APP ENGINE
• TRIGGER STORAGE
• PUB/SUB
• CLOUD/FUNCTION

7. 7
APACHE AIRFLOW + GCP = CLOUD COMPOSER

8. 8
• Service managé
• Repose sur Apache Airflow
• En python
• Intégré aux services B
• BigQuery, Dataflow, Dataproc, Datastore, Cloud Storage, Pub/Sub, Cloud ML engine
• Autres Cloud
AIRFLOW :

9. 9
• Pas seulement un CRON
• Un workflow robuste
• Génération de métadata
• Reprise des tâches
• Dispose d’une interface
• Workflow as Code
• De nombreux fonctionnalités
• Reprises
• SLA
• Workflow complexe
AIRFLOW :

10. 10
• Qu’est ce qu’un DAG
• Permet de définir une hiérarchie / workflow
• Le workflow est un ensemble de tâches
SON RÔLE
« Un graphe orienté acyclique est un graphe orienté qui ne possède pas de circuit » wikipedia

11. 11
• Le DAG
SON RÔLE
Définition
• Une date de
début
• Des paramètres
de mailing, de
reprise
Opération(s)
• Description du
processus
• Une
implémentation
d’un opérateur
est une tâche
Relation
• Relation entre
des opérations
• Branching
conditionnel

12. 12
• Une tâche doit avoir des paramètres
• A quel moment elle commence ?
• Le nombre de fois qu’on peut recommencer ? Le délai entre deux essaies
• Les actions d’envoie de mail, de callback
• Si les tâches dépendent du passé
FOCUS DEFINITION

13. 13
Operator VS Sensor
Execution VS Trigger
FOCUS OPERATOR
HttpSensor
HdfsSensorS3Sensor
HttpSensor
HdfsSensorS3Sensor
BigqueryOperator
• Possibilité de rajouter des paramètres pour rendre dynamique
• Récupérer des fichiers sur Cloud Storage etc..

14. 14
Interface VS commandLine
gcloud beta composer environments create dev --
location us-central1 --zone us-central1-f --
machine-type n1-standard-2 --labels env=beta
CRÉATION DE L’ENVIRONNEMENT

15. 15
ACCÈDER À L’UI

16. 16
CREER UN DAG

17. 17
Lien vers un GS
AJOUTER UN DAG

18. 18
Plusieurs exécutions dès la prise en compte

19. 19
Demo Bigquery