1.
@Xebiconfr #Xebicon18 @votre_twitter
Build the future
Spark in jail
Data/Cloud
Bruno Bouchahoua

2.
@Xebiconfr #Xebicon18 @votre_twitter
Qui suis-je ?
Bruno Bouchahoua
Data Architect

3.
@Xebiconfr #Xebicon18 @votre_twitter
Plan
Industrialisation de projets Spark
Cloud
Tâche de fond
1. Contexte Data Lake + Hadoop
2. Focus sur une stratégie client
3. Stockage de masse
4. Spark + stockage de masse
5. Spark on Kubernetes
a. concept
b. local
c. managé
6. Spark in Serverless mode
7. Conclusion

4.
@Xebiconfr #Xebicon18 @votre_twitter
Contexte Data Lake
&
Cluster Hadoop

5.
@Xebiconfr #Xebicon18 @votre_twitter
#1 Data Lake Centric
DATA PROVIDER 1
BU 1
BU N
DATA PROVIDER 2
DATA PROVIDER 1
DATA PROVIDER 2
DATA SOURCE 1
DATA SOURCE N
INPUT
RAW

6.
@Xebiconfr #Xebicon18 @votre_twitter
#2 Traitements de données

7.
@Xebiconfr #Xebicon18 @votre_twitter
On prem / IAAS CAAS PAAS/aPAAS Serverless
Google CE
AWS EC2
Azure VM
GKE
ECS
ACS → AKS
Fargate
ACI
DataProc
EMR, Glue
HDI
#3 Mode d’exécution de Spark + Cloud

8.
@Xebiconfr #Xebicon18 @votre_twitter
Focus sur
une stratégie client

9.
@Xebiconfr #Xebicon18 @votre_twitter
● Ce que nous rencontrons chez nos clients
● Ce que nous proposons pour :
○ Utiliser efficacement les technologies adaptées
○ Améliorer la flexibilité
○ Diminuer les coûts
○ Mettre en production des uses case data

10.
@Xebiconfr #Xebicon18 @votre_twitter
Focus sur une stratégie client : ambitions
● Migrer des projets Hadoop dans le Cloud
● Tous nouveaux projets Big data
● Respect de la réglementation GDPR
● Etanchéité des données et des accès entre les entités
PAAS First

11.
@Xebiconfr #Xebicon18 @votre_twitter
Focus sur une stratégie client : PAAS pour tous
INPUT
RAW
REFINERY
GOLD
HDI DEV HDI REC HDI PRD
PROJET 1
HDI DEV HDI REC HDI PRD
PROJET 2
HDI DEV HDI REC HDI PRD
PROJET 3
Entité 1

12.
@Xebiconfr #Xebicon18 @votre_twitter
Les écueils 1/2
Liés au provider
○ Service managé par provider (roadmap)
○ Temps de démarrage d’un cluster > 20 minutes
○ Nombre de composants pas forcément utiles
○ Versions des composants
○ Infra dédiées supplémentaires ( 3 machines zookeeper )
○ Identité du cluster

13.
@Xebiconfr #Xebicon18 @votre_twitter
Les écueils 2/2
liés à l’organisation
Liés à l’organisation
○ Processus d’industrialisation fastidieux (Infra As Code dépendante de la roadmap)
○ Administration du cluster compliquée
○ Coûts humain
○ Règles de sécurité internes qui interdisent les accès par API, accès publics

14.
@Xebiconfr #Xebicon18 @votre_twitter
▼ Faire du Spark sans HDI
▼ En serverless
▼ Sur Kubernetes
▼ Sur une autre offre
Plan de repli

15.
@Xebiconfr #Xebicon18 @votre_twitter
Interaction
avec un
stockage de masse

16.
@Xebiconfr #Xebicon18 @votre_twitter
ADLS présentation
▼ Stockage massif à faible coût
▼ Authentification avec Azure AD
▼ Un WebHDFS avec authentification Oauth2

17.
@Xebiconfr #Xebicon18 @votre_twitter
ADLS données de travail

18.
@Xebiconfr #Xebicon18 @votre_twitter
Interaction basique avec ADLS

19.
@Xebiconfr #Xebicon18 @votre_twitter
Hadoop & les stockages de masse

20.
@Xebiconfr #Xebicon18 @votre_twitter
core-site.xml
<property>
<name>fs.adl.oauth2.access.token.provider</name>
<value>${token_provider}</value>
</property>
<property>
<name>fs.adl.oauth2.client.id</name>
<value>${client_id}</value>
</property>
<property>
<name>fs.adl.oauth2.credential</name>
<value>${client_credential}</value>
</property>
<property>
<name>fs.adl.oauth2.refresh.url</name>
<value>https://login.microsoftonline.com/${tenant_id}/oauth2/token</value>
</property>

21.
@Xebiconfr #Xebicon18 @votre_twitter
Valorisation à la volée
export HADOOP_OPTS="
-Dtoken_provider=org.apache.hadoop.fs.adl.custom.ClientCre
dentialTokenProvider
-Dclient_id=14f6dec4-b950-43a7-a2b3-e8fc310fc10b
-Dclient_credential=XXXXXXXXXXXXXXXXX
-Dtenant_id=xebiafrance.onmicrosoft.com
-Dadl_fqdn=majeur.azuredatalakestore.net "
hdfs dfs -ls adl://majeur.azuredatalakestore.net/

22.
@Xebiconfr #Xebicon18 @votre_twitter

23.
@Xebiconfr #Xebicon18 @votre_twitter
Spark + stockage de masse

24.
@Xebiconfr #Xebicon18 @votre_twitter
Spark + Hadoop + Adls
export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)
spark-shell
--master=local[4]
--conf
spark.driver.extraJavaOptions="-Dtoken_provider=org.apache.hadoop.fs.adl.custom.Cl
ientCredentialTokenProvider
-Dclient_id=14f6dec4-b950-43a7-a2b3-e8fc310fc10b
-Dclient_credential=<SECRET>
-Dtenant_id=xebiafrance.onmicrosoft.com
-Dadl_fqdn=majeur.azuredatalakestore.net"

25.
@Xebiconfr #Xebicon18 @votre_twitter
Spark on Kubernetes

26.
@Xebiconfr #Xebicon18 @votre_twitter
Cluster Manager

27.
@Xebiconfr #Xebicon18 @votre_twitter
2.3.0 28/02/2018
2.3.1 08/06/2018
2.3.2 24/09/2018
2.4.0 02/11/2018

28.
@Xebiconfr #Xebicon18 @votre_twitter
Kubernetes : fonctionnement

29.
@Xebiconfr #Xebicon18 @votre_twitter
Construction de l’image
▼ Deux choses à modifier
▽ entrypoint.sh
▽ DockerFile
▼ Ne pas mettre le jar dans l’image Docker !!
▼ Mettre à disposition au choix :
▽ HTTP(S)
▽ NEXUS
▽ BLOB
▽ ZONE Kubernetes

30.
@Xebiconfr #Xebicon18 @votre_twitter
Construction de l’image : DockerFile

31.
@Xebiconfr #Xebicon18 @votre_twitter
Construction de l’image : entrypoint.sh
▼ Récupération des secrets
▼ Mode d’accès
▽ MASTER
▽ WORKER
▽ SPÉCIAL

32.
@Xebiconfr #Xebicon18 @votre_twitter
Construction de l’image
docker build --no-cache -t <IMAGE> -f <DOCKER_FILE_PATH> <BUILD_PATH>
docker tag <IMAGE> bbouchahoua/<IMAGE>

33.
@Xebiconfr #Xebicon18 @votre_twitter
Spark sur Kubernetes local : minikube
kubectl cluster-info
kubectl get nodes
kubectl get nodes
kubectl logs -f <pod>
kubectl describe pods <pod>
kubectl describe nodes <pod>

34.
@Xebiconfr #Xebicon18 @votre_twitter
Spark sur Kubernetes managé : AKS

35.
@Xebiconfr #Xebicon18 @votre_twitter
Spark sur conteneur
instance

36.
@Xebiconfr #Xebicon18 @votre_twitter
▼ 14 Go de RAM max
▼ 4 VCPU max
▼ Démarrage rapide
▼ Améliorations à venir
▼ Coût faible
Azure conteneur instance

37.
@Xebiconfr #Xebicon18 @votre_twitter

38.
@Xebiconfr #Xebicon18 @votre_twitter
Conclusion

39.
@Xebiconfr #Xebicon18 @votre_twitter
On prem / IAAS CAAS PAAS/aPAAS Serverless
Google CE
AWS EC2
Azure VM
GKE
ECS
ACS → AKS
Fargate
ACI
DataProc
EMR, Glue
HDI
Conclusion

40.
@Xebiconfr #Xebicon18 @votre_twitter
Conclusion
▼ Administration/monitoring/logging/alerting
▼ Colocalisation de traitements Data & de microservices
▼ Distribution optionnelle et plus systématique
▼ Liberté sur le choix de la version Spark
▼ Coût faible

41.
@Xebiconfr #Xebicon18 @votre_twitter