XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de Xebia et Gérome Egron, Développeur chez Xebia

@xebiconfr #xebiconfr
Choisissez votre style avec
Docker & Amazon Web Services
Alexis Kinsella / Gérôme Egron
@xebiconfr

Usage du Cloud chez Xebia
2

Usage de Docker
3

Docker pour :
Le développement
L’usine logicielle
L’infrastructure
Quels usages ?
4

Docker pour le développeur
5

POCer facilement
Éviter les installations manuelles et
laborieuses
Clusteriser simplement
Utiliser plusieurs versions d’un outil
6

Fournir des mocks de services développés par
d’autres équipes
Mocks
7

Docker pour l’usine logicielle
8

@xebiconfr #xebiconfr 9
Docker Docker-compose
Développeur
git push
ECR

Docker pour l’infrastructure
10

Le mode artisanal
11

Gestion directe des instances
Responsabilités du provisioning & du
monitoring
Instances EC2
12

Utiliser l’AMI Amazon Linux officielle 2016.09
ou,
Installer manuellement Docker
2 Solutions
13

Pet vs Cattle
14

Le mode industriel
15

Automatiser les déploiements
Uniformiser les déploiements
Optimiser l’usage des ressources
Pour répondre à des besoins
modernes :
16

Utiliser Docker
avec des
Orchestrateurs
Une solution ?
17

1ère solution - Distributions spécialisées
18

2ème solution - Les outils d’orchestration
Nomad KubernetesMesos / Marathon / ZooKeeper
19

3ème solution - Docker for AWS
Basé sur CloudFormation
Nœuds de type manager et worker
S’appuie sur les services AWS pour fonctionner
AMI Customisées
20

Le setup de ces solutions est à votre charge !
Problème
21

Elastic Beanstalk avec Docker
Elastic Container Service
4ème solution - Les services AWS
22

Elastic Beanstalk
23

Historiquement utilisé avec des stacks
préconfigurées Node.js ou Java
Succès historique sur nos projets
Utilisation de Jenkins et l’Elastic Beanstalk
Command Line Interface (EB CLI) pour
construire & déployer les livrables
24

Mono application
25

Mono & Multi container
2 Modes
26

Plusieurs options de déploiement :
● Dockerfile
● Dockerrun.aws.json
● Un Bundle de déploiement
Mono Container
27

Authentification
Référence de l’image à déployer
Configuration complémentaire:
● Ports
● Volumes
● Logging
Dockerrun.aws.json
28

{
"AWSEBDockerrunVersion": "1",
"Image": {
"Name": "janedoe/image",
"Update": "true"
},
"Ports": [
{
"ContainerPort": "1234"
}
],
"Volumes": [
{
"HostDirectory": "/var/app/mydb",
"ContainerDirectory": "/etc/mysql"
}
],
"Logging": "/var/log/nginx"
}
Dockerrun.aws.json
29

Supporte le déploiement d’applications multi-container
Utilise Elastic Container Service
Se charge de la gestion du cluster ECS, des définitions de
tâches et des exécutions
Multi Container
30

app1.elasticbeanstalk.com:80
app2.elasticbeanstalk.com:80
Instance 1 Instance 2
80
9000
Auto Scaling Group / ECS Cluster
Elastic Beanstalk Environment
Task 1-1 Task 1-2
Container 1 Container 2
Container 3
Container 3
31

Le format v2 supporte des instances multi-containers
Les images doivent être pré-construites
Dockerrun.aws.json v2
32

AMI optimisée pour ECS
Agent ECS pré-installé
Multi Container
33

Blue-Green Deployment
Multi Environment Management
Rolling Update
Easy Rollback
Pourquoi utiliser Elastic Beanstalk avec Docker ?
34

Un mot sur CloudFormation
35

Fichiers de configuration au format JSON
Rendre répétable la création de vos infrastructures
Garder les définitions dans un gestionnaire de source
Donner la capacité de tester les déploiements
Pourquoi utiliser CloudFormation ?
36

37

Gérer soi-même un cluster est une tâche
complexe
38

Load-Balancing
Auto-Scaling
CloudWatch
Elastic Container Registry
Cloud Formation ...
Intégration avec les services AWS
39

Intégration End-to-End
Stockage sécurisé des images
Accès fiables aux images
Elastic Container Registry
40

Régions AWS & Disponibilité d’ECS
41

Clusters, Task Definitions, Services
42

Pas de Cluster / Orchestrateur à faire fonctionner
Contrôle & Monitoring via des API et la console
Scaling
Avantages
43

C’est avant tout un pool de ressources
Clusters
44

Unités de travail
Regroupent des containers liés
Tournent sur des instances
Tasks
45

Adapté pour les tâches à durée de vie longue
Load balance le trafic entre les instances
Rétablit les instances défaillantes
Services
46

Métriques enregistrées chaque minute pour une durée de
2 semaines
Métriques: CPUReservation, MemoryReservation, CPUUtilization, MemoryUtilization
Dimensions: ClusterName, ServiceName
Possibilité d’envoyer des métriques customisées
Métriques & Cloud Watch
47

CloudFormation pour lier les services entre eux
Route53 avec une zone privée
Outils tiers de service discovery (Consul, Etcd)
Service Discovery
48

Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Task
Application
router, e.g.
nginx
Route 53 private
zone, e.g.
example.com
ECS
Service
Internal ELB with
CNAME, e.g.
api.example.com
Service Discovery avec Route53
49

Scheduler par tâches
- Exécute les tâches une unique fois
- Lancement de jobs batchés (Jusqu’à 10)
- Permet de lancer les jobs en random (RunTask) ou placés (StartTask)
Scheduler de services
- Gestion de la santé des tâches (Relance les tâches au besoin)
- Scale Up & Scale Down
- Availability Zone awareness
Schedulers ECS
50

Support des Elastic Load Balancing
Permet d’associer un port de l’ELB avec un port d’un
container (Classic & Dynamic port mapping)
Si un healthcheck de Load Balancer est en erreur, la tâche est
killée puis redémarrée
Services ECS
51

Lors de la mise à jour des tâches, il est possible de jouer avec
les paramètres de minimumHealthyPercent et
maximumPercent pour assurer des déploiements sans
coupure
Rolling Update - Jobs à durée de vie longue
52

Rolling Update - Jobs à durée de vie longue (min: 50%, max: 100%)
#ContainerdayFR
Instance 1 Instance 2 Instance 3 Instance 4Step 1
Task 2Task 1 Task 4Task 3
Task 4Task 3Task 2Task 1
53

Rolling Update - Jobs à durée de vie longue (min: 100%, max: 200%)
Instance 5 Instance 6 Instance 7 Instance 8
Instance 5 Instance 6 Instance 7 Instance 8
Instance 1 Instance 2 Instance 3 Instance 4Step 3 Instance 5 Instance 6 Instance 7 Instance 8
Task 8Task 7Task 6Task 5
Intéressant si le nombre d’instances ne peut être réduit
54

Définir 2 services
Chaque service est associé
à un ELB
Chaque service est associé
à une même entrée Route53
avec une policy par poids
(Primaire: 100%, Secondaire: 0%)
Switcher les poids pour changer le routage DNS d’un service à l’autre
Task
Task
Task
Route 53
record set
with
weighted
routing
policy
Blue-Green Deployments
Task
Task
Task
55

Elastic Search Cluster
Container 3
ECS Instance
Container 4
Container 3
ECS Instance
Container 4
Gelf
Plugin
Logstash
Gestion des logs avec ELK
56

Container 3
ECS Instance
Container 4
Container 3
ECS Instance
Container 4
AWS Log Driver
Gestion des logs CloudWatch Logs
57

Cloud Hybride
58

Direct Connect
VPN
Virtual Private Cloud
Intégrer un DataCenter avec AWS
59

Conclusion
60

#ContainerdayFR
EC2
Beanstalk
ECS
Une solution pour chaque besoin
61

Questions
62

XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de Xebia et Gérome Egron, Développeur chez Xebia

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de Xebia et Gérome Egron, Développeur chez Xebia

Similaire à XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de Xebia et Gérome Egron, Développeur chez Xebia (20)

Plus de Publicis Sapient Engineering

Plus de Publicis Sapient Engineering (20)

Dernier

Dernier (9)

XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de Xebia et Gérome Egron, Développeur chez Xebia