SlideShare une entreprise Scribd logo
1  sur  179
Télécharger pour lire hors ligne
1
FORMATION DOCKER
2 . 1
CONCERNANT CES SUPPORTS DE COURS
2 . 2
SUPPORTS DE COURS RÉALISÉS PAR OSONES
https://osones.com
Copyright © 2017 Osones
Licence :
Sources :
Online :
Creative Commons BY-SA 4.0
https://github.com/Osones/Formations/
https://osones.com/formations/docker.html
2 . 3
AUTEURS
Romain Guichard
Kevin Lefevre
romain.guichard@osones.io
kevin.lefevre@osones.io
3 . 1
LE CLOUD : VUE D’ENSEMBLE
3 . 2
LE CLOUD, C’EST LARGE !
Stockage/calcul distant (on oublie, cf.
externalisation)
Virtualisation++
Abstraction du matériel (voire plus)
Accès normalisé par des APIs
Service et facturation à la demande
Flexibilité, élasticité
3 . 3
WAAS : WHATEVER AS A SERVICE
IaaS : Infrastructure as a
Service
PaaS : Platform as a Service
SaaS : Software as a Service
3 . 4
LE CLOUD EN UN SCHÉMA
3 . 5
POURQUOI DU CLOUD ? CÔTÉ TECHNIQUE
Abstraction des couches basses
On peut tout programmer à son gré (API)
Permet la mise en place d’architectures scalables
3 . 6
VIRTUALISATION DANS LE CLOUD
Le cloud IaaS repose souvent sur la virtualisation
Ressources compute : virtualisation
Virtualisation complète : KVM, Xen
Virtualisation conteneurs : OpenVZ, LXC, Docker,
RKT
3 . 7
NOTIONS ET VOCABULAIRE IAAS
L’instance est par définition éphémère
Elle doit être utilisée comme ressource de
calcul
Séparer les données des instances
3 . 8
ORCHESTRATION DES RESSOURCES ?
Groupement fonctionnel de ressources : micro services
Infrastructure as Code : Définir toute une infrastructure dans
un seul fichier texte de manière déclarative
Scalabilité : passer à l'échelle son infrastructure en fonction
de différentes métriques.
3 . 9
POSITIONNEMENT DES CONTENEURS DANS
L'ÉCOSYSTÈME CLOUD ?
Facilitent la mise en place de PaaS
Fonctionnent sur du IaaS ou sur du bare-metal
Simplifient la décomposition d'applications en micro
services
4 . 1
LES CONTENEURS
4 . 2
DÉFINITION
Les conteneurs fournissent un environnement isolé sur un
système hôte, semblable à un chroot sous Linux ou une jail
sous BSD, mais en proposant plus de fonctionnalités en
matière d'isolation et de configuration. Ces fonctionnalités
sont dépendantes du système hôte et notamment du kernel.
4 . 3
LE KERNEL LINUX
Namespaces
Cgroups (control groups)
4 . 4
LES NAMESPACES
4 . 5
MOUNT NAMESPACES ( LINUX 2.4.19)
Permet de créer un arbre des points de montage
indépendants de celui du système hôte.
4 . 6
UTS NAMESPACES (LINUX 2.6.19)
Unix Time Sharing : Permet à un conteneur de disposer de
son propre nom de domaine et d’identité NIS sur laquelle
certains protocoles tel que LDAP peuvent se baser.
4 . 7
IPC NAMESPACES (LINUX 2.6.19)
Inter Process Communication : Permet d’isoler les bus de
communication entre les processus d’un conteneur.
4 . 8
PID NAMESPACES (LINUX 2.6.24)
Isole l’arbre d’exécution des processus et permet donc à
chaque conteneur de disposer de son propre processus
maître (PID 0) qui pourra ensuite exécuter et manager
d'autres processus avec des droits illimités tout en étant un
processus restreint au sein du système hôte.
4 . 9
USER NAMESPACES (LINUX 2.6.23-3.8)
Permet l’isolation des utilisateurs et des groupes au sein d’un
conteneur. Cela permet notamment de gérer des utilisateurs
tels que l’UID 0 et GID 0, le root qui aurait des permissions
absolues au sein d’un namespace mais pas au sein du
système hôte.
4 . 10
NETWORK NAMESPACES (LINUX 2.6.29)
Permet l’isolation des ressources associées au réseau,
chaque namespace dispose de ses propres cartes réseaux,
plan IP, table de routage, etc.
4 . 11
CGROUPS : CONTROL CROUPS
CGroup: /
|--docker
| |--7a977a50f48f2970b6ede780d687e72c0416d9ab6e0b02030698c1633fdde956
| |--6807 nginx: master process ngin
| | |--6847 nginx: worker proces
4 . 12
CGROUPS : LIMITATION DE RESSOURCES
Limitation des ressources : des groupes peuvent être mis en
place afin de ne pas dépasser une limite de mémoire.
4 . 13
CGROUPS : PRIORISATION
Priorisation : certains groupes peuvent obtenir une plus
grande part de ressources processeur ou de bande passante
d'entrée-sortie.
4 . 14
CGROUPS : COMPTABILITÉ
Comptabilité : permet de mesurer la quantité de ressources
consommées par certains systèmes, en vue de leur
facturation par exemple.
4 . 15
CGROUPS : ISOLATION
Isolation : séparation par espace de nommage pour les
groupes, afin qu'ils ne puissent pas voir les processus des
autres, leurs connexions réseaux ou leurs fichiers.
4 . 16
CGROUPS : CONTRÔLE
Contrôle : figer les groupes ou créer un point de sauvegarde
et redémarrer.
4 . 17
DEUX PHILOSOPHIES DE CONTENEURS
Systeme : simule une séquence de boot complète avec un init
process ainsi que plusieurs processus (LXC, OpenVZ).
Process : un conteneur exécute un ou plusieurs processus
directement, en fonction de l'application conteneurisée
(Docker, Rkt).
4 . 18
ENCORE PLUS “CLOUD” QU’UNE INSTANCE
Partage du kernel
Un seul processus par conteneur
Le conteneur est encore plus éphémère que
l’instance
Le turnover des conteneurs est élevé : orchestration
4 . 19
CONTAINER RUNTIME
Docker
Rkt
LXC
4 . 20
LXC
Conteneur système
Utilise la liblxc
Virtualisation d'un système complet (boot)
4 . 21
DOCKER
Développé par dotCloud et open sourcé en mars 2013
Fonctionne en mode daemon : difficulté d'intégration avec
les init-process
Utilisait la liblxc
Utilise désormais la libcontainer
4 . 22
ROCKET (RKT)
Se prononce “rock-it”
Développé par CoreOS
Pas de daemon : intégration avec systemd
Utilise systemd-nspawn et propose maintenant d'autres
solutions (eg. KVM)
Adresse certains problèmes de sécurité inhérents à Docker
4 . 23
LES CONTENEURS: CONCLUSION
Fonctionnalités offertes par le Kernel
Les conteneurs engine fournissent des interfaces
d'abstraction
Plusieurs types de conteneurs pour différents besoins
5 . 1
LES CONCEPTS
5 . 2
UN ENSEMBLE DE CONCEPTS ET DE
COMPOSANTS
Layers
Stockage
Volumes
Réseau
Publication de ports
Links
5 . 3
LAYERS
Les conteneurs et leurs images sont décomposés en couches
(layers)
Les layers peuvent être réutilisés entre différents conteneurs
Gestion optimisée de l'espace disque.
5 . 4
LAYERS : UNE IMAGE
Une image se decompose en layers
5 . 5
LAYERS : UN CONTENEUR
Une conteneur = une image + un layer r/w
5 . 6
LAYERS : PLUSIEURS CONTENEURS
Une image, plusieurs conteneurs
5 . 7
LAYERS : RÉPÉTITION DES LAYERS
Les layers sont indépendants de l'image
5 . 8
STOCKAGE
Images Docker, données des conteneurs, volumes
Multiples backends (extensibles via plugins):
AUFS
DeviceMapper
OverlayFS
NFS (via plugin Convoy)
GlusterFS (via plugin Convoy)
5 . 9
STOCKAGE : AUFS
A unification filesystem
Stable : performance écriture moyenne
Non intégré dans le Kernel Linux (mainline)
5 . 10
STOCKAGE : DEVICE MAPPER
Basé sur LVM
Thin Provisionning et snapshot
Intégré dans le Kernel Linux (mainline)
Stable : performance écriture moyenne
5 . 11
STOCKAGE : OVERLAYFS
Successeur de AUFS
Performances accrues
Relativement stable mais moins éprouvé que AUFS ou Device
Mapper
5 . 12
STOCKAGE : PLUGINS
Étendre les drivers de stockages disponibles
Utiliser des systèmes de fichier distribués
(GlusterFS)
Partager des volumes entre plusieurs hôtes docker
5 . 13
VOLUMES
Assurent une persistance des données
Indépendance du volume par rapport au conteneur et aux
layers
Deux types de volumes :
Conteneur : Les données sont stockées dans ce que l'on
appelle un data conteneur
Hôte : Montage d'un dossier de l'hôte docker dans le
conteneur
Partage de volumes entre plusieurs conteneurs
5 . 14
VOLUMES : EXEMPLE
Un volume monté sur deux conteneurs
5 . 15
VOLUMES : PLUGINS
Permettre le partage de volumes entre differents hôtes
Fonctionnalité avancées : snapshot, migration,
restauration
Quelques exemples:
Convoy : multi-host et multi-backend (NFS, GlusterFS)
Flocker : migration de volumes dans un cluster
5 . 16
RÉSEAU : A LA BASE, PAS GRAND CHOSE...
NETWORK ID NAME DRIVER
42f7f9558b7a bridge bridge
6ebf7b150515 none null
0509391a1fbd host host
5 . 17
RÉSEAU : BRIDGE
5 . 18
RÉSEAU : HOST
5 . 19
RÉSEAU : NONE
Explicite
5 . 20
RÉSEAU : LES ÉVOLUTIONS
Refactorisation des composants réseau (libnetwork)
Système de plugins : multi host et multi backend (overlay
network)
Quelques exemples d'overlay :
Flannel : UDP et VXLAN
Weaves : UDP
5 . 21
RÉSEAU : MULTIHOST OVERLAY
5 . 22
PUBLICATION DE PORTS
Dans le cas d'un réseau diffèrent de l'hôte
Les conteneurs ne sont pas accessible depuis l'extérieur
Possibilité de publier des ports depuis l'hôte vers le
conteneur (iptables)
L'hôte sert de proxy au service
5 . 23
PUBLICATION DE PORTS
5 . 24
LINKS
Les conteneurs d'un même réseau peuvent communiquer via
IP
Les liens permettent de lier deux conteneurs par nom
Système de DNS rudimentaire (/etc/hosts)
Remplacés par les discovery services
5 . 25
LES CONCEPTS: CONCLUSION
Les composants de Docker sont modulaires
Nombreuses possibilités offertes par défaut.
Possibilité d'étendre les fonctionnalités via des
plugins
6 . 1
BUILD, SHIP AND RUN !
6 . 2
BUILD
6 . 3
LE CONTENEUR ET SON IMAGE
Flexibilité et élasticité
Format standard de facto
Instanciation illimitée
6 . 4
CONSTRUCTION D'UNE IMAGE
Possibilité de construire son image à la main (long et source
d'erreurs)
Suivi de version et construction d'images de manière
automatisée
Utilisation de Dockerfile afin de garantir l'idempotence des
images
6 . 5
DOCKERFILE
Suite d'instruction qui définit une image
Permet de vérifier le contenu d'une image
FROM alpine:3.4
MAINTAINER Osones <docker@osones.io>
RUN apk -U add nginx
EXPOSE 80 443
CMD ["nginx"]
6 . 6
DOCKERFILE : PRINCIPALES INSTRUCTIONS
FROM : baseimage utilisée
RUN : Commandes effectuées lors du build de l'image
EXPOSE : Ports exposées lors du run (si -P est précisé)
ENV : Variables d'environnement du conteneur à
l'instanciation
CMD : Commande unique lancée par le conteneur
ENTRYPOINT : "Préfixe" de la commande unique lancée par
le conteneur
6 . 7
DOCKERFILE : BEST PRACTICES
Bien choisir sa baseimage
Chaque commande Dockerfile génère un nouveau
layer
Comptez vos layers !
6 . 8
DOCKERFILE : BAD LAYERING
RUN apk --update add 
git 
tzdata 
python 
unrar 
zip 
libxslt 
py-pip 
RUN rm -rf /var/cache/apk/*
VOLUME /config /downloads
EXPOSE 8081
CMD ["--datadir=/config", "--nolaunch"]
ENTRYPOINT ["/usr/bin/env","python2","/sickrage/SickBeard.py"]
6 . 9
DOCKERFILE : GOOD LAYERING
RUN apk --update add 
git 
tzdata 
python 
unrar 
zip 
libxslt 
py-pip 
&& rm -rf /var/cache/apk/*
VOLUME /config /downloads
EXPOSE 8081
CMD ["--datadir=/config", "--nolaunch"]
ENTRYPOINT ["/usr/bin/env","python2","/sickrage/SickBeard.py"]
6 . 10
DOCKERFILE : DOCKERHUB
Build automatisée d'images Docker
Intégration GitHub / DockerHub
Plateforme de stockage et de distribution d'images
Docker
6 . 11
SHIP
6 . 12
SHIP : LES CONTENEURS SONT MANIPULABLES
Sauvegarder un conteneur
:
docker commit mon-conteneur backup/mon-conteneur
docker run -it backup/mon-conteneur
Exporter un conteneur
:
docker save -o mon-image.tar backup/mon-conteneur
Importer un conteneur
:
docker import mon-image.tar backup/mon-conteneur
6 . 13
SHIP : DOCKER REGISTRY
DockerHub n’est qu’au Docker registry ce que GitHub est à
git
Pull and Push
Image officielle : registry
6 . 14
RUN
6 . 15
RUN : LANCER UN CONTENEUR
docker run
-d (detach)
-i (interactive)
-t (pseudo tty)
6 . 16
RUN : BEAUCOUP D’OPTIONS...
-v /directory/host:/directory/container
-p portHost:portContainer
-P
-e “VARIABLE=valeur”
–restart=always
–name=mon-conteneur
6 . 17
RUN : ...DONT CERTAINES UN PEU
DANGEREUSES
–privileged (Accès à tous les devices)
–pid=host (Accès aux PID de l’host)
–net=host (Accès à la stack IP de
l’host)
6 . 18
RUN : SE “CONNECTER” À UN CONTENEUR
docker exec
docker attach
6 . 19
RUN : DÉTRUIRE UN CONTENEUR
docker kill (SIGKILL)
docker stop (SIGTERM puis
SIGKILL)
docker rm (détruit complètement)
6 . 20
BUILD, SHIP AND RUN : CONCLUSIONS
Écosystème de gestion d'images
Construction automatisée d'images
Contrôle au niveau conteneurs
7 . 1
ÉCOSYSTÈME DOCKER
7 . 2
DOCKER INC.
Docker Inc != Docker Project
Docker Inc est le principal développeur du Docker Engine,
Compose, Machine, Kitematic, Swarm etc.
Ces projets restent OpenSource et les contributions sont
possibles
7 . 3
OCI
Créé sous la Linux Fondation
But : Créer des standards OpenSource concernant la manière
de "runner" et le format des conteneurs
Non lié à des produits commerciaux
Non lié à des orchestrateurs ou des clients particuliers
runC a été donné par Docker à l'OCI comme base pour leurs
travaux
7 . 4
LES AUTRES PRODUITS DOCKER
7 . 5
DOCKER-COMPOSE
Concept de stack
Infrastructure as a
code
Scalabilité
7 . 6
DOCKER-COMPOSE
docker-compose.yml
nginx:
image: vsense/nginx
ports:
- "80:80"
- "443:443"
volumes:
- "/srv/nginx/etc/sites-enabled:/etc/nginx/sites-enabled"
- "/srv/nginx/etc/certs:/etc/nginx/certs"
- "/srv/nginx/etc/log:/var/log/nginx"
- "/srv/nginx/data:/var/www"
7 . 7
DOCKER-MACHINE
"Metal" as a Service
Provisionne des hôtes Docker
Abstraction du Cloud Provider
7 . 8
DOCKER SWARM
Clustering : Mutualisation d'hôtes Docker
Orchestration : placement intelligent des conteneurs au sein
du cluster
AUTOUR DE DOCKER
Plugins : étendre les fonctionnalités notamment réseau et
volumes
Systèmes de gestion de conteneurs
(COE)
Docker as a Service :
Docker Cloud
Tutum
7 . 9
7 . 10
ÉCOSYSTÈME DOCKER : CONCLUSION
Le projet Docker est Open Source et n'appartient plus a
Docker
Des outils permettent d'étendre les fonctionnalités de Docker
Docker Inc. construit des offres commerciales autour de
Docker
8 . 1
DOCKER HOSTS
8 . 2
LES DISTRIBUTIONS TRADITIONNELLES
Debian, CentOS, Ubuntu
Supportent tous Docker
Paquets DEB et RPM
disponibles
8 . 3
UN PEU "TOO MUCH" NON ?
Paquets inutiles ou out of date
Services par défaut/inutiles alourdissent les
distributions
Cycle de release figé
8 . 4
OS ORIENTÉS CONTENEURS
Faire tourner un conteneur engine
Optimisé pour les conteneurs : pas de services superflus
Fonctionnalités avancées liées aux conteneurs (clustering,
network, etc.)
Sécurité accrue de part le minimalisme
8 . 5
OS ORIENTÉS CONTENEURS : EXEMPLES
CoreOS (CoreOS)
Atomic (Red Hat)
RancherOS (Rancher)
Photon (VMware)
Ubuntu Snappy Core
(Ubuntu)
8 . 6
COREOS : PHILOSOPHIE
Trois "channels" : stable, beta, alpha
Dual root : facilité de mise à jour
Système de fichier en read only
Pas de gestionnaire de paquets : tout est
conteneurisé
Forte intégration de systemd
COREOS : FONCTIONNALITÉS ORIENTÉES
CONTENEURS
8 . 7
Inclus :
Docker
Rkt
Etcd (base de données clé/valeur)
Fleet (système d'init distribué)
Flannel (overlay network)
Kubernetes Kubelet
Permet nativement d'avoir un cluster
complet
Stable et éprouvé en production
Idéal pour faire tourner Kubernetes (Tectonic)
8 . 8
COREOS : ETCD
Système de stockage simple : clé =
valeur
Hautement disponible (quorum)
Accessible via API
8 . 9
COREOS : FLEET
Système d'init distribué basé sur systemd
Orchestration de conteneurs entre différents hôtes
supportant systemd
S'appuie sur un système clé/valeur comme etcd
8 . 10
COREOS : FLANNEL
Communication multi-hosts
UDP ou VXLAN
S'appuie sur un système clé/valeur comme
etcd
8 . 11
RANCHEROS : PHILOSOPHIE
Docker et juste Docker : Docker est le process de PID 1)
Docker in Docker : Daemon User qui tourne dans le Daemon
System
Pas de processus tiers, pas d'init, juste Docker
Encore en beta
8 . 12
FEDORA ATOMIC : PHILOSOPHIE
Équivalent à CoreOS mais basée sur Fedora
Utilise systemd
Update Atomic (incrémentielles pour
rollback)
8 . 13
PROJECT PHOTON
Développé par VMware mais Open Source
Optimisé pour vSphere
Supporte Docker, Rkt et Pivotal Garden (Cloud Foundry)
8 . 14
DOCKER HOSTS : CONCLUSION
Répond à un besoin différent des distributions classiques
Fourni des outils et une logique adaptée aux environnements
full conteneurs
Sécurité accrue (mise à jour)
9 . 1
DOCKER EN PRODUCTION
9 . 2
OÙ DÉPLOYER ?
Cloud public:
GCE
AWS
Cloud privé:
OpenStack
Bare Metal
9 . 3
COMMENT ?
Utilisation de COE (Container Orchestration
Engine)
Utilisation d'infrastructure as code
Utilisation d'un Discovery Service
9 . 4
CONTAINER ORCHESTRATION ENGINE
Gestion du cycle de vie des conteneurs/applications
Abstraction des hôtes et des cloud providers (clustering)
Scheduling en fonction des besoins de l'application
Quelques exemples:
Etcd/Fleet (CoreOS)
Docker Swarm
Rancher
Mesos / Kubernetes (K8s)
9 . 5
INFRASTRUCTURE AS A CODE
Version Control System
Intégration / Déploiement Continue
Outils de templating (Heat, Terraform,
Cloudformation)
9 . 6
DISCOVERY SERVICE
La nature éphémère des conteneurs empêche toute
configuration manuelle
Connaître de façon automatique l'état de ses conteneurs à
tout instant
Fournir un endpoint fixe à une application susceptible de
bouger au sein d'un cluster
9 . 7
ETCD/FLEET
Distributed key-Value store (KV store)
Résilient de par sa construction, l'information est
répliquée et une défaillance du master n'impact pas les
données
Clustering minimaliste d'hôtes supportant systemd
Positionnement intelligent des units en fonction des
besoins
Etcd
Fleet
9 . 8
ETCD/FLEET
Exemple :
[Unit]
Description=Apache-sidekick
BindsTo=apache.service
After=apache.service
[Service]
ExecStart=/bin/sh -c "while true; do etcdctl set /services/website/apache '{"host": "%H", "port": 8
ExecStop=/usr/bin/etcdctl rm /services/website/apache
[X-Fleet]
MachineOf=apache.service
9 . 9
CONSUL
Combinaison de plusieurs services : KV Store, DNS,
HTTP
Failure detection
Datacenter aware
Github
9 . 10
CONSUL
Exemple :
$ curl -X PUT -d 'docker' http://localhost:8500/v1/kv/container/key1
true
$ curl http://localhost:8500/v1/kv/container/key1 | jq .
[
{
"CreateIndex": 5,
"ModifyIndex": 5,
"LockIndex": 0,
"Key": "container/key1",
"Flags": 0,
"Value": "ZG9ja2Vy"
}
]
$ echo ZG9ja2Vy | base64 -d
docker
9 . 11
CONSUL
L'enregistrement des nouveaux conteneurs peut être
automatisé
Registrator est un process écoutant le daemon Docker et
enregistrant les évènements
9 . 12
RANCHER
Permet de provisionner et mutualiser des hôtes Docker sur
différents Cloud Provider
Fournit des fonctionnalité de COE :
Cattle : COE développé par Rancher
Kubernetes : COE développé par Google
Bon compromis entre simplicité et fonctionnalités comparé à
Mesos ou Kubernetes
Encore jeune, adapté aux environnement de taille moyenne
(problèmes de passage à l'échelle)
9 . 13
APACHE MESOS / MARATHON
Mesos : Gestion et orchestration de systèmes distribués
A la base orienté Big Data (Hadoop, Elasticsearch...) et
étendu aux conteneurs via Marathon
Marathon : Scheduler pour Apache Mesos orienté conteneur
Multi Cloud/Datacenter
Adapté aux gros environnements, éprouvé jusque 10000
nodes
9 . 14
KUBERNETES (K8S)
COE développé par Google, devenu open source en
2014
Utilisé par Google pour la gestion de leurs conteneurs
Adapté à tout type d'environnements
Devenu populaire en très peu de temps
9 . 15
QUELQUES AUTRES
Hashicorp Nomad
Amazon Container Engine
Docker Cloud
Docker UCP (Universal Control
Plane)
9 . 16
DOCKER EN PRODUCTION : CONCLUSION
10 . 1
MONITORER UNE INFRASTRUCTURE DOCKER
10 . 2
QUOI MONITORER ?
L'infrastructure
Les conteneurs
10 . 3
MONITORER SON INFRASTRUCTURE
Problématique classique
Monitorer des serveur est une problématique résolu depuis de
nombreuses années par des outils devenus des standards :
Nagios
Shinken
Centreons
Icinga
10 . 4
INTÉRÊT ?
Un des principes du cloud computing est d'abstraire les
couches basses
Docker accentue cette pratique
Est-ce intéressant de monitorer son infra ?
10 . 5
Oui bien sûr ;)
10 . 6
MONITORER SES CONTENEURS
Monitorer les services fournis par les
conteneurs
Monitorer l'état d'un cluster
Monitorer un conteneur spécifique
10 . 7
PROBLÉMATIQUES DES CONTENEURS
Les conteneurs sont des boîtes noires
Les conteneurs sont dynamiques
La scalabilité induite par les conteneurs devient un
problème
10 . 8
MONITORER LES SERVICES
La problématique est différente pour chaque service
Concernant les web services (grande majorité), le temps de
réponse du service et la disponibilité du service sont de bons
indicatifs
Problème adressé par certains services discovery pour
conserver une vision du système cohérente (ex : Consul
10 . 9
MONITORER L'ÉTAT D'UN CLUSTER
Dépends grandement de la technologie employée
Le cluster se situe t-il au niveau de l'host Docker ou des
conteneurs eux mêmes ?
10 . 10
MONITORER, OK MAIS DEPUIS OÙ ?
Commandes exécutées dans le container
Agents à l'intérieur du conteneur
Agents à l'extérieur du conteneur
10 . 11
LES OUTILS DE MONITORING
Docker stats
CAdvisor
Datadog
Sysdig
Prometheus
11 . 1
KUBERNETES : CONCEPTS ET OBJETS
11 . 2
KUBERNETES (K8S)
COE développé par Google, devenu open source en 2014
Utilisé par Google pour la gestion de leurs conteneurs (basé
sur Borg)
Adapté à tout type d'environnements
Devenu populaire en très peu de temps
KUBERNETES : CONCEPTS
11 . 3
PODs
Networking
Volumes
Namespaces
Replication Controllers
Services
Providers : Load Balancer
Deployments / ReplicaSet
Ingress et Ingress
controller
NetworkPolicy
11 . 4
KUBERNETES : POD
Ensemble logique composé de un ou plusieurs conteneurs
Les conteneurs d'un pod fonctionnent ensemble
(instanciation et destruction) et sont orchestrés sur un même
hôte
Les conteneurs partagent certaines spécifications du POD :
La stack IP (network namespace)
Inter-process communication (PID namespace)
Volumes
C'est la plus petite unité orchestrable dans Kubernetes
11 . 5
KUBERNETES : POD
Les PODs sont définis en YAML comme les fichiers
docker-compose :
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
11 . 6
KUBERNETES : NETWORKING
Overlay Network nécessaire (idem que ceux utilisables avec
Docker) :
Cannal : Flannel + Calico
Weaves
OpenShift
OpenContrail
Romana
Les conteneurs peuvent communiquer sans NAT
Un nœuds peut accéder aux conteneurs des autres nœuds
sans NAT
11 . 7
KUBERNETES : VOLUMES
Fournir du stockage persistent aux PODs
Fonctionnent de la même façon que les volumes Docker pour
les volumes hôte :
EmptyDir ~= volumes docker
HostPath ~= volumes hôte
Support de multiples backend de stockage :
GCE : PD
AWS : EBS
glusterFS / NFS
Ceph
iSCSI
11 . 8
KUBERNETES : VOLUMES
On déclare d'abord le volume et on l'affecte à un service
:
apiVersion: v1
kind: Pod
metadata:
name: redis
spec:
containers:
- name: redis
image: redis
volumeMounts:
- name: redis-persistent-storage
mountPath: /data/redis
volumes:
- name: redis-persistent-storage
emptyDir: {}
11 . 9
KUBERNETES : NAMESPACES
Fournissent une séparation logique des ressources par
exemple :
Par utilisateurs
Par projet / applications
Autres...
Les objets existent uniquement au sein d'un namespaces
donné
Évitent la collision de nom d'objets
11 . 10
KUBERNETES : LABELS
Système de clé/valeur
Organiser les différents objets de Kubernetes (PODs, RC,
Services, etc.) d'une manière cohérente qui reflète la
structure de l'application
Corréler des éléments de Kubernetes : par exemple un
service vers des PODs
11 . 11
KUBERNETES : LABELS
Exemple de label :
apiVersion: v1
kind: Pod
metadata:
name: nginx
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
11 . 12
KUBERNETES : REPLICATION CONTROLLERS
Permet de manager les PODs de manière homogène (version
de PODs, nombres, etc.)
Gère la durée de vie des PODs : création et destruction
Assure qu'un nombre minimum de PODs est présent à
l'instant T sur l'infrastructure K8s (scaling)
11 . 13
KUBERNETES : REPLICATION CONTROLLERS
apiVersion: v1
kind: ReplicationController
metadata:
name: nginx-controller
spec:
replicas: 2
selector:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx
ports:
- containerPort: 80
11 . 14
KUBERNETES : SERVICES
Abstraction des PODs et RCs, sous forme d'une VIP de
service
Rendre un ensemble de PODs accessibles depuis l'extérieur
Load Balancing entre les PODs d'un même service
11 . 15
KUBERNETES : SERVICES
Load Balancing : intégration avec des cloud provider :
AWS ELB
GCE
Node Port forwarding : limitations
ClusterIP : IP dans le réseau privé Kubernetes (VIP)
IP Externes : le routage de l'IP publique vers le cluster est
manuel
11 . 16
KUBERNETES : SERVICES
Exemple de service (on remarque la selection sur le
label):
{
"kind": "Service",
"apiVersion": "v1",
"metadata": {
"name": "example-service"
},
"spec": {
"ports": [{
"port": 8765,
"targetPort": 9376
}],
"selector": {
"app": "example"
},
"type": "LoadBalancer"
}
}
11 . 17
KUBERNETES : DEPLOYMENTS ET REPLICASETS
Evolution des ReplicationController
Permet de définir un ensemble de PODs ainsi qu'un
ReplicaSet
Version, Update et Rollback
Souvent combiné avec un objet de typeservice
11 . 18
KUBERNETES : DEPLOYMENTS ET REPLICASETS
apiVersion: v1
kind: Service
metadata:
name: my-nginx-svc
labels:
app: nginx
spec:
type: LoadBalancer
ports:
- port: 80
selector:
app: nginx
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: my-nginx
spec:
replicas: 3
template:
metadata:
labels:
11 . 19
KUBERNETES : INGRESS RESOURCE
Définition de règles de routage applicative (HTTP/HTTPS)
Traffic load balancing, SSL termination, name based virtual
hosting
Définies dans l'API et ensuite implémentées par un Ingress
Controller
internet | internet
| | |
------------ | [ Ingress ]
[ Services ] | --|-----|--
| [ Services ]
11 . 20
KUBERNETES : INGRESS RESOURCE
Exemple :
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
namespace: default
name: traefik
annotations:
kubernetes.io/ingress.class: "traefik"
spec:
rules:
- host: traefik.archifleks.net
http:
paths:
- backend:
serviceName: traefik-console
servicePort: 8080
11 . 21
KUBERNETES : INGRESS CONTROLLER
Routeur applicatif de bordure (L7 Load
Balancer)
Implémente les Ingress Resources
Plusieurs implémentations :
Træfɪk
nginx
11 . 22
KUBERNETES : NETWORKPOLICY
Contrôle la communication entre les PODs au sein d'un
namespace
Pare-feu entre les éléments composant une application :
apiVersion: extensions/v1beta1
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
podSelector:
matchLabels:
role: db
ingress:
- from:
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
11 . 23
KUBERNETES : RUN ET ADMINISTRATION
WebUI (Kubernetes Dashboard)
Kubectl (Outil CLI)
Objets: Secret et ConfigMap : paramétrages, plus sécurisés
que les variables d'environnements
11 . 24
KUBERNETES : AUJOURD'HUI
Version 1.4 : stable en production
Solution complète et une des plus utilisées
Éprouvée par Google
S'intègre parfaitement à CoreOS (support derkt et Tectonic,
la solution commerciale) et Atomic
12 . 1
KUBERNETES : ARCHITECTURE
12 . 2
KUBERNETES : COMPOSANTS
Kubernetes est écrit en Go, compilé statiquement.
Un ensemble de binaires sans dépendances
Faciles à conteneuriser et à packager
Peut se déployer uniquement avec des conteneurs sans
dépendances d'OS
12 . 3
KUBERNETES : COMPOSANTS
kubelet : Service "agent" fonctionnant sur tous les nœuds et
assure le fonctionnement des autres services
kube-apiserver : API server qui permet la configuration
d'objet Kubernetes (Pods, Service, Replication Controller,
etc.)
kube-proxy : Permet le forwarding TCP/UDP et le load
balancing entre les services et les backend (Pods)
kube-scheduler : Implémente les fonctionnalité de
scheduling
kube-controller-manager : Responsable de l'état du cluster,
boucle infinie qui régule l'état du cluster afin d'atteindre un
état désiré
(network-policy-controller) : Composant qui implémente
l'objet NetworkPolicy
kubectl : Client qui permet de piloter un cluster Kubernetes
12 . 4
KUBERNETES : KUBELET
Service principal de Kubernetes
Permet à Kubernetes de s'auto configurer :
Surveille un dossier contenant les manifests (fichiers YAML
des différents composant de K8s).
Applique les modifications si besoin (upgrade, rollback).
Surveille l'état des services du cluster via l'API server (kube-
apiserver).
Dossier de manifest sur un noeud master :
ls /etc/kubernetes/manifests/
kube-apiserver.yaml kube-controller-manager.yaml kube-proxy.yaml kube-scheduler.yaml policy-c
12 . 5
KUBERNETES : KUBELET
Exemple du manifest kube-proxy
:
apiVersion: v1
kind: Pod
metadata:
name: kube-proxy
namespace: kube-system
annotations:
rkt.alpha.kubernetes.io/stage1-name-override: coreos.com/rkt/stage1-fly
spec:
hostNetwork: true
containers:
- name: kube-proxy
image: quay.io/coreos/hyperkube:v1.3.6_coreos.0
command:
- /hyperkube
- proxy
- --master=http://127.0.0.1:8080
- --proxy-mode=iptables
securityContext:
privileged: true
volumeMounts:
12 . 6
KUBERNTES : KUBE-APISERVER
Les configuration d'objets (Pods, Service, RC, etc.) se font via
l'API server
Un point d'accès à l'état du cluster aux autres composant via
une API REST
Tous les composant sont reliés à l'API server
12 . 7
KUBERNETES : KUBE-SCHEDULER
Planifie les ressources sur le cluster
En fonction de règles implicites (CPU, RAM, stockage
disponible, etc.)
En fonction de règles explicites (règles d'affinité et anti-
affinité, labels, etc.)
12 . 8
KUBERNETES : KUBE-PROXY
Responsable de la publication de services
Utilise iptables
Route les paquets a destination des PODs et réalise le load
balancing TCP/UDP
12 . 9
KUBERNETES : KUBE-CONTROLLER-MANAGER
Boucle infinie qui contrôle l'état d'un cluster
Effectue des opérations pour atteindre un état donné
De base dans Kubernetes : replication controller, endpoints
controller, namespace controller et serviceaccounts
controller
12 . 10
KUBERNETES : NETWORK-POLICY-CONTROLLER
Implémente l'objet NetworkPolicy
Contrôle la communication entre les PODs
Externe à Kubernetes et implémenté par la solution de
Networking choisie :
OpenShift
OpenContrail
Romana
Calico
12 . 11
KUBERNETES : CONCLUSION
13 . 1
OPENSHIFT : INTRODUCTION
13 . 2
OPENSHIFT
Solution de PaaS développée par Red Hat
Deux version :
Open Source :
Entreprise :
Se base sur Kubernetes en tant qu'orchestrateur de
conteneurs
OpenShift Origin
OpenShift Container Platform
13 . 3
OPENSHIFT VS KUBERNETES : DIFFÉRENCES ET
AJOUTS
Pas d'Ingress : Router
Build et Images Stream : Création d'images et pipeline de
CI/CD
Templates : Permet de definir et templatiser facilement un
ensemble d'Objet OpenShift
OpenShift SDN ou Nuage Network pour le réseau
13 . 4
OPENSHIFT : ROUTER
Quasiment identique à Ingress mais implémentés avant
Kubernetes
Fournissent les même fonctionnalités
Deux implementations :
HAProxy
F5 Big IP
13 . 5
OPENSHIFT : BUILD
Permet de construire et reproduire des images d'application
Docker builds : via Dockerfile
Source-to-Image (S2I) builds : système de build propre à
OpenShift qui produit une image Docker d'une application
depuis les source
Pipeline builds : via Jenkins
13 . 6
OPENSHIFT : IMAGE STREAM
Similaires à un dépôt DockerHub
Rassemble des images similaires identifiées par des
tags
Permet de garder un historique des différentes versions
13 . 7
OPENSHIFT : CONCLUSION
14 . 1
CONCLUSION

Contenu connexe

Similaire à formation docker.pdf

A la découverte de docker, 2ème partie
A la découverte de docker, 2ème partieA la découverte de docker, 2ème partie
A la découverte de docker, 2ème partieSamuel Desseaux
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal yacine sebihi
 
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...Aurelien Navarre
 
Docker, mais qu’est-ce que c’est ?
Docker, mais qu’est-ce que c’est ?Docker, mais qu’est-ce que c’est ?
Docker, mais qu’est-ce que c’est ?Julien Maitrehenry
 
formation_dockerhscv jh sjsjx jhxavcjhvdcjhvajhsdvc
formation_dockerhscv jh   sjsjx jhxavcjhvdcjhvajhsdvcformation_dockerhscv jh   sjsjx jhxavcjhvdcjhvajhsdvc
formation_dockerhscv jh sjsjx jhxavcjhvdcjhvajhsdvchichamelhirch
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOSgcatt
 
Geek Time Mars 2017 : Workshop Docker
Geek Time Mars 2017 : Workshop DockerGeek Time Mars 2017 : Workshop Docker
Geek Time Mars 2017 : Workshop DockerNizar GARRACHE
 
Expert Day 2019 - SUSE Enterrpise Storage et CEPH
Expert Day 2019 - SUSE Enterrpise Storage et CEPHExpert Day 2019 - SUSE Enterrpise Storage et CEPH
Expert Day 2019 - SUSE Enterrpise Storage et CEPHSUSE
 
Devops d-day 2017 docker openstack docker
Devops d-day 2017  docker openstack dockerDevops d-day 2017  docker openstack docker
Devops d-day 2017 docker openstack dockerAlexis Ducastel
 
Docker nice meetup #1 construire, déployer et exécuter vos applications, ...
Docker nice meetup #1   construire, déployer et exécuter vos applications, ...Docker nice meetup #1   construire, déployer et exécuter vos applications, ...
Docker nice meetup #1 construire, déployer et exécuter vos applications, ...adri1s
 
system de gestion Nfs (Network File System)
system de gestion Nfs (Network File System)system de gestion Nfs (Network File System)
system de gestion Nfs (Network File System)ninanoursan
 
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckv
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckvPres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckv
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckvBilelBoulehmi
 
Alphorm.com Formation VMware vSphere 7 : What's New 2/2
Alphorm.com Formation VMware vSphere 7 : What's New 2/2Alphorm.com Formation VMware vSphere 7 : What's New 2/2
Alphorm.com Formation VMware vSphere 7 : What's New 2/2Alphorm
 
Rapport d'installation de Linux Engine X MariaDB PHP5
Rapport d'installation de Linux Engine X MariaDB PHP5Rapport d'installation de Linux Engine X MariaDB PHP5
Rapport d'installation de Linux Engine X MariaDB PHP5Mame Cheikh Ibra Niang
 
docker-workshop-by-rbk.pdf jhuhiuguigugyug
docker-workshop-by-rbk.pdf jhuhiuguigugyugdocker-workshop-by-rbk.pdf jhuhiuguigugyug
docker-workshop-by-rbk.pdf jhuhiuguigugyugamine17157
 

Similaire à formation docker.pdf (20)

A la découverte de docker, 2ème partie
A la découverte de docker, 2ème partieA la découverte de docker, 2ème partie
A la découverte de docker, 2ème partie
 
Cloud rasberryfinal
Cloud rasberryfinal Cloud rasberryfinal
Cloud rasberryfinal
 
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...
Meetup Drupal Lyon 2016 - Environnements de dév Drupal automatisés LXC et Ans...
 
Docker, mais qu’est-ce que c’est ?
Docker, mais qu’est-ce que c’est ?Docker, mais qu’est-ce que c’est ?
Docker, mais qu’est-ce que c’est ?
 
formation_dockerhscv jh sjsjx jhxavcjhvdcjhvajhsdvc
formation_dockerhscv jh   sjsjx jhxavcjhvdcjhvajhsdvcformation_dockerhscv jh   sjsjx jhxavcjhvdcjhvajhsdvc
formation_dockerhscv jh sjsjx jhxavcjhvdcjhvajhsdvc
 
Présentation CoreOS
Présentation CoreOSPrésentation CoreOS
Présentation CoreOS
 
Geek Time Mars 2017 : Workshop Docker
Geek Time Mars 2017 : Workshop DockerGeek Time Mars 2017 : Workshop Docker
Geek Time Mars 2017 : Workshop Docker
 
Expert Day 2019 - SUSE Enterrpise Storage et CEPH
Expert Day 2019 - SUSE Enterrpise Storage et CEPHExpert Day 2019 - SUSE Enterrpise Storage et CEPH
Expert Day 2019 - SUSE Enterrpise Storage et CEPH
 
Devops d-day 2017 docker openstack docker
Devops d-day 2017  docker openstack dockerDevops d-day 2017  docker openstack docker
Devops d-day 2017 docker openstack docker
 
Docker nice meetup #1 construire, déployer et exécuter vos applications, ...
Docker nice meetup #1   construire, déployer et exécuter vos applications, ...Docker nice meetup #1   construire, déployer et exécuter vos applications, ...
Docker nice meetup #1 construire, déployer et exécuter vos applications, ...
 
Eucalyptus
EucalyptusEucalyptus
Eucalyptus
 
DevOps 3 - Docker.pdf
DevOps 3 - Docker.pdfDevOps 3 - Docker.pdf
DevOps 3 - Docker.pdf
 
system de gestion Nfs (Network File System)
system de gestion Nfs (Network File System)system de gestion Nfs (Network File System)
system de gestion Nfs (Network File System)
 
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckv
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckvPres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckv
Pres_openshift.ppt jvjxcvcxkjvlkxcjvlkxjlkvjcxkljvlckv
 
Alphorm.com Formation VMware vSphere 7 : What's New 2/2
Alphorm.com Formation VMware vSphere 7 : What's New 2/2Alphorm.com Formation VMware vSphere 7 : What's New 2/2
Alphorm.com Formation VMware vSphere 7 : What's New 2/2
 
APACHE HTTP
APACHE HTTPAPACHE HTTP
APACHE HTTP
 
Rapport d'installation de Linux Engine X MariaDB PHP5
Rapport d'installation de Linux Engine X MariaDB PHP5Rapport d'installation de Linux Engine X MariaDB PHP5
Rapport d'installation de Linux Engine X MariaDB PHP5
 
REX Devops Docker
REX Devops DockerREX Devops Docker
REX Devops Docker
 
REX Devops Docker
REX Devops DockerREX Devops Docker
REX Devops Docker
 
docker-workshop-by-rbk.pdf jhuhiuguigugyug
docker-workshop-by-rbk.pdf jhuhiuguigugyugdocker-workshop-by-rbk.pdf jhuhiuguigugyug
docker-workshop-by-rbk.pdf jhuhiuguigugyug
 

Dernier

LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...Faga1939
 
systeme expert_systeme expert_systeme expert
systeme expert_systeme expert_systeme expertsysteme expert_systeme expert_systeme expert
systeme expert_systeme expert_systeme expertChristianMbip
 
Cours-irrigation_et_drainage_cours1.pptx
Cours-irrigation_et_drainage_cours1.pptxCours-irrigation_et_drainage_cours1.pptx
Cours-irrigation_et_drainage_cours1.pptxlamourfrantz
 
MaintenanceLa Maintenance Corrective.ppt
MaintenanceLa Maintenance Corrective.pptMaintenanceLa Maintenance Corrective.ppt
MaintenanceLa Maintenance Corrective.pptssusercbaa22
 
Formation M2i - Comprendre les neurosciences pour développer son leadership
Formation M2i - Comprendre les neurosciences pour développer son leadershipFormation M2i - Comprendre les neurosciences pour développer son leadership
Formation M2i - Comprendre les neurosciences pour développer son leadershipM2i Formation
 
A3iFormations, organisme de formations certifié qualiopi.
A3iFormations, organisme de formations certifié qualiopi.A3iFormations, organisme de formations certifié qualiopi.
A3iFormations, organisme de formations certifié qualiopi.Franck Apolis
 
presentation l'interactionnisme symbolique finale.pptx
presentation l'interactionnisme symbolique  finale.pptxpresentation l'interactionnisme symbolique  finale.pptx
presentation l'interactionnisme symbolique finale.pptxMalikaIdseaid1
 
Présentation de cartes d'extension zhr..pptx
Présentation de cartes d'extension zhr..pptxPrésentation de cartes d'extension zhr..pptx
Présentation de cartes d'extension zhr..pptxpopzair
 
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptxSAID MASHATE
 
Approche-des-risques-par-l’analyse-des-accidents-1.pptx
Approche-des-risques-par-l’analyse-des-accidents-1.pptxApproche-des-risques-par-l’analyse-des-accidents-1.pptx
Approche-des-risques-par-l’analyse-des-accidents-1.pptxssusercbaa22
 
Guide Final de rédaction de mémoire de fin d'étude
Guide Final de rédaction de mémoire de fin d'étudeGuide Final de rédaction de mémoire de fin d'étude
Guide Final de rédaction de mémoire de fin d'étudeBenamraneMarwa
 
Fondation Louis Vuitton. pptx
Fondation      Louis      Vuitton.   pptxFondation      Louis      Vuitton.   pptx
Fondation Louis Vuitton. pptxTxaruka
 
Bolero. pptx . Film de A nnne Fontaine
Bolero. pptx . Film   de  A nnne FontaineBolero. pptx . Film   de  A nnne Fontaine
Bolero. pptx . Film de A nnne FontaineTxaruka
 

Dernier (15)

Pâques de Sainte Marie-Euphrasie Pelletier
Pâques de Sainte Marie-Euphrasie PelletierPâques de Sainte Marie-Euphrasie Pelletier
Pâques de Sainte Marie-Euphrasie Pelletier
 
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
LA MONTÉE DE L'ÉDUCATION DANS LE MONDE DE LA PRÉHISTOIRE À L'ÈRE CONTEMPORAIN...
 
systeme expert_systeme expert_systeme expert
systeme expert_systeme expert_systeme expertsysteme expert_systeme expert_systeme expert
systeme expert_systeme expert_systeme expert
 
Cours-irrigation_et_drainage_cours1.pptx
Cours-irrigation_et_drainage_cours1.pptxCours-irrigation_et_drainage_cours1.pptx
Cours-irrigation_et_drainage_cours1.pptx
 
MaintenanceLa Maintenance Corrective.ppt
MaintenanceLa Maintenance Corrective.pptMaintenanceLa Maintenance Corrective.ppt
MaintenanceLa Maintenance Corrective.ppt
 
Formation M2i - Comprendre les neurosciences pour développer son leadership
Formation M2i - Comprendre les neurosciences pour développer son leadershipFormation M2i - Comprendre les neurosciences pour développer son leadership
Formation M2i - Comprendre les neurosciences pour développer son leadership
 
A3iFormations, organisme de formations certifié qualiopi.
A3iFormations, organisme de formations certifié qualiopi.A3iFormations, organisme de formations certifié qualiopi.
A3iFormations, organisme de formations certifié qualiopi.
 
presentation l'interactionnisme symbolique finale.pptx
presentation l'interactionnisme symbolique  finale.pptxpresentation l'interactionnisme symbolique  finale.pptx
presentation l'interactionnisme symbolique finale.pptx
 
Présentation de cartes d'extension zhr..pptx
Présentation de cartes d'extension zhr..pptxPrésentation de cartes d'extension zhr..pptx
Présentation de cartes d'extension zhr..pptx
 
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx
666148532-Formation-Habilitation-ELECTRIQUE-ENTREPRISE-MARS-2017.pptx
 
Evaluación Alumnos de Ecole Victor Hugo
Evaluación Alumnos de Ecole  Victor HugoEvaluación Alumnos de Ecole  Victor Hugo
Evaluación Alumnos de Ecole Victor Hugo
 
Approche-des-risques-par-l’analyse-des-accidents-1.pptx
Approche-des-risques-par-l’analyse-des-accidents-1.pptxApproche-des-risques-par-l’analyse-des-accidents-1.pptx
Approche-des-risques-par-l’analyse-des-accidents-1.pptx
 
Guide Final de rédaction de mémoire de fin d'étude
Guide Final de rédaction de mémoire de fin d'étudeGuide Final de rédaction de mémoire de fin d'étude
Guide Final de rédaction de mémoire de fin d'étude
 
Fondation Louis Vuitton. pptx
Fondation      Louis      Vuitton.   pptxFondation      Louis      Vuitton.   pptx
Fondation Louis Vuitton. pptx
 
Bolero. pptx . Film de A nnne Fontaine
Bolero. pptx . Film   de  A nnne FontaineBolero. pptx . Film   de  A nnne Fontaine
Bolero. pptx . Film de A nnne Fontaine
 

formation docker.pdf

  • 2. 2 . 1 CONCERNANT CES SUPPORTS DE COURS
  • 3. 2 . 2 SUPPORTS DE COURS RÉALISÉS PAR OSONES https://osones.com Copyright © 2017 Osones Licence : Sources : Online : Creative Commons BY-SA 4.0 https://github.com/Osones/Formations/ https://osones.com/formations/docker.html
  • 4. 2 . 3 AUTEURS Romain Guichard Kevin Lefevre romain.guichard@osones.io kevin.lefevre@osones.io
  • 5. 3 . 1 LE CLOUD : VUE D’ENSEMBLE
  • 6. 3 . 2 LE CLOUD, C’EST LARGE ! Stockage/calcul distant (on oublie, cf. externalisation) Virtualisation++ Abstraction du matériel (voire plus) Accès normalisé par des APIs Service et facturation à la demande Flexibilité, élasticité
  • 7. 3 . 3 WAAS : WHATEVER AS A SERVICE IaaS : Infrastructure as a Service PaaS : Platform as a Service SaaS : Software as a Service
  • 8. 3 . 4 LE CLOUD EN UN SCHÉMA
  • 9. 3 . 5 POURQUOI DU CLOUD ? CÔTÉ TECHNIQUE Abstraction des couches basses On peut tout programmer à son gré (API) Permet la mise en place d’architectures scalables
  • 10. 3 . 6 VIRTUALISATION DANS LE CLOUD Le cloud IaaS repose souvent sur la virtualisation Ressources compute : virtualisation Virtualisation complète : KVM, Xen Virtualisation conteneurs : OpenVZ, LXC, Docker, RKT
  • 11. 3 . 7 NOTIONS ET VOCABULAIRE IAAS L’instance est par définition éphémère Elle doit être utilisée comme ressource de calcul Séparer les données des instances
  • 12. 3 . 8 ORCHESTRATION DES RESSOURCES ? Groupement fonctionnel de ressources : micro services Infrastructure as Code : Définir toute une infrastructure dans un seul fichier texte de manière déclarative Scalabilité : passer à l'échelle son infrastructure en fonction de différentes métriques.
  • 13. 3 . 9 POSITIONNEMENT DES CONTENEURS DANS L'ÉCOSYSTÈME CLOUD ? Facilitent la mise en place de PaaS Fonctionnent sur du IaaS ou sur du bare-metal Simplifient la décomposition d'applications en micro services
  • 14. 4 . 1 LES CONTENEURS
  • 15. 4 . 2 DÉFINITION Les conteneurs fournissent un environnement isolé sur un système hôte, semblable à un chroot sous Linux ou une jail sous BSD, mais en proposant plus de fonctionnalités en matière d'isolation et de configuration. Ces fonctionnalités sont dépendantes du système hôte et notamment du kernel.
  • 16. 4 . 3 LE KERNEL LINUX Namespaces Cgroups (control groups)
  • 17. 4 . 4 LES NAMESPACES
  • 18. 4 . 5 MOUNT NAMESPACES ( LINUX 2.4.19) Permet de créer un arbre des points de montage indépendants de celui du système hôte.
  • 19. 4 . 6 UTS NAMESPACES (LINUX 2.6.19) Unix Time Sharing : Permet à un conteneur de disposer de son propre nom de domaine et d’identité NIS sur laquelle certains protocoles tel que LDAP peuvent se baser.
  • 20. 4 . 7 IPC NAMESPACES (LINUX 2.6.19) Inter Process Communication : Permet d’isoler les bus de communication entre les processus d’un conteneur.
  • 21. 4 . 8 PID NAMESPACES (LINUX 2.6.24) Isole l’arbre d’exécution des processus et permet donc à chaque conteneur de disposer de son propre processus maître (PID 0) qui pourra ensuite exécuter et manager d'autres processus avec des droits illimités tout en étant un processus restreint au sein du système hôte.
  • 22. 4 . 9 USER NAMESPACES (LINUX 2.6.23-3.8) Permet l’isolation des utilisateurs et des groupes au sein d’un conteneur. Cela permet notamment de gérer des utilisateurs tels que l’UID 0 et GID 0, le root qui aurait des permissions absolues au sein d’un namespace mais pas au sein du système hôte.
  • 23. 4 . 10 NETWORK NAMESPACES (LINUX 2.6.29) Permet l’isolation des ressources associées au réseau, chaque namespace dispose de ses propres cartes réseaux, plan IP, table de routage, etc.
  • 24. 4 . 11 CGROUPS : CONTROL CROUPS CGroup: / |--docker | |--7a977a50f48f2970b6ede780d687e72c0416d9ab6e0b02030698c1633fdde956 | |--6807 nginx: master process ngin | | |--6847 nginx: worker proces
  • 25. 4 . 12 CGROUPS : LIMITATION DE RESSOURCES Limitation des ressources : des groupes peuvent être mis en place afin de ne pas dépasser une limite de mémoire.
  • 26. 4 . 13 CGROUPS : PRIORISATION Priorisation : certains groupes peuvent obtenir une plus grande part de ressources processeur ou de bande passante d'entrée-sortie.
  • 27. 4 . 14 CGROUPS : COMPTABILITÉ Comptabilité : permet de mesurer la quantité de ressources consommées par certains systèmes, en vue de leur facturation par exemple.
  • 28. 4 . 15 CGROUPS : ISOLATION Isolation : séparation par espace de nommage pour les groupes, afin qu'ils ne puissent pas voir les processus des autres, leurs connexions réseaux ou leurs fichiers.
  • 29. 4 . 16 CGROUPS : CONTRÔLE Contrôle : figer les groupes ou créer un point de sauvegarde et redémarrer.
  • 30. 4 . 17 DEUX PHILOSOPHIES DE CONTENEURS Systeme : simule une séquence de boot complète avec un init process ainsi que plusieurs processus (LXC, OpenVZ). Process : un conteneur exécute un ou plusieurs processus directement, en fonction de l'application conteneurisée (Docker, Rkt).
  • 31. 4 . 18 ENCORE PLUS “CLOUD” QU’UNE INSTANCE Partage du kernel Un seul processus par conteneur Le conteneur est encore plus éphémère que l’instance Le turnover des conteneurs est élevé : orchestration
  • 32. 4 . 19 CONTAINER RUNTIME Docker Rkt LXC
  • 33. 4 . 20 LXC Conteneur système Utilise la liblxc Virtualisation d'un système complet (boot)
  • 34. 4 . 21 DOCKER Développé par dotCloud et open sourcé en mars 2013 Fonctionne en mode daemon : difficulté d'intégration avec les init-process Utilisait la liblxc Utilise désormais la libcontainer
  • 35. 4 . 22 ROCKET (RKT) Se prononce “rock-it” Développé par CoreOS Pas de daemon : intégration avec systemd Utilise systemd-nspawn et propose maintenant d'autres solutions (eg. KVM) Adresse certains problèmes de sécurité inhérents à Docker
  • 36. 4 . 23 LES CONTENEURS: CONCLUSION Fonctionnalités offertes par le Kernel Les conteneurs engine fournissent des interfaces d'abstraction Plusieurs types de conteneurs pour différents besoins
  • 37. 5 . 1 LES CONCEPTS
  • 38. 5 . 2 UN ENSEMBLE DE CONCEPTS ET DE COMPOSANTS Layers Stockage Volumes Réseau Publication de ports Links
  • 39. 5 . 3 LAYERS Les conteneurs et leurs images sont décomposés en couches (layers) Les layers peuvent être réutilisés entre différents conteneurs Gestion optimisée de l'espace disque.
  • 40. 5 . 4 LAYERS : UNE IMAGE Une image se decompose en layers
  • 41. 5 . 5 LAYERS : UN CONTENEUR Une conteneur = une image + un layer r/w
  • 42. 5 . 6 LAYERS : PLUSIEURS CONTENEURS Une image, plusieurs conteneurs
  • 43. 5 . 7 LAYERS : RÉPÉTITION DES LAYERS Les layers sont indépendants de l'image
  • 44. 5 . 8 STOCKAGE Images Docker, données des conteneurs, volumes Multiples backends (extensibles via plugins): AUFS DeviceMapper OverlayFS NFS (via plugin Convoy) GlusterFS (via plugin Convoy)
  • 45. 5 . 9 STOCKAGE : AUFS A unification filesystem Stable : performance écriture moyenne Non intégré dans le Kernel Linux (mainline)
  • 46. 5 . 10 STOCKAGE : DEVICE MAPPER Basé sur LVM Thin Provisionning et snapshot Intégré dans le Kernel Linux (mainline) Stable : performance écriture moyenne
  • 47. 5 . 11 STOCKAGE : OVERLAYFS Successeur de AUFS Performances accrues Relativement stable mais moins éprouvé que AUFS ou Device Mapper
  • 48. 5 . 12 STOCKAGE : PLUGINS Étendre les drivers de stockages disponibles Utiliser des systèmes de fichier distribués (GlusterFS) Partager des volumes entre plusieurs hôtes docker
  • 49. 5 . 13 VOLUMES Assurent une persistance des données Indépendance du volume par rapport au conteneur et aux layers Deux types de volumes : Conteneur : Les données sont stockées dans ce que l'on appelle un data conteneur Hôte : Montage d'un dossier de l'hôte docker dans le conteneur Partage de volumes entre plusieurs conteneurs
  • 50. 5 . 14 VOLUMES : EXEMPLE Un volume monté sur deux conteneurs
  • 51. 5 . 15 VOLUMES : PLUGINS Permettre le partage de volumes entre differents hôtes Fonctionnalité avancées : snapshot, migration, restauration Quelques exemples: Convoy : multi-host et multi-backend (NFS, GlusterFS) Flocker : migration de volumes dans un cluster
  • 52. 5 . 16 RÉSEAU : A LA BASE, PAS GRAND CHOSE... NETWORK ID NAME DRIVER 42f7f9558b7a bridge bridge 6ebf7b150515 none null 0509391a1fbd host host
  • 53. 5 . 17 RÉSEAU : BRIDGE
  • 54. 5 . 18 RÉSEAU : HOST
  • 55. 5 . 19 RÉSEAU : NONE Explicite
  • 56. 5 . 20 RÉSEAU : LES ÉVOLUTIONS Refactorisation des composants réseau (libnetwork) Système de plugins : multi host et multi backend (overlay network) Quelques exemples d'overlay : Flannel : UDP et VXLAN Weaves : UDP
  • 57. 5 . 21 RÉSEAU : MULTIHOST OVERLAY
  • 58. 5 . 22 PUBLICATION DE PORTS Dans le cas d'un réseau diffèrent de l'hôte Les conteneurs ne sont pas accessible depuis l'extérieur Possibilité de publier des ports depuis l'hôte vers le conteneur (iptables) L'hôte sert de proxy au service
  • 59. 5 . 23 PUBLICATION DE PORTS
  • 60. 5 . 24 LINKS Les conteneurs d'un même réseau peuvent communiquer via IP Les liens permettent de lier deux conteneurs par nom Système de DNS rudimentaire (/etc/hosts) Remplacés par les discovery services
  • 61. 5 . 25 LES CONCEPTS: CONCLUSION Les composants de Docker sont modulaires Nombreuses possibilités offertes par défaut. Possibilité d'étendre les fonctionnalités via des plugins
  • 62. 6 . 1 BUILD, SHIP AND RUN !
  • 64. 6 . 3 LE CONTENEUR ET SON IMAGE Flexibilité et élasticité Format standard de facto Instanciation illimitée
  • 65. 6 . 4 CONSTRUCTION D'UNE IMAGE Possibilité de construire son image à la main (long et source d'erreurs) Suivi de version et construction d'images de manière automatisée Utilisation de Dockerfile afin de garantir l'idempotence des images
  • 66. 6 . 5 DOCKERFILE Suite d'instruction qui définit une image Permet de vérifier le contenu d'une image FROM alpine:3.4 MAINTAINER Osones <docker@osones.io> RUN apk -U add nginx EXPOSE 80 443 CMD ["nginx"]
  • 67. 6 . 6 DOCKERFILE : PRINCIPALES INSTRUCTIONS FROM : baseimage utilisée RUN : Commandes effectuées lors du build de l'image EXPOSE : Ports exposées lors du run (si -P est précisé) ENV : Variables d'environnement du conteneur à l'instanciation CMD : Commande unique lancée par le conteneur ENTRYPOINT : "Préfixe" de la commande unique lancée par le conteneur
  • 68. 6 . 7 DOCKERFILE : BEST PRACTICES Bien choisir sa baseimage Chaque commande Dockerfile génère un nouveau layer Comptez vos layers !
  • 69. 6 . 8 DOCKERFILE : BAD LAYERING RUN apk --update add git tzdata python unrar zip libxslt py-pip RUN rm -rf /var/cache/apk/* VOLUME /config /downloads EXPOSE 8081 CMD ["--datadir=/config", "--nolaunch"] ENTRYPOINT ["/usr/bin/env","python2","/sickrage/SickBeard.py"]
  • 70. 6 . 9 DOCKERFILE : GOOD LAYERING RUN apk --update add git tzdata python unrar zip libxslt py-pip && rm -rf /var/cache/apk/* VOLUME /config /downloads EXPOSE 8081 CMD ["--datadir=/config", "--nolaunch"] ENTRYPOINT ["/usr/bin/env","python2","/sickrage/SickBeard.py"]
  • 71. 6 . 10 DOCKERFILE : DOCKERHUB Build automatisée d'images Docker Intégration GitHub / DockerHub Plateforme de stockage et de distribution d'images Docker
  • 73. 6 . 12 SHIP : LES CONTENEURS SONT MANIPULABLES Sauvegarder un conteneur : docker commit mon-conteneur backup/mon-conteneur docker run -it backup/mon-conteneur Exporter un conteneur : docker save -o mon-image.tar backup/mon-conteneur Importer un conteneur : docker import mon-image.tar backup/mon-conteneur
  • 74. 6 . 13 SHIP : DOCKER REGISTRY DockerHub n’est qu’au Docker registry ce que GitHub est à git Pull and Push Image officielle : registry
  • 76. 6 . 15 RUN : LANCER UN CONTENEUR docker run -d (detach) -i (interactive) -t (pseudo tty)
  • 77. 6 . 16 RUN : BEAUCOUP D’OPTIONS... -v /directory/host:/directory/container -p portHost:portContainer -P -e “VARIABLE=valeur” –restart=always –name=mon-conteneur
  • 78. 6 . 17 RUN : ...DONT CERTAINES UN PEU DANGEREUSES –privileged (Accès à tous les devices) –pid=host (Accès aux PID de l’host) –net=host (Accès à la stack IP de l’host)
  • 79. 6 . 18 RUN : SE “CONNECTER” À UN CONTENEUR docker exec docker attach
  • 80. 6 . 19 RUN : DÉTRUIRE UN CONTENEUR docker kill (SIGKILL) docker stop (SIGTERM puis SIGKILL) docker rm (détruit complètement)
  • 81. 6 . 20 BUILD, SHIP AND RUN : CONCLUSIONS Écosystème de gestion d'images Construction automatisée d'images Contrôle au niveau conteneurs
  • 83. 7 . 2 DOCKER INC. Docker Inc != Docker Project Docker Inc est le principal développeur du Docker Engine, Compose, Machine, Kitematic, Swarm etc. Ces projets restent OpenSource et les contributions sont possibles
  • 84. 7 . 3 OCI Créé sous la Linux Fondation But : Créer des standards OpenSource concernant la manière de "runner" et le format des conteneurs Non lié à des produits commerciaux Non lié à des orchestrateurs ou des clients particuliers runC a été donné par Docker à l'OCI comme base pour leurs travaux
  • 85. 7 . 4 LES AUTRES PRODUITS DOCKER
  • 86. 7 . 5 DOCKER-COMPOSE Concept de stack Infrastructure as a code Scalabilité
  • 87. 7 . 6 DOCKER-COMPOSE docker-compose.yml nginx: image: vsense/nginx ports: - "80:80" - "443:443" volumes: - "/srv/nginx/etc/sites-enabled:/etc/nginx/sites-enabled" - "/srv/nginx/etc/certs:/etc/nginx/certs" - "/srv/nginx/etc/log:/var/log/nginx" - "/srv/nginx/data:/var/www"
  • 88. 7 . 7 DOCKER-MACHINE "Metal" as a Service Provisionne des hôtes Docker Abstraction du Cloud Provider
  • 89. 7 . 8 DOCKER SWARM Clustering : Mutualisation d'hôtes Docker Orchestration : placement intelligent des conteneurs au sein du cluster
  • 90. AUTOUR DE DOCKER Plugins : étendre les fonctionnalités notamment réseau et volumes Systèmes de gestion de conteneurs (COE) Docker as a Service : Docker Cloud Tutum
  • 91. 7 . 9
  • 92. 7 . 10 ÉCOSYSTÈME DOCKER : CONCLUSION Le projet Docker est Open Source et n'appartient plus a Docker Des outils permettent d'étendre les fonctionnalités de Docker Docker Inc. construit des offres commerciales autour de Docker
  • 93. 8 . 1 DOCKER HOSTS
  • 94. 8 . 2 LES DISTRIBUTIONS TRADITIONNELLES Debian, CentOS, Ubuntu Supportent tous Docker Paquets DEB et RPM disponibles
  • 95. 8 . 3 UN PEU "TOO MUCH" NON ? Paquets inutiles ou out of date Services par défaut/inutiles alourdissent les distributions Cycle de release figé
  • 96. 8 . 4 OS ORIENTÉS CONTENEURS Faire tourner un conteneur engine Optimisé pour les conteneurs : pas de services superflus Fonctionnalités avancées liées aux conteneurs (clustering, network, etc.) Sécurité accrue de part le minimalisme
  • 97. 8 . 5 OS ORIENTÉS CONTENEURS : EXEMPLES CoreOS (CoreOS) Atomic (Red Hat) RancherOS (Rancher) Photon (VMware) Ubuntu Snappy Core (Ubuntu)
  • 98. 8 . 6 COREOS : PHILOSOPHIE Trois "channels" : stable, beta, alpha Dual root : facilité de mise à jour Système de fichier en read only Pas de gestionnaire de paquets : tout est conteneurisé Forte intégration de systemd
  • 99. COREOS : FONCTIONNALITÉS ORIENTÉES CONTENEURS
  • 100. 8 . 7 Inclus : Docker Rkt Etcd (base de données clé/valeur) Fleet (système d'init distribué) Flannel (overlay network) Kubernetes Kubelet Permet nativement d'avoir un cluster complet Stable et éprouvé en production Idéal pour faire tourner Kubernetes (Tectonic)
  • 101. 8 . 8 COREOS : ETCD Système de stockage simple : clé = valeur Hautement disponible (quorum) Accessible via API
  • 102. 8 . 9 COREOS : FLEET Système d'init distribué basé sur systemd Orchestration de conteneurs entre différents hôtes supportant systemd S'appuie sur un système clé/valeur comme etcd
  • 103. 8 . 10 COREOS : FLANNEL Communication multi-hosts UDP ou VXLAN S'appuie sur un système clé/valeur comme etcd
  • 104. 8 . 11 RANCHEROS : PHILOSOPHIE Docker et juste Docker : Docker est le process de PID 1) Docker in Docker : Daemon User qui tourne dans le Daemon System Pas de processus tiers, pas d'init, juste Docker Encore en beta
  • 105. 8 . 12 FEDORA ATOMIC : PHILOSOPHIE Équivalent à CoreOS mais basée sur Fedora Utilise systemd Update Atomic (incrémentielles pour rollback)
  • 106. 8 . 13 PROJECT PHOTON Développé par VMware mais Open Source Optimisé pour vSphere Supporte Docker, Rkt et Pivotal Garden (Cloud Foundry)
  • 107. 8 . 14 DOCKER HOSTS : CONCLUSION Répond à un besoin différent des distributions classiques Fourni des outils et une logique adaptée aux environnements full conteneurs Sécurité accrue (mise à jour)
  • 108. 9 . 1 DOCKER EN PRODUCTION
  • 109. 9 . 2 OÙ DÉPLOYER ? Cloud public: GCE AWS Cloud privé: OpenStack Bare Metal
  • 110. 9 . 3 COMMENT ? Utilisation de COE (Container Orchestration Engine) Utilisation d'infrastructure as code Utilisation d'un Discovery Service
  • 111. 9 . 4 CONTAINER ORCHESTRATION ENGINE Gestion du cycle de vie des conteneurs/applications Abstraction des hôtes et des cloud providers (clustering) Scheduling en fonction des besoins de l'application Quelques exemples: Etcd/Fleet (CoreOS) Docker Swarm Rancher Mesos / Kubernetes (K8s)
  • 112. 9 . 5 INFRASTRUCTURE AS A CODE Version Control System Intégration / Déploiement Continue Outils de templating (Heat, Terraform, Cloudformation)
  • 113. 9 . 6 DISCOVERY SERVICE La nature éphémère des conteneurs empêche toute configuration manuelle Connaître de façon automatique l'état de ses conteneurs à tout instant Fournir un endpoint fixe à une application susceptible de bouger au sein d'un cluster
  • 114. 9 . 7 ETCD/FLEET Distributed key-Value store (KV store) Résilient de par sa construction, l'information est répliquée et une défaillance du master n'impact pas les données Clustering minimaliste d'hôtes supportant systemd Positionnement intelligent des units en fonction des besoins Etcd Fleet
  • 115. 9 . 8 ETCD/FLEET Exemple : [Unit] Description=Apache-sidekick BindsTo=apache.service After=apache.service [Service] ExecStart=/bin/sh -c "while true; do etcdctl set /services/website/apache '{"host": "%H", "port": 8 ExecStop=/usr/bin/etcdctl rm /services/website/apache [X-Fleet] MachineOf=apache.service
  • 116. 9 . 9 CONSUL Combinaison de plusieurs services : KV Store, DNS, HTTP Failure detection Datacenter aware Github
  • 117. 9 . 10 CONSUL Exemple : $ curl -X PUT -d 'docker' http://localhost:8500/v1/kv/container/key1 true $ curl http://localhost:8500/v1/kv/container/key1 | jq . [ { "CreateIndex": 5, "ModifyIndex": 5, "LockIndex": 0, "Key": "container/key1", "Flags": 0, "Value": "ZG9ja2Vy" } ] $ echo ZG9ja2Vy | base64 -d docker
  • 118. 9 . 11 CONSUL L'enregistrement des nouveaux conteneurs peut être automatisé Registrator est un process écoutant le daemon Docker et enregistrant les évènements
  • 119. 9 . 12 RANCHER Permet de provisionner et mutualiser des hôtes Docker sur différents Cloud Provider Fournit des fonctionnalité de COE : Cattle : COE développé par Rancher Kubernetes : COE développé par Google Bon compromis entre simplicité et fonctionnalités comparé à Mesos ou Kubernetes Encore jeune, adapté aux environnement de taille moyenne (problèmes de passage à l'échelle)
  • 120. 9 . 13 APACHE MESOS / MARATHON Mesos : Gestion et orchestration de systèmes distribués A la base orienté Big Data (Hadoop, Elasticsearch...) et étendu aux conteneurs via Marathon Marathon : Scheduler pour Apache Mesos orienté conteneur Multi Cloud/Datacenter Adapté aux gros environnements, éprouvé jusque 10000 nodes
  • 121. 9 . 14 KUBERNETES (K8S) COE développé par Google, devenu open source en 2014 Utilisé par Google pour la gestion de leurs conteneurs Adapté à tout type d'environnements Devenu populaire en très peu de temps
  • 122. 9 . 15 QUELQUES AUTRES Hashicorp Nomad Amazon Container Engine Docker Cloud Docker UCP (Universal Control Plane)
  • 123. 9 . 16 DOCKER EN PRODUCTION : CONCLUSION
  • 124. 10 . 1 MONITORER UNE INFRASTRUCTURE DOCKER
  • 125. 10 . 2 QUOI MONITORER ? L'infrastructure Les conteneurs
  • 126. 10 . 3 MONITORER SON INFRASTRUCTURE Problématique classique Monitorer des serveur est une problématique résolu depuis de nombreuses années par des outils devenus des standards : Nagios Shinken Centreons Icinga
  • 127. 10 . 4 INTÉRÊT ? Un des principes du cloud computing est d'abstraire les couches basses Docker accentue cette pratique Est-ce intéressant de monitorer son infra ?
  • 128. 10 . 5 Oui bien sûr ;)
  • 129. 10 . 6 MONITORER SES CONTENEURS Monitorer les services fournis par les conteneurs Monitorer l'état d'un cluster Monitorer un conteneur spécifique
  • 130. 10 . 7 PROBLÉMATIQUES DES CONTENEURS Les conteneurs sont des boîtes noires Les conteneurs sont dynamiques La scalabilité induite par les conteneurs devient un problème
  • 131. 10 . 8 MONITORER LES SERVICES La problématique est différente pour chaque service Concernant les web services (grande majorité), le temps de réponse du service et la disponibilité du service sont de bons indicatifs Problème adressé par certains services discovery pour conserver une vision du système cohérente (ex : Consul
  • 132. 10 . 9 MONITORER L'ÉTAT D'UN CLUSTER Dépends grandement de la technologie employée Le cluster se situe t-il au niveau de l'host Docker ou des conteneurs eux mêmes ?
  • 133. 10 . 10 MONITORER, OK MAIS DEPUIS OÙ ? Commandes exécutées dans le container Agents à l'intérieur du conteneur Agents à l'extérieur du conteneur
  • 134. 10 . 11 LES OUTILS DE MONITORING Docker stats CAdvisor Datadog Sysdig Prometheus
  • 135. 11 . 1 KUBERNETES : CONCEPTS ET OBJETS
  • 136. 11 . 2 KUBERNETES (K8S) COE développé par Google, devenu open source en 2014 Utilisé par Google pour la gestion de leurs conteneurs (basé sur Borg) Adapté à tout type d'environnements Devenu populaire en très peu de temps
  • 138. 11 . 3 PODs Networking Volumes Namespaces Replication Controllers Services Providers : Load Balancer Deployments / ReplicaSet Ingress et Ingress controller NetworkPolicy
  • 139. 11 . 4 KUBERNETES : POD Ensemble logique composé de un ou plusieurs conteneurs Les conteneurs d'un pod fonctionnent ensemble (instanciation et destruction) et sont orchestrés sur un même hôte Les conteneurs partagent certaines spécifications du POD : La stack IP (network namespace) Inter-process communication (PID namespace) Volumes C'est la plus petite unité orchestrable dans Kubernetes
  • 140. 11 . 5 KUBERNETES : POD Les PODs sont définis en YAML comme les fichiers docker-compose : apiVersion: v1 kind: Pod metadata: name: nginx spec: containers: - name: nginx image: nginx ports: - containerPort: 80
  • 141. 11 . 6 KUBERNETES : NETWORKING Overlay Network nécessaire (idem que ceux utilisables avec Docker) : Cannal : Flannel + Calico Weaves OpenShift OpenContrail Romana Les conteneurs peuvent communiquer sans NAT Un nœuds peut accéder aux conteneurs des autres nœuds sans NAT
  • 142. 11 . 7 KUBERNETES : VOLUMES Fournir du stockage persistent aux PODs Fonctionnent de la même façon que les volumes Docker pour les volumes hôte : EmptyDir ~= volumes docker HostPath ~= volumes hôte Support de multiples backend de stockage : GCE : PD AWS : EBS glusterFS / NFS Ceph iSCSI
  • 143. 11 . 8 KUBERNETES : VOLUMES On déclare d'abord le volume et on l'affecte à un service : apiVersion: v1 kind: Pod metadata: name: redis spec: containers: - name: redis image: redis volumeMounts: - name: redis-persistent-storage mountPath: /data/redis volumes: - name: redis-persistent-storage emptyDir: {}
  • 144. 11 . 9 KUBERNETES : NAMESPACES Fournissent une séparation logique des ressources par exemple : Par utilisateurs Par projet / applications Autres... Les objets existent uniquement au sein d'un namespaces donné Évitent la collision de nom d'objets
  • 145. 11 . 10 KUBERNETES : LABELS Système de clé/valeur Organiser les différents objets de Kubernetes (PODs, RC, Services, etc.) d'une manière cohérente qui reflète la structure de l'application Corréler des éléments de Kubernetes : par exemple un service vers des PODs
  • 146. 11 . 11 KUBERNETES : LABELS Exemple de label : apiVersion: v1 kind: Pod metadata: name: nginx labels: app: nginx spec: containers: - name: nginx image: nginx ports: - containerPort: 80
  • 147. 11 . 12 KUBERNETES : REPLICATION CONTROLLERS Permet de manager les PODs de manière homogène (version de PODs, nombres, etc.) Gère la durée de vie des PODs : création et destruction Assure qu'un nombre minimum de PODs est présent à l'instant T sur l'infrastructure K8s (scaling)
  • 148. 11 . 13 KUBERNETES : REPLICATION CONTROLLERS apiVersion: v1 kind: ReplicationController metadata: name: nginx-controller spec: replicas: 2 selector: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx ports: - containerPort: 80
  • 149. 11 . 14 KUBERNETES : SERVICES Abstraction des PODs et RCs, sous forme d'une VIP de service Rendre un ensemble de PODs accessibles depuis l'extérieur Load Balancing entre les PODs d'un même service
  • 150. 11 . 15 KUBERNETES : SERVICES Load Balancing : intégration avec des cloud provider : AWS ELB GCE Node Port forwarding : limitations ClusterIP : IP dans le réseau privé Kubernetes (VIP) IP Externes : le routage de l'IP publique vers le cluster est manuel
  • 151. 11 . 16 KUBERNETES : SERVICES Exemple de service (on remarque la selection sur le label): { "kind": "Service", "apiVersion": "v1", "metadata": { "name": "example-service" }, "spec": { "ports": [{ "port": 8765, "targetPort": 9376 }], "selector": { "app": "example" }, "type": "LoadBalancer" } }
  • 152. 11 . 17 KUBERNETES : DEPLOYMENTS ET REPLICASETS Evolution des ReplicationController Permet de définir un ensemble de PODs ainsi qu'un ReplicaSet Version, Update et Rollback Souvent combiné avec un objet de typeservice
  • 153. 11 . 18 KUBERNETES : DEPLOYMENTS ET REPLICASETS apiVersion: v1 kind: Service metadata: name: my-nginx-svc labels: app: nginx spec: type: LoadBalancer ports: - port: 80 selector: app: nginx --- apiVersion: extensions/v1beta1 kind: Deployment metadata: name: my-nginx spec: replicas: 3 template: metadata: labels:
  • 154. 11 . 19 KUBERNETES : INGRESS RESOURCE Définition de règles de routage applicative (HTTP/HTTPS) Traffic load balancing, SSL termination, name based virtual hosting Définies dans l'API et ensuite implémentées par un Ingress Controller internet | internet | | | ------------ | [ Ingress ] [ Services ] | --|-----|-- | [ Services ]
  • 155. 11 . 20 KUBERNETES : INGRESS RESOURCE Exemple : apiVersion: extensions/v1beta1 kind: Ingress metadata: namespace: default name: traefik annotations: kubernetes.io/ingress.class: "traefik" spec: rules: - host: traefik.archifleks.net http: paths: - backend: serviceName: traefik-console servicePort: 8080
  • 156. 11 . 21 KUBERNETES : INGRESS CONTROLLER Routeur applicatif de bordure (L7 Load Balancer) Implémente les Ingress Resources Plusieurs implémentations : Træfɪk nginx
  • 157. 11 . 22 KUBERNETES : NETWORKPOLICY Contrôle la communication entre les PODs au sein d'un namespace Pare-feu entre les éléments composant une application : apiVersion: extensions/v1beta1 kind: NetworkPolicy metadata: name: test-network-policy namespace: default spec: podSelector: matchLabels: role: db ingress: - from: - namespaceSelector: matchLabels: project: myproject - podSelector: matchLabels: role: frontend ports:
  • 158. 11 . 23 KUBERNETES : RUN ET ADMINISTRATION WebUI (Kubernetes Dashboard) Kubectl (Outil CLI) Objets: Secret et ConfigMap : paramétrages, plus sécurisés que les variables d'environnements
  • 159. 11 . 24 KUBERNETES : AUJOURD'HUI Version 1.4 : stable en production Solution complète et une des plus utilisées Éprouvée par Google S'intègre parfaitement à CoreOS (support derkt et Tectonic, la solution commerciale) et Atomic
  • 160. 12 . 1 KUBERNETES : ARCHITECTURE
  • 161. 12 . 2 KUBERNETES : COMPOSANTS Kubernetes est écrit en Go, compilé statiquement. Un ensemble de binaires sans dépendances Faciles à conteneuriser et à packager Peut se déployer uniquement avec des conteneurs sans dépendances d'OS
  • 162. 12 . 3 KUBERNETES : COMPOSANTS
  • 163. kubelet : Service "agent" fonctionnant sur tous les nœuds et assure le fonctionnement des autres services kube-apiserver : API server qui permet la configuration d'objet Kubernetes (Pods, Service, Replication Controller, etc.) kube-proxy : Permet le forwarding TCP/UDP et le load balancing entre les services et les backend (Pods) kube-scheduler : Implémente les fonctionnalité de scheduling kube-controller-manager : Responsable de l'état du cluster, boucle infinie qui régule l'état du cluster afin d'atteindre un état désiré (network-policy-controller) : Composant qui implémente l'objet NetworkPolicy kubectl : Client qui permet de piloter un cluster Kubernetes
  • 164. 12 . 4 KUBERNETES : KUBELET Service principal de Kubernetes Permet à Kubernetes de s'auto configurer : Surveille un dossier contenant les manifests (fichiers YAML des différents composant de K8s). Applique les modifications si besoin (upgrade, rollback). Surveille l'état des services du cluster via l'API server (kube- apiserver). Dossier de manifest sur un noeud master : ls /etc/kubernetes/manifests/ kube-apiserver.yaml kube-controller-manager.yaml kube-proxy.yaml kube-scheduler.yaml policy-c
  • 165. 12 . 5 KUBERNETES : KUBELET Exemple du manifest kube-proxy : apiVersion: v1 kind: Pod metadata: name: kube-proxy namespace: kube-system annotations: rkt.alpha.kubernetes.io/stage1-name-override: coreos.com/rkt/stage1-fly spec: hostNetwork: true containers: - name: kube-proxy image: quay.io/coreos/hyperkube:v1.3.6_coreos.0 command: - /hyperkube - proxy - --master=http://127.0.0.1:8080 - --proxy-mode=iptables securityContext: privileged: true volumeMounts:
  • 166. 12 . 6 KUBERNTES : KUBE-APISERVER Les configuration d'objets (Pods, Service, RC, etc.) se font via l'API server Un point d'accès à l'état du cluster aux autres composant via une API REST Tous les composant sont reliés à l'API server
  • 167. 12 . 7 KUBERNETES : KUBE-SCHEDULER Planifie les ressources sur le cluster En fonction de règles implicites (CPU, RAM, stockage disponible, etc.) En fonction de règles explicites (règles d'affinité et anti- affinité, labels, etc.)
  • 168. 12 . 8 KUBERNETES : KUBE-PROXY Responsable de la publication de services Utilise iptables Route les paquets a destination des PODs et réalise le load balancing TCP/UDP
  • 169. 12 . 9 KUBERNETES : KUBE-CONTROLLER-MANAGER Boucle infinie qui contrôle l'état d'un cluster Effectue des opérations pour atteindre un état donné De base dans Kubernetes : replication controller, endpoints controller, namespace controller et serviceaccounts controller
  • 170. 12 . 10 KUBERNETES : NETWORK-POLICY-CONTROLLER Implémente l'objet NetworkPolicy Contrôle la communication entre les PODs Externe à Kubernetes et implémenté par la solution de Networking choisie : OpenShift OpenContrail Romana Calico
  • 171. 12 . 11 KUBERNETES : CONCLUSION
  • 172. 13 . 1 OPENSHIFT : INTRODUCTION
  • 173. 13 . 2 OPENSHIFT Solution de PaaS développée par Red Hat Deux version : Open Source : Entreprise : Se base sur Kubernetes en tant qu'orchestrateur de conteneurs OpenShift Origin OpenShift Container Platform
  • 174. 13 . 3 OPENSHIFT VS KUBERNETES : DIFFÉRENCES ET AJOUTS Pas d'Ingress : Router Build et Images Stream : Création d'images et pipeline de CI/CD Templates : Permet de definir et templatiser facilement un ensemble d'Objet OpenShift OpenShift SDN ou Nuage Network pour le réseau
  • 175. 13 . 4 OPENSHIFT : ROUTER Quasiment identique à Ingress mais implémentés avant Kubernetes Fournissent les même fonctionnalités Deux implementations : HAProxy F5 Big IP
  • 176. 13 . 5 OPENSHIFT : BUILD Permet de construire et reproduire des images d'application Docker builds : via Dockerfile Source-to-Image (S2I) builds : système de build propre à OpenShift qui produit une image Docker d'une application depuis les source Pipeline builds : via Jenkins
  • 177. 13 . 6 OPENSHIFT : IMAGE STREAM Similaires à un dépôt DockerHub Rassemble des images similaires identifiées par des tags Permet de garder un historique des différentes versions
  • 178. 13 . 7 OPENSHIFT : CONCLUSION