Cours Big Data & Open Data Master2 ISF - Paris II #bigdata #opendata #AWS #azure #docker #hadoop

1. ABSTRAIRE L’INFRASTRUCTURE

2. Le transport des marchandises
 Il y a 50 ans : des vraquiers
 Un type de navire par type de produit transporté
 Une logistique très complexe
 Aujourd’hui des dockers
 Je remplis mon docker, standardisé en volume
 Je le confie à un transporteur
 Routier, fluvial, aéronautique
 Il me le livre
 Le transporteur
 Gère des boites de taille standard, sans se préocupér du contenu
2

3. Au niveau de la gestion
d’infrastructure
 Docker est un outil qui peut empaqueter une application et ses dépendances
dans un conteneur isolé, qui pourra être exécuté sur n'importe quel serveur
 Sépare la partie infrastructure (proche du matériel) des aspects logiciels
 un conteneur Docker n'inclut pas de système d'exploitation, mais s'appuie au
contraire sur les fonctionnalités du système d’exploitation fournies par la
machine hôte
 La technologie de conteneur de Docker peut être utilisée pour étendre des
systèmes distribués de façon qu'ils s'exécutent de manière autonome depuis
une seule machine physique ou une seule instance par nœud
 un conteneur Docker, à l'opposé de machines virtuelles traditionnelles, ne
requiert aucun système d'exploitation séparé et n'en fournit aucun
3

4. Docker vs VM 4

5. Configuration
 Un fichier Dockerfile par container
 Un fichier docker-compose.yml par docker
 Yml => yaml, un format standard de définition de paramètres
5

6. Docker-compose : namenode 6
services:
namenode:
build: ./namenode
hostname: namenode
container_name: namenode
volumes:
- ./data/namenode:/hadoop/dfs/name
environment:
- CLUSTER_NAME=test
env_file:
- ./hadoop.env

7. Docker-compose : datanode 7
datanode1:
build: ./datanode
hostname: datanode1
container_name: datanode1
depends_on:
- "namenode"
links:
- "namenode"
volumes:
- ./data/datanode1:/hadoop/dfs/data
env_file:
- ./hadoop.env

8. Exemple de Dockerfile 8
FROM bde2020/hadoop-base:1.1.0-hadoop2.7.1-java8
MAINTAINER Ivan Ermilov <ivan.s.ermilov@gmail.com>
HEALTHCHECK CMD curl -f http://localhost:8088/ || exit 1
RUN apt-get clean all &&
apt-get update &&
apt-get install python3 python3-pip
ADD run.sh /run.sh
RUN chmod a+x /run.sh
EXPOSE 8088
CMD ["/run.sh"]

9. Un exemple complet pour une
infrastructure Hadoop de base
 https://gitlab.com/pbury/m2isf_hadoop
9

10. Références
 https://www.wanadev.fr/23-tuto-docker-comprendre-docker-partie1/
 https://xataz.developpez.com/tutoriels/utilisation-docker/
 https://www.grafikart.fr/tutoriels/docker
10