3h à l'assaut d'une application réactive - Devoxx 2015

@njozwiak @xbucchiotty @vspiewak#3ReactApp
Trois heures à l’assaut
d’une application réactive
Xavier Bucchiotty
Nicolas Jozwiak 
Vincent Spiewak

@vspiewak
Speakers
@xbucchiotty
http://blog.xebia.fr
@njozwiak

Disclaimer

Agenda
Contexte
Comment concevoir ?
Comment développer ?
Comment déployer ?
Comment monitorer ?

Contexte

Provider B
Architecture monolithique
Device Gateway Reporting Alerting Front WEB
Provider A
1
2
3 4

Architecture monolithique
1
2
3 4
1
2
3 4
Load
balancer

Solution: Cloud

En résumé
Elastic Resilient

Message Driven
Couplage faible
Asynchrone
Non bloquant

Queues
ServiceClient

Bounded Queues
ServiceClient
fail fast

Circuit Breaker

Circuit Breaker
Client ServiceCircuit Breaker

Circuit Breaker
Fail fast
OK

Provider B
Architecture
Device Gateway Reporting Alerting Front WEB
Provider A
1
2
3 4

Provider B
Architecture
Device Gateway Front WEB
Provider A
1
2
Reporting
Alerting
3
configuration

Provider B
Architecture
Provider A
1
2
Reporting
Alerting
3

Provider B
Architecture
Provider A
1
2
Reporting
Alerting
3
Circuit
breaker

Architecture

Microservices
Microservice
Business Domain
Isoler les
problèmes
Déploiements
indépendants
Loi de Conway
Cacher les détails
d’implémentation

Provider B
Architecture
Provider A
2
Reporting
AlertingCircuit
breaker

Provider B
Architecture
Device Gateway
Front
WEB
Provider A
2
Reporting
AlertingCircuit
breaker
API
API
API

Contexte transactionnel
Provider B
Device
Provider A
Gateway

Contexte transactionnelContexte transactionnel
Reporting
Alerting
API
API

Contexte transactionnel
Front
WEB
API

CQRS
Provider B
Device
Provider A
Gateway
query
Front
WEB
API command
API
API
Reporting
Alerting

Dynamique du système
Provider B
Device
Front
WEB
Provider A
API
API
API
Gateway
Reporting
Alerting
DATAFLOW

Reactive Manifesto
Message driven
Elastic Resilient
Responsive
www.reactivemanifesto.org

//asynchrone
def handle(event): Result = {
val f1 = Future(report(event))
val f2 = Future(alert(event)))
Await.result(sequence(f1,f2))
Success
}
// asynchrone et non bloquant :)
def handle(event): Future[Result] = {
val f1 = Future(report(event))
val f2 = Future(alert(event)))
sequence(f1, f2).map(_ => Success)
}
Asynchronisme

Loi d’Amdahl

De Parallèle vers …
Reporting
Alerting
Gateway

Distribué
Reporting
Alerting
Gateway

Elasticité
Reporting
Alerting
Gateway

Fonctionnement partiel
serviceA
Gateway
serviceB
Device

Bounded Latency
serviceA
Gateway
serviceB
Device

Système de systèmes…

Framework asynchrone JVM
La programmation concurrente est
difficile.

difficile.
Callbacks?

difficile.
ExecutorService?

difficile.
Modèle acteur

Modèle acteur

Modèle acteur
acteur

Modèle acteur
acteur
la boîte aux lettres
seul élément public d’un acteur

Modèle acteur
requête
réponse
acteur acteur

Modèle acteur
réponse
acteur acteur acteur
requête transfert

Modèle acteur
acteur acteur acteur
requête transfert

Modèle acteur
acteur acteur
requête transfert
timeout

Modèle acteur
A B
D
I
S
P
A
T
C
H
E
R
THREADS
B
A
C D
D
C
A
t

Développer en local avec les
contraintes du distribué

Modèle acteur
acteuracteur

akka-cluster
acteur
acteur
akka-cluster
acteur

akka-cluster
acteur
acteur
réseau
point-à-point
acteur

akka-cluster
acteur
acteur
acteur
Gossiping
acteur

akka-cluster
akka.actor.deployment { 
/orchestration { 
router = round-robin-group 
nr-of-instances = 100 
routees.paths = ["/user/orchestration"] 
cluster { 
enabled = on 
allow-local-routees = off 
use-role = orchestration 
} 
} 
}

akka-cluster est la clé de l’élasticité
et de la résilience du système.
akka-cluster

Reactive Manifesto et Akka
Message driven
Elastic Resilient
Responsive

Provider B
Technos
Device
Front
WEB
Provider A
API
API
API
Gateway
Circuit
breaker
Reporting
Alerting

Journal distribué

Journal distribué
Développé à l’origine chez LinkedIn
Rapide, robuste, scalable
File d’attentes, agrégation logs, streaming

Journal distribué
TOPIC
0
1

Journal distribué
TOPIC
BROKER
1
ZK
0
1
leader

Journal distribué
TOPIC
BROKER
1
ZK
0
1
leader
BROKER
2
synchro

TOPIC
Journal distribué
BROKER
1
ZK
0
1
leader
BROKER
2
leader
replica
synchro

TOPIC
Journal distribué
ZK
0
1
leader
BROKER
2
leader
replica
synchro

TOPIC
Journal distribué
ZK
0
1
BROKER
2
leader
synchro

TOPIC
Journal distribué
ZK
0
1
BROKER
2
leader
synchro
Élasticité
Résilience

TOPIC
Journal distribué
BROKER
1
ZK
0
1
leader
BROKER
2
leader
replica
producer
message pour partition 0

TOPIC
Journal distribué
BROKER
1
ZK
0
1
leader
BROKER
2
leader
replica
producer

TOPIC
Journal distribué
BROKER
1
ZK
0
1
leader
BROKER
2
leader
replica
producer
ordre garanti au sein
d’une partition

TOPIC
Journal distribué
BROKER
1
ZK
0
1
leader
BROKER
2
leader
consumer 1topic T
partition 0
group A
ordre garanti au sein
d’une partition
consumer 2

Kafka topic
0 1 2 3 4 5 6 7 8 9
Nouveaux messages
Anciens messages
offset

Kafka topic
0 1 2 3 4 5 6 7 8 9
Nouveaux messages
Anciens messages
Consommateur
groupe G1
Consommateur
groupe G2

Reactive Manifesto et Kafka
Message driven
Elastic Resilient
Responsive

Provider B
Technos
Device
Front
WEB
Provider A
API
API
API

Elasticsearch

Reporting
Recherche full-text
Aggregations

Alerting
quantité
seuil
période de temps
filtres

Document
{
"device" : "device1234"
"msg" : "some message"
"timestamp" : "2015-04-08T13:30:00.000Z"
}
Event
ES
events-2015

Elastique - Shards
Node 1
INDEX
0
1
2

Elastique - Shards
Node 1
INDEX
0
1'
2
Node 2
INDEX
0'
1
2'

Elastique - Shards
Node 1
INDEX
0
1'
2''
Node 2
INDEX
0'
1''
2
Node 3
INDEX
0''
1
2'

Node 3
Node 2
Elastique - Noeuds
Node 1
master
Node 3
Node 2
Node 1
data
Node 3
Node 2
Node 1
search

Résilient - Shards
Node 1
INDEX
0
1'
2''
Node 2
INDEX
0'
1''
2
Node 3
INDEX
0''
1
2'

Résilient - Shards
Node 1
INDEX
0
1'
2
Node 2
INDEX
0'
1
2'

Résilient - Noeuds
Node 3Node 1
master
Node 2Node 2
master

Bounded Queues
Node
Queue (index)
Queue (bulk)
Queue (get)
Queue (refresh)
Queue (search)
…

Responsive - Timeout
Node 1
http://node1:9200/_search?timeout=10000

Recherche
Node 1
TWITTER
0 1'
Node 2
EVENT
0' 1
Node 3
EVENT
0'' 1''
1
2
3’
3’’
4

Reactive Manifesto et ES
Message driven
Elastic Resilient
Responsive

Couchbase

Couchbase
Gestion documents
Schemaless
Clé / valeur
Cache distribué

Couchbase
Fail over node
Cross data center replication

Reactive Manifesto et CB
Message driven
Elastic Resilient
Responsive

PLAY / REACT JS

PLAY
Formulaires, Json, validation
Intégration Scala et Akka
IO non bloquant
Sans état

REACT JS
Créé par Facebook et Instagram
Composants
Data flow unique
Performant

Reactive Manifesto et Play
Message driven
Elastic Resilient
Responsive

Testing
Gateway
Endpoint Supervision
WorkersRouter
Provider B
Device
Provider A

Gateway
Test unitaire
Endpoint Supervision
WorkersRouter
Provider B
Device
Provider A
testkit

Gateway
Test unitaire
Endpoint Probe
WorkersProbe
Probe testkit

Gateway
Test unitaire
Workers
testkit
Validation
Endpoint

Gateway
Test unitaire
Workers
testkit
Probe

Test unitaire
describe("A kafka source actor") { 
 
it("should be able to pump a given number of message from kafka") { 
val probe = TestProbe() 
 
val reader = system.actorOf(Props(classOf[KafkaSource], probe)) 
 
//send 11 messages on a topic
 
probe.send(reader, 10) 
probe.receiveN(10, max = 3.seconds) shouldBe messages.take(10) 
 
probe.expectNoMsg(1.second)
}
}

Test unitaire
describe("A terminal session") { 
it("should have an idle timeout") { 
implicit val system = ActorSystem("test",
ConfigFactory.parseString("session.timeout="500 milliseconds"")) 
 
val probe = TestProbe() 
 
val session = system.actorOf(DeviceSession.props) 
probe.watch(session) 
 
probe.expectTerminated(session, 1.second) 
} 
}

Gateway
Workers Probe
Test multi-jvm
multi-jvm

Gateway Validation
Workers Probe
multi-jvm
Test multi-jvm

"form a cluster" in {
runOn(clusterNodes: _*) { 
SeedDiscovery.joinCluster(system) 
enterBarrier("deployed")
}
"support network partition" in { 
runOn(node1) { 
for { 
from <- group_1 
to <- group_2 
} { 
testConductor.blackhole(from, to, Direction.Both).await 
} 
}
Test multi-jvm

Test
Test intégration
docker
run
Execute
Test
docker
rm

Versioning
NOT SUPPORTED YET

Versioning
JSON
Scala
Apache Avro

@YourTwitterHandle@YourTwitterHandle@njozwiak @xbucchiotty @vspiewak#3ReactApp
QUESTIONS ?

Provider B
Résumé
Device
Front
WEB
Provider A
Reporting
Alerting
API
API
API
Gateway
Circuit
breaker

Thanks

Docker

Docker
FROM ubuntu 
 
RUN apt-get install -y wget software-properties-common 
RUN apt-add-repository ppa:ansible/ansible 
RUN apt-get update && apt-get install -y ansible 
 
RUN wget https://bootstrap.pypa.io/ez_setup.py -O - | python 
RUN easy_install pip 
RUN pip install boto 
 
ENV ANSIBLE_HOST_KEY_CHECKING=False

Mesos / Marathon

Mesos

Mesos
Distribution des
ressources
Détection des
erreurs

Marathon
Execution d’applications
API Rest
Beaucoup d’options

{
"id": "provisioning",
"instances": 1,
"cpus": 2.0,
"mem": 512,
"ports":[9000],
"container": {
"type": "DOCKER",
"docker": {
"image": "project/web:0crec10a90724f791caaf95cbc62ea61abbd6376",
"network": "BRIDGE",
"portMappings": [
{ "containerPort": 9000, "servicePort": 9000,
"hostPort": 0, "protocol": "tcp" }
]
}
}
}
Marathon Config

…
"healthChecks": [
{
"path":"/health",
"portIndex":0,
"protocol":"HTTP",
"gracePeriodSeconds":3,
"intervalSeconds":10,
"timeoutSeconds":10,
"maxConsecutiveFailures":3
}
],
…
"upgradeStrategy": {
"minimumHealthCapacity": 0
},
…
Marathon Config

Marathon

Architecture
Mesos master
Gateway Reporting
Alerting
Mesos slave / Marathon
Gateway
Alerting Reporting
Web
Http Post
Mesos slave / Marathon

Découverte de services

seed-nodes 1seed-nodes 1
seed-nodes 2
Nodes 1
Nodes 2

• Akka 2.4 snapshot
• Intégration avec Docker
remote { 
 
enabled-transports = ["akka.remote.netty.tcp"] 
 
netty.tcp { 
 
hostname = "127.0.0.1" 
port = 2551 
} 
}
remote { 
 
enabled-transports = ["akka.remote.netty.tcp"] 
 
netty.tcp { 
 
hostname = "127.0.0.1" 
port = 2551 
 
bind-hostname = "192.132.122.12" 
bind-port = 32001 
} 
}

Node 1
Node 2
joinCluster
joinCluster

Bamboo

Problème
IP dynamique
Port dynamique
Nombre d’instances
Sous domaines (web, monitoring, …)

Bamboo
Cluster Mesos
Cluster Marathon
Bamboo Zookeeper HAProxy
API /v2/eventSubscriptions

Bamboo: UI

Bamboo
Cluster Mesos
Cluster Marathon
Bamboo
Bamboo HAProxy
WEB 1
Zookeeper
WEBChronos Inbound
WEB 2 WEB N
Docker Registry
web.app.io

Ansible

Problème
Kafka
Couchbase
Marathon
Mesos master / slave
Elasticsearch master / search / data
GoCD server / agent
…

Introduction
Infrastructure as code
Agent-less
Python / Boto

$ cat inventory 
 
[webservers]
foo.example.com
bar.example.com
[dbservers]
one.example.com
two.example.com
Inventaire

Modules
Commands (command, shell, script)
Files (file, copy, unarchive, …)
System (service, hostname, cron, …)
Packaging (apt, yum, …)
Source Control (git, svn, …)
Notifications (mail, irc, slack, …)

$ cat tasks/main.yml
- name: Create /mnt/data directory
file:
path=/mnt/data/elasticsearch
state=directory
- name: Install Elasticsearch 
apt:  
name=elasticsearch 
state=latest  
force=yes 
notify: Restart Elasticsearch 
Tasks

$ tree -a .
├── files
│ └── template.json
├── handlers
│ └── main.yml
├── tasks
│ └── main.yml
├── templates
│ └── elasticsearch.conf.j2
└── vars
└── .gitkeep
Rôles

$ cat group_vars/elasticsearch
elasticsearch: 
version: 1.4 
clustername: elasticsearch-cluster 
nodename: {{ hostvars[inventory_hostname]['ec2_id'] }} 
quorom: 1 
replicas: 2 
plugins: 
- head 
- paramedic
Variables

discovery.zen.ping.multicast.enabled: false
 
discovery.zen.ping.unicast.hosts:
[
{% for host in groups[group_name] %}
"{{ hostvars[host]['ansible_eth0'].ipv4.address }}"
{% if not loop.last %},{% endif %}
{% endfor %}
]
Templates

$ cat elasticsearch.yml
- hosts: es_nodes
user: ubuntu
sudo: yes
roles:
- all
- java
- elasticsearch
Playbooks

Résultats

Résultats
Création instances EC2
Configuration DNS (Route 53)
Configuration instances
Ré-utilisation des rôles (all, java, zk, …)

VPC + CROSS AZ
VPC
AZ1 AZ2
PUBLIC
PRIV
PUBLIC
PRIV
WEBWEB GWGW

GO Continuous Delivery

GO CD: Principes
GO Server
GO Agent GO Agent GO Agent
DEV PROD

GO CD: Principes
Update ES
Update
Kafka
Create Infra
pipeline
stage
jobs
jobs
…

GO CD: Principes
npm install Karma
Job
task task

GO CD: Principes
Create Infra Update Infra
Pipeline Group
Pipeline
Docker Images
Deploy
Containers
Pipeline Pipeline Pipeline

GO CD: UI

TEMPLATES

Déploiement continu
Build
source
+
run
tests
docker
build
img
docker
push
img
install
img
instance
Http Post to Marathon
docker
run
img
slave masterHub

Http post to Marathon
publish
Build
Marathon
request

with
dynamic
parameters

SBT
cpu in Marathon := 2 
 
memory in Marathon := 512 
 
instances in Marathon := 1 
 
portsMapping in Marathon :=
Seq(dynamicPort(9000, Protocol.TCP)) 
healthchecks in Marathon :=
Seq(httpHealthCheck("/health", 3, 10, 10, 3))

Kafka
TOPIC
0
1 Reporting
Reporting
2 partitions deploy 2 instances

KPI
Provider B
Device
Provider A
Gateway
Circuit
breaker
UP TIME
LATENCE

KPI
Reporting
Alerting
DÉBIT

KPI
Front
WEB
API
API
Reporting
Alerting
LATENCE
VOLUME

KPI
Front
WEB
API
COHERENCE

Cloud
PET vs CATTLE

Rsyslog + ES + Kibana
rsyslog

Riemann ?

Sensu ?

Monitoring Zookeeper
Akka Cluster
Kafka
Mesos

Bilan
Charge variable
Haute dispo

Bilan
Tolérance aux pannes
Déploiement service à chaud

Bilan
A/B testing
Schemaless
Facile à exploiter
En
cours
de
réﬂexion,
développement

Améliorations
Minimum Vertical Slice
Event Sourcing

Provider B
Améliorations
Device
Provider A
API
API
Gateway
Front
WEB
Reporting
Alerting
API
stream
stream

Améliorations

Prise de recul
Déploiements
Mise en place de tests
Granularité des services
Culture du client

Bibliographie
http://www.se-radio.net/2014/10/episode-213-james-lewis-on-microservices/
Standing on the shoulders of giants

3h à l'assaut d'une application réactive - Devoxx 2015

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

Similar to 3h à l'assaut d'une application réactive - Devoxx 2015

Similar to 3h à l'assaut d'une application réactive - Devoxx 2015 (20)

More from Publicis Sapient Engineering

More from Publicis Sapient Engineering (20)

Recently uploaded

Recently uploaded (20)

3h à l'assaut d'une application réactive - Devoxx 2015