Talk @ AWS Enterprise Summit 2016

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Frédéric d’Alessandro - Data architect
Loïc Dias Da Silva - CTO & VP Engineering
Cost Driven Development chez Viadeo
Tâches Spark sur EMR optimisées avec des instances SPOT

2. Viadeo
SUCCESS
Business
Fournisseurs, clients,
collaborateurs,
investisseurs...
Networking
Pairs, associés, collègues,
camarades, rencontres
pro, partenaires ...
Carrière
Premier job, recherche
d’emploi, entreprenariat,
développement, ...

3. Migration vers le cloud AWS
Nov. 2014
Escape to
Amazon
thinking
Dec. 2014
First commit
Infrastructure
as a code
Mar. 2015
First industrialized
instance on AWS
cloud
Dec. 2015
Our demo
environment is on
AWS cloud
July 2016
Our live
production
environment is on
AWS cloud
Dec 2016
Datacenter is
closed
demo

4. Cost-Driven Development
- choix des instances Amazon EC2
- autoscaling
- optimisations Amazon RedShift
- cycle de vie des données Amazon S3
- utilisation d’instances SPOT

5. Architecture

6. L’analytics chez Viadeo

7. Le Big Data chez Viadeo

8. Utilisation d’instances SPOT (ex: SnowPlow)
- Prix c3.8xlarge à la demande : 1.68$
- Prix c3.8xlarge Spot : ~0.40$
- Baisse du coût de ~ 1200$ à ~240$ par mois

9. pop.sh : automatisation du lancement de jobs

10. Usage
$ ./pop.sh --coreInstanceType=m4.large --coreInstanceCount=2 --ec2spot=true
(...)
# Pricing info = Tue Oct 11 08:00:09 CEST 2016
# Instance type = m4.large
# availabilityZone = us-west-1c
# Aws Spot Price 1 min ago = 0.016700
# Aws Spot Price 1 day ago = 0.016300
# Our max Spot Price max proposal = 0.029
# Aws fixed price = 0.14
# Emr fixed price = 0.030
# Do we take spot = 1
$

11. Prochaines étapes
- Amélioration de la vitesse de scaling
- Passage des stacks applicatives en µ-services
- Containerisation & orchestration