Téléchargé 11 fois
Téléchargé parJulien SIMON
Viadeo - Cost Driven Development
Le document présente l'optimisation des tâches Spark sur EMR par Viadeo grâce à l'utilisation d'instances spot d'Amazon, permettant une réduction significative des coûts. Il décrit les étapes de migration vers le cloud AWS et l'implémentation d'une architecture d'analytics. Les prochaines étapes incluent l'amélioration de la vitesse de scaling et la transition vers une architecture en microservices.
Viadeo - Cost Driven Development
- 1. © 2016, AmazonWeb Services, Inc. or its Affiliates. All rights reserved. Frédéric d’Alessandro - Data architect Loïc Dias Da Silva - CTO & VP Engineering Cost Driven Development chez Viadeo Tâches Spark sur EMR optimisées avec des instances SPOT
- 2. Viadeo SUCCESS Business Fournisseurs, clients, collaborateurs, investisseurs... Networking Pairs, associés,collègues, camarades, rencontres pro, partenaires ... Carrière Premier job, recherche d’emploi, entreprenariat, développement, ...
- 3. Migration vers lecloud AWS Nov. 2014 Escape to Amazon thinking Dec. 2014 First commit Infrastructure as a code Mar. 2015 First industrialized instance on AWS cloud Dec. 2015 Our demo environment is on AWS cloud July 2016 Our live production environment is on AWS cloud Dec 2016 Datacenter is closed demo
- 4. Cost-Driven Development - choixdes instances Amazon EC2 - autoscaling - optimisations Amazon RedShift - cycle de vie des données Amazon S3 - utilisation d’instances SPOT
- 5.
- 6.
- 7. Le Big Datachez Viadeo
- 8. Utilisation d’instances SPOT(ex: SnowPlow) - Prix c3.8xlarge à la demande : 1.68$ - Prix c3.8xlarge Spot : ~0.40$ - Baisse du coût de ~ 1200$ à ~240$ par mois
- 9. pop.sh : automatisationdu lancement de jobs
- 10. Usage $ ./pop.sh --coreInstanceType=m4.large--coreInstanceCount=2 --ec2spot=true (...) # Pricing info = Tue Oct 11 08:00:09 CEST 2016 # Instance type = m4.large # availabilityZone = us-west-1c # Aws Spot Price 1 min ago = 0.016700 # Aws Spot Price 1 day ago = 0.016300 # Our max Spot Price max proposal = 0.029 # Aws fixed price = 0.14 # Emr fixed price = 0.030 # Do we take spot = 1 $
- 11. Prochaines étapes - Améliorationde la vitesse de scaling - Passage des stacks applicatives en µ-services - Containerisation & orchestration