Infrastructure agile avec Cloudformation presentation for AWS Summit Paris 2016.

1. © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Antoine Guy – Infrastructure Architect @Viadeo
31/05/2016
Infrastructure agile avec Cloudformation

2. § Architecture SOA récente.
§ Backend métier java (CQRS, DDD, Event based)
§ Frontend apps in nodejs (***)
§ Mobiles apps and middleends.
§ Backends : Mysql, ES, RabbitMQ, memcached, hadoop, spark.
§ 100% Puppet.
§ 15 baies en colocation.

3. Problèmes ?
§ Un datacenter vieillissant et distant.
§ Des serveurs en fin de vie.
§ Une infra réseau compliquée à opérer.
§ Une agilité grandissante, mais une barrière entre
DevOps et infra.
=> Refonte complète de l’infrastructure.

4. Automatisation Scalabilité Agilité
Bonus : Intégration et Déploiement continus.

5. Infrastructure as Code
§ Les meilleures pratiques venues du dev.
§ L’infra est versionnée, auditable, partagée.
§ L’infra est testée en continu.
§ Réutilisable dans toutes les régions!
= dette technique *
* Soofi Safavi - re:invent 2015 - https://youtu.be/WL2xSMVXy5w

6. Cloudformation
§ Infrastructure as Code sur AWS
§ Permet de créer un ensemble de resources et leur configuration :
une stack
§ Un language de template basé sur Json.
§ Des outils pour tester et déployer : web interface, cli, sdk.

8. Automate all the things!
§ Valider vos templates cloudformation :
§ aws cloudformation validate-template
§ Créez vos outils de tests et déploiement (sdk, cli, api)
§ standardiser l’utilisation
§ faciliter l’adoption
§ Intégrer le tout dans un outil de CI : circle-ci, jenkins.
= dette technique

10. Créer vos images machine : AMI baking
§ AMI = Amazon Machine Image.
§ Définir des roles/profiles dans le configuration management.
§ Utiliser Packer pour créer une AMI par rôle (packer.io).
§ Un changement dans le code déclenche un rebuild d’AMI => CI
§ Automate all the things !

13. Cloudformation best practices
§ Utiliser Cloudformer pour démarrer.
§ Organiser votre code :
§ Users, base network, dns, templates, backends, frontends…
§ Créer des templates réutilisables : Nested stacks, parameters.
§ Séparer chaque composant dans une stack.
§ Créer 2 stacks identiques pour du green/blue deploy.
§ Tagger tout, dès le début !
§ Créer vos outils de test/déploiement.

14. Results, Numbers
§ 87 Stacks deployées en prod et staging
§ 7 templates génériques.
§ 250-300 instances, 6 VPCs.
§ 0 instance créé à la main.
§ < 10 mins pour créer un composant.
§ Quelques heures pour recréer toute l’infra.

15. Next?
§ Optimisation des coûts
§ Autoscaling = +50% de réduction de coût.
§ Spot instance pour EMR : 80% de réduction de coût.
§ Changement de région
§ Se rapprocher de nos utilisateurs = gains de performance !

16. Questions ?

17. Merci!