Check these out next
devops REX 2018 - Game Days chez Datadog : Échouer pour mieux réussir
1 j'aime
vues
Talk donné lors de devops REX 2018, la conférence devops 100% retours d'expériences - http://www.devopsrex.fr Speaker : Léo Cavaillé Entreprise : Datadog Depuis notre pratique des « Game Days » chez Datadog, nous avons pu voir de véritables améliorations dans la résilience de notre infrastructure. Casser les systèmes intentionnellement a changé la vision que les développeurs ont de l'architecture de leurs services. Cela a un impact direct sur leur code et la façon de le tester, et aussi renforce la connaissance opérationnelle en les préparant à différents types d'incidents en production. Pousser un service à ses limites dans des conditions réelles en apprend souvent beaucoup plus sur ce système aux ingénieurs (parfois des choses surprenantes) que n'importe quels tests en pré-production ou considération théorique. Dans ce talk, Léo présentera certains "Game Days" ainsi que la démarche de leur mise en place chez Datadog pour en faire une "tradition".
Recommandé
devops REX 2018 - Game Days chez Datadog : Échouer pour mieux réussir
- Échouer pour réussir Game Days Léo Cavaillé SRE Lead @leoc892
- Chaos (engineering)
- Chaos (engineering) Tester la réponse d'un système face à des perturbations dans des conditions réelles
- Chaos (engineering) Tester la réponse d'un système face à des perturbations dans des conditions réelles
- "Game day"
- Préparation d'un scénario de chaos pour un service 1 "Game day"
- Préparation d'un scénario de chaos pour un service 1 2 Exécution du scénario "Game day"
- Préparation d'un scénario de chaos pour un service 1 2 3 Exécution du scénario "Action items" "Game day"
- Préparation d'un scénario de chaos pour un service 1 2 3 Exécution du scénario "Action items" "Game day" SRE(s) + Dev(s)
- Où commencer?
- Choix des scénarii
- Il y a plus de 10000 requêtes en parallèle ce qui active un mécanisme pour rediriger du trafic vers d'autres instances en reconfigurant les clients par un service dynamique de métadonnées. Choix des scénarii
- Il y a plus de 10000 requêtes en parallèle ce qui active un mécanisme pour rediriger du trafic vers d'autres instances en reconfigurant les clients par un service dynamique de métadonnées. Cloud instance Hors Service chez l'hébergeur Choix des scénarii
- Préparation
- Préparation
- Préparation
- Préparation
- Préparation
- Préparation
- Préparation
- Préparation
- Exemple
- Exemple
- Exemple
- Test Staging Production Choix de l'environnement
- Test Ce que les devs veulent Staging Production Choix de l'environnement
- Test Ce que les devs veulent Staging Le compromis Production Choix de l'environnement
- Test Ce que les devs veulent Staging Le compromis Production Ce qu'il faudrait faire Choix de l'environnement
- Simplicité
- Créer une dynamique
- Cadence
- Réduire la barrière d'entrée Simple à organiser/réaliser: ~ 2h30 pour un game day ~ 2 personnes (1 dev, 1 SRE) Cadence
- Réduire la barrière d'entrée Simple à organiser/réaliser: ~ 2h30 pour un game day ~ 2 personnes (1 dev, 1 SRE) Varier ● Services ● Équipes ● Niveaux Cadence
- Niveaux De 0 à 5
- Niveaux De 0 à 5 Idées pour augmenter la difficulté des game days. Permet aussi de classer vos services.
- Niveaux De 0 à 5 Idées pour augmenter la difficulté des game days. Permet aussi de classer vos services. Donner aux équipes l'envie de passer au niveau suivant.
- 84 game days en 2018 Cadence
- Documentation
- Automatiser
- Automatiser
- Automatiser
- Culture
- Célébrer
- Célébrer Les échecs
- Célébrer Les échecs Les succès
- You build it You run it You own it
- Connaissance opérationnelle MonitoringDocumentationExpérience
- Outil utilisable sans l'aide des SREs
- Outil utilisable sans l'aide des SREs
- Outil utilisable sans l'aide des SREs
- – ~10 SREs vs. 300 développeurs – Renforcer la confiance d'une équipe dans ses livrables Outil utilisable sans l'aide des SREs
- Hope is not a strategy
- Merci (we're hiring)