Recommandé
Recommandé
Contenu connexe
Similaire à BreizhCamp 2017 - Circuit Breaker; comment disjoncter pour "éviter de péter les plombs"
Similaire à BreizhCamp 2017 - Circuit Breaker; comment disjoncter pour "éviter de péter les plombs" (20)
BreizhCamp 2017 - Circuit Breaker; comment disjoncter pour "éviter de péter les plombs"
- 1. COMMENT DISJONCTER POUR NE PAS « PÉTER LES PLOMBS » e a k e r i r c u i t @
- 2. #RÉVÉLER LES SAVOIR-FAIRE EN LOCAL ~812 M € de chiffre d’affaires ~52% Reach online et mobile ~ 490 000 annonceurs ~ 80 % du chiffre d’affaires sur le digital Nos services utilisés par 9 français sur 10 #1 en contenu digital pour les PME +250 K sites Internet ~30% du marché de la publicité digitale locale
- 3. 3
- 4. 4
- 5. 5
- 6. 6
- 7. CIRCUIT - BREAKER QUELQUES CHIFFRES ▸ Coût moyen d’un incident en production ▸ 115 000 € ▸ MTTR (Mean Time To Repair) ▸ ~7H ▸ RCA (Root Cause Analysis) ▸ + de 12H Source: Master of Machines III - Réduire l’impact des incidents IT Quocirca / Splunk 7 Sondage réalisé sur un échantillon de 400 entreprises en Grande-Bretagne, Allemagne, France, Suède et Pays-Bas par Quocirca pour Splunk
- 8. L’ARCHITECTURE DES APPLICATIONS WEB À BEAUCOUP ÉVOLUÉE EN QUELQUES ANNÉES 8 MICROSERVICES
- 10. CIRCUIT - BREAKER EVOLUTION ARCHITECTURE MONOLITHIQUE 9
- 11. CIRCUIT - BREAKER EVOLUTION ARCHITECTURE MONOLITHIQUE 9
- 12. CIRCUIT - BREAKER EVOLUTION ARCHITECTURE MICROSERVICES ARCHITECTURE MONOLITHIQUE 9
- 13. CIRCUIT - BREAKER EVOLUTION ARCHITECTURE MICROSERVICES ARCHITECTURE MONOLITHIQUE 9
- 14. CIRCUIT - BREAKER EXEMPLE @PAGESJAUNES.FR 10
- 15. CIRCUIT - BREAKER EXEMPLE @PAGESJAUNES.FR 10 2007
- 16. CIRCUIT - BREAKER EXEMPLE @PAGESJAUNES.FR 10 2007 2017
- 17. CIRCUIT - BREAKER PAGESJAUNES.FR / STACK APPLICATIVE 11
- 18. CIRCUIT - BREAKER PAGESJAUNES.FR / STACK APPLICATIVE 11
- 19. CIRCUIT - BREAKER PAGESJAUNES.FR / STACK APPLICATIVE 11
- 20. CIRCUIT - BREAKER PAGESJAUNES.FR / FLUX INTER - APPLICATIONS 12
- 21. CIRCUIT - BREAKER AVANTAGES DES MICROSERVICES ▸ Consommation plus efficace des ressources ▸ Scalabilité horizontale variable ▸ Possibilité de faire varier le nombre d’instance de chaque composant ▸ Plus modulaires ▸ Mises à jour facilitées 13
- 22. CIRCUIT - BREAKER INCONVÉNIENTS ▸ Risques liés à l’infrastructure augmentés ▸ Congestion ▸ Perte de communication ▸ Timeouts 14
- 23. CIRCUIT - BREAKER EN RÉSUMÉ ▸ Nombreux appels inter-systèmes ▸ Appli -> API ▸ Appli -> BDD ▸ Appli -> Partenaire ▸ Majoritairement HTTP+Rest+Json ▸ Souvent synchrones 15
- 24. COMMENT MAÎTRISER L’IMPACT DES INCIDENTS EN PRODUCTION ?
- 25. CIRCUIT - BREAKER CIRCUIT-BREAKER, KESKECEST? ▸ Permet de maintenir la disponibilité du service ▸ Eventuellement dégradé ▸ Disjoncteur / Coupe-circuit ▸ Automatique ! 17
- 26. COUPER LES APPELS AUX SERVICES NON CRITIQUES PRINCIPE 18
- 27. LA MÉTÉO, INDISPENSABLE ! EXEMPLE
- 28. POURQUOI METTRE EN PLACE UN CIRCUIT-BREAKER ?
- 29. @PAGESJAUNES, PRÈS DE 50% DE NOS INCIDENTS SONT LIÉS À UN RALENTISSEMENT QUI POURRAIT ÊTRE MAÎTRISÉ
- 30. EVITER UNE DÉFAILLANCE EN CASCADE EMPÊCHER L’EFFET « BOULE DE NEIGE »
- 31. CIRCUIT - BREAKER PAGESJAUNES? ▸ 1,7M Visites/Jour ▸ 21,5M Visiteurs/mois ▸ + 4000 reqs/s ▸ Utiles (hors statiques) ▸ 1 requête métier = ▸ 300 Appels APIs ▸ 100 Accès à un backend ▸ Soit + 26000 reqs/s sur les APIs ▸ Avec du cache 23
- 32. => X5 RESSOURCES CONSOMMÉES 500 MS ÇA PARAÎT PEU? 24
- 33. QUI PROVISIONNE SA PRODUCTION POUR ABSORBER 5X LA CHARGE NOMINALE? 25
- 34. EMPÊCHER L’ÉPUISEMENT DES RESSOURCES MÉMOIRE POOLS / CONNEXIONS RÉSEAU DESCRIPTEURS DE FICHIERS … 26
- 35. ARRÊTER DE TAPER SUR UN SERVEUR DÉJÀ À GENOUX EMPÊCHER L’ÉPUISEMENT DES RESSOURCES
- 36. LIMITER L’IMPACT SUR LES TEMPS DE RÉPONSE CONSERVER UNE BONNE EXPÉRIENCE UTILISATEUR 28
- 37. ET LES TIMEOUTS ÇA SERT À RIEN ?
- 38. COMMENT ? ÉVITER LA DÉFAILLANCE GÉNÉRALISÉE EMPÊCHER L’ÉPUISEMENT DES RESSOURCES LIMITER L’IMPACT SUR LES TEMPS DE RÉPONSE
- 39. EVITER UNE DÉFAILLANCE EN CASCADE
- 40. EVITER UNE DÉFAILLANCE EN CASCADE FAIL FAST !
- 42. EMPÊCHER L’ÉPUISEMENT DES RESSOURCES 32 FAIL FAST !
- 43. LIMITER L’IMPACT SUR LES TEMPS DE RÉPONSE 33
- 44. LIMITER L’IMPACT SUR LES TEMPS DE RÉPONSE 33 FAIL FAST !
- 45. CIRCUIT - BREAKER FONCTIONNEMENT ▸ Encapsule et supervise les échanges entre les services ▸ Interdit les appels lors du dépassement des seuils ▸ Réouverture quand le service est de nouveau opérationnel 34
- 46. CIRCUIT - BREAKER FONCTIONNEMENT CLIENT CIRCUIT-BREAKER SERVEUR Timeout ou erreur 35
- 47. CIRCUIT - BREAKER FONCTIONNEMENT - ÉTATS FERMÉ OUVERT SEMI-OUVERT Succès Echec (< seuil) Echec Timer Succès Echec (>seuil) 36
- 48. ON COUPE QUOI?
- 49. ADAPTER LES SEUILS DE TOLÉRANCE EN FONCTION DE LA CRITICITÉ PRESQUE TOUT
- 50. COMMENT METTRE EN PLACE UN CIRCUIT-BREAKER ?
- 51. DU TOUT CUIT
- 52. HYSTRIX BY
- 53. Hystrix is a latency and fault tolerance library designed to isolate points of access to remote systems, services and 3rd party libraries, stop cascading failure and enable resilience in complex distributed systems where failure is inevitable. https://github.com/Netflix/Hystrix CIRCUIT - BREAKER
- 54. CIRCUIT - BREAKER FONCTIONNALITÉS ▸ Tolérance aux défaillances et aux timeouts ▸ Evite l’effet « boule de neige » ▸ Isolation des appels, fail fast, fallback ▸ Configuration dynamique et rechargeable ▸ Changements appliqués en temps réel ▸ Concurrence ▸ Parallélisation ▸ Caching, Batching
- 55. CIRCUIT - BREAKER HYSTRIX - UTILISATION ▸ Implémentation d’une commande ▸ Exécution
- 56. CIRCUIT - BREAKER HYSTRIX ▸ Facile à mettre en place ▸ Très bonne granularité logique ▸ Coupure à la fonction ▸ Mais pas physique ▸ Limité au Java 45
- 57. DU MOINS CUIT
- 59. OÙ ? ENTRE LES CACHES ET LES SERVICES CIRCUIT-BREAKER CIRCUIT-BREAKER
- 61. MAITRISER LA DÉFAILLANCE D’UNE INSTANCE POURQUOI ?
- 62. UTILISER LES CACHES EN FAILOVER POURQUOI ?
- 63. UTILISER LES CACHES EN FAILOVER POURQUOI ?
- 64. ▸ Consul ▸ Consul-template ▸ Haproxy CIRCUIT - BREAKER COMMENT ?
- 65. CIRCUIT - BREAKER CONSUL ▸ Annuaire de services ▸ Base clés/valeurs ▸ Health Checks intégrés
- 66. CIRCUIT - BREAKER CONSUL ▸ Basé sur un cluster d’agents ▸ Chaque serveur porte un agent ▸ Responsable des services colocalisés ▸ Enregistrement/Désenregistrement dans le cluster ▸ Produit les Health-Check
- 67. CIRCUIT - BREAKER CONSUL-TEMPLATE ▸ Transforme n’importe quel fichier statique en dynamique ▸ A partir de l’état des services dans Consul et d’un template backend mon_appli {{ range $server := service "mon_appli "}} server {{$server.Node}} {{$server.Address}}:{{$server.Port}} check observe layer7 {{ end }} backend mon_backend server server1 192.168.1.1:8080 check observe layer7 server server2 192.168.1.2:8080 check observe layer7
- 68. CIRCUIT - BREAKER HAPROXY ▸ Load Balancer logiciel ▸ Performant ▸ Eprouvé ▸ Hautement configurable
- 69. CIRCUIT - BREAKER ET POURQUOI PAS TRAEFIK ? ▸ Assez jeune au moment de l’étude ▸ Perf < à HAProxy ▸ Fonctionnalités « Circuit-Breaker » en dessous de HAProxy
- 70. CIRCUIT - BREAKER CIRCUIT-BREAKER @PJ FONCTIONNEMENT CONSUL CONSUL- TEMPLATE HAPROXY HAPROXY. CONF Génération Restart Lecture Services + Config
- 71. Avant Après LB VARNISH API VARNISH API VIP LB VARNISH API VARNISH API HAProxy HAProxy TCAT API API 1 API 2 API 3 API N TCAT API API 1 API 2 API 3 API N TCAT API API 1 API 2 API 3 API N TCAT API API 1 API 2 API 3 API N 60
- 72. CIRCUIT - BREAKER BÉNÉFICES ▸ Fonctionnement en majorité dynamique et automatique ▸ Enregistrement des services ▸ Entrée/Sortie du traffic ▸ "Container Ready" (port et localisation peuvent être dynamiques) ▸ Générique ▸ Quelque soit la techno des APIs
- 73. CIRCUIT - BREAKER FIABILITÉ ▸ En cas de défaillance ▸ Agent Consul ▸ Perte des services hébergés sur le même noeud ▸ Consul-Template ▸ Conservation de la configuration HAProxy à l’état N-1 ▸ HAProxy ▸ Déployé en actif/actif via un LB matériel
- 74. CIRCUIT - BREAKER DIFFICULTÉS ▸ Prise en compte des partenaires en HTTPS ▸ Supervision/Exploitation ▸ Tout automatique ça peut inquiéter ▸ Permettre à la production d’avoir un retour sur l’état du système ▸ Eventuellement de le piloter ▸ Configuration ▸ Ajustement des seuils
- 75. GABRIEL MAGNIEZ gmagniez@pagesjaunes.fr @gmagniez ARCHITECTE TECHNIQUE @PAGESJAUNES.FR @PagesjaunesTech WHO AM I?