[2018] Comment gérer le cache d’un site web à fort trafic ?

2
Comment gérer le cache
d’un site web à fort trafic ?

Cyril LABBE
Architecte applicatif en chef
3
Fossoyeur du code legacy
“
“

Arnaud LAHAXE
Architecte applicatif
@arnaud_lahaxe
4
Pourfendeur de code non optimisé
“
“

Portail
▪ Leader de l’actualité économique et financière en France
▪ Streaming temps réel de cotations boursières
▪ Flux d’actualité en continu
▪ Forum boursier
6

Site client
▪ Leader de la banque en ligne en France
▪ La banque la moins chère depuis 10 ans
▪ 99% des démarches en ligne
▪ 1.7 million de clients
▪ 20% de nouveaux clients par an
▪ Guichet unique pour toute l’activité client
7

Applications
▪ 3 applications natives sur iOS et Android
▪ 600 000 utilisateurs par jour
8

Environnement technique (partie WEB)
▪ 1 brique du SI boursorama
▪ +/- 1200 serveurs
▪ 2 datacenters
▪ +50 partenaires utilisés sur le site live
▪ 7 barbus / 50 développeurs
▪ > 2 millions de lignes de code
▪ 200 000 lignes de code modifiées par mois
▪ 1400 pull request / mois
9
À Nancy depuis 20 ans

Environnement technique
10
APPS

Le cache
Un cache est une mémoire ou partie de mémoire dans laquelle sont stockés de façon
temporaire les données [...] les plus fréquemment ou les plus récemment utilisées, que
l'ordinateur peut interroger afin de réduire les temps de réponse.
13
“ “

Postulat de base
14
Dans 99,9% des cas, les données client affichées ne changent pas pendant une
session de navigation sans action du client.
“ “

Pourquoi mettre en place du cache ?
▪ Performances : pour optimiser nos temps
de réponse
▪ Économies : pour ne pas solliciter
l’infrastructure/ les partenaires plusieurs
fois pour le même résultat
▪ Résilience : ne pas exposer nos serveurs
applicatifs en cas de pic de trafic
▪ Mansuétude : servir la dernière réponse
valide en cas d’erreur
15

Pilotage par l'application
▪ La possibilité de mettre en cache chaque réponse:
▪ combien de temps
▪ par quel cache et sur quels critères discriminants
▪ comment ce cache pourra être invalidé
▪ L’invalidation d’entrées de cache précédentes:
▪ sur quels événements
▪ comment les sélectionner
16

A quel niveau gérer du cache ?
▪ Dans l’application pour cacher un résultat pour le hit courant:
▪ dans une variable le temps de l’exécution
▪ Dans l’application pour cacher un résultat pour le récupérer au hit suivant:
▪ dans un fichier sur le serveur
▪ dans une base de données (sql, clef/ valeur…)
▪ dans la mémoire partagée de l’application
▪ dans un cookie à transmettre au prochain hit
▪ En amont de l'application:
▪ dans le navigateur client pour éviter le prochain hit
▪ via un proxy cache HTTP
17

Pourquoi du cache HTTP à Boursorama ?
▪ Basé sur le standard HTTP (RFC 7234) section 5.2
▪ Implémentation technique du cache isolé de l’application
▪ Des partenaires avec des temps de réponse à plus de 20s
▪ Des lenteurs suite à la refonte de l’espace client
19

Entrée de cache HTTP
20
Clef Url + méthode + headers (vary)
Valeur Le body de la réponse HTTP
TTL max-age, s-maxage, max-stale
Tags x-key, x-cache-tag

Varnish
▪ Cache reverse proxy
▪ Écrit en C
▪ Support partiel des ESI
▪ Customisable (vcl)
▪ Licence BSD
21

Pas de données en cache (MISS)
22
Reverse-proxy cache
300ms
400ms
1000ms
1015ms
WEB API

On a les données en cache (HIT)
23
Reverse-proxy cache
15ms
WEB

On a les données à rafraîchir mais pas expirées (Grace)
24
Reverse-proxy cache
15ms
300ms
400ms
1000ms
WEB API

On a les données expirées en cache mais l’api est en erreur
25
Reverse-proxy cache
WEB API

Que mettre dans un cache HTTP
▪ API: Les données sous-jacentes à plusieurs pages
▪ Page: Une même page peut être demandée souvent
▪ ESI: Un fragment de page fréquent ou présent dans plusieurs pages
26
Page HTML Fragment
(ESI)
API

ESI
27
<html>
<head></head>
<body>
<h1>Titre</h1>
<esi:include src="http://example.com/header.html" />
<p>Contenu...</p>
<esi:include src="http://example.com/footer.html" />
</body>
</html>
http://example.com/header.html
http://example.com/footer.html
http://example.com/index.html
● Spécifié en 2001
● Langage de balisage pour l’assemblage de pages web
https://www.w3.org/TR/2001/NOTE-esi-lang-20010804

ESI
28
Menu
Profile
Article
Sidebar
Commentaires
Cache 24h
http://foo.fr/_fragments/menu
Cache 1h lié au client connecté
http://foo.fr/_fragments/profiles/123456
Cache 2h
http://foo.fr/_fragments/sidebar
Cache 24h lié à l’article affiché
http://foo.fr/_fragments/articles/12
Cache 10m lié à l’article affiché et au client connecté
http://foo.fr/_fragments/articles/12/comments

Proxy de cache sur le site
29
▪ 15 ESI
▪ 15 durées de cache
▪ Blocks partagés sur
d’autres pages
▪ Blocks résilients aux
pannes
▪ 92% des hits en cache

30
En faisant attention à la
cuillerée, on perd tout le
pot

Les contraintes/ risques
➢ On doit pouvoir perdre le cache à tout moment, donc toute
donnée dans le cache doit être reconstructible
31
Erreur commune:
▪ Stocker des données de formulaires à étapes en cache
Problématique:
▪ Un serveur de cache doit être redémarré/ purgé
▪ Un serveur de cache tombe en panne
Conséquence:
▪ Les clients perdent leur progression dans les parcours

➢ Invalidation du cache : une donnée en cache ne doit plus
être servie si elle est périmée (durée ou événement)
32
Erreur :
▪ Oublier de purger le cache du client après un virement
Conséquence :
▪ La liste des opérations n’est plus à jour
▪ Les soldes affichés sont faux
▪ Le client fait son virement une seconde fois

➢ Collisions : les clefs de cache doivent être uniques
33
Erreur commune :
▪ Oublier de mettre un vary sur les données du client
Conséquence :
▪ Un client peut voir les informations d’un autre client

➢ Sécurité : la session a expiré mais la donnée est en cache
34
Erreur commune :
▪ Varnish ne vérifie pas que la session est toujours active
Conséquence :
▪ Un client déconnecté peut encore avoir accès à ses
données tant que le cache est valide

➢ Le visiteur/ client a un cookie
35
Problème :
▪ L’application pose des cookies
Problématique :
▪ Varnish par défaut ne met rien en cache quand il y a des cookies
Conséquence :
▪ Pas de gain de performance

[2018] Comment gérer le cache d’un site web à fort trafic ?

Recommandé

Recommandé

Contenu connexe

Similaire à [2018] Comment gérer le cache d’un site web à fort trafic ?

Similaire à [2018] Comment gérer le cache d’un site web à fort trafic ? (20)

[2018] Comment gérer le cache d’un site web à fort trafic ?