Caching reboot: javax.cache & Ehcache 3

@ljacomet#ehcachedvx
Caching reboot
javax.cache & Ehcache 3

Au menu
• Mise en bouche: Pourquoi un cache?
• Entrée : JSR-107
• APIs et fonctionnalités
• Plat principal : Une application et son cache
• Cache aside
• Cache through
• Dessert : Stratégie de résilience
• Mignardises

T’es qui toi?
• Louis Jacomet
• Développeur plus vers la 40aine que la 20aine
• Ingénieur chez Terracotta (Software AG) depuis 2013
• Travaille sur Ehcache OS et Entreprise principalement
• aussi un peu manager et responsable infrastructure
• Ne sais pas faire une (jolie) UI - surtout web
• mais aime bien la concurrence, se torturer pour faire une
belle API, …

Disclaimer
Tout ce que je dis ne peux pas être
retenu contre moi ou mon employeur.
Et rien n’est garanti d’ailleurs!

Mise en bouche
Pourquoi un cache?

Pourquoi un cache?

Et en français?
• Minute:
• Accès cache L1 0,5 s Un battement de coeur
• Erreur de branche 5 s Bailler
• Accès cache L2 7 s Bailler un lendemain de veille
• Mutex lock/unlock 25 s Faire un café
• Heure:
• Accès RAM 100 s Se brosser les dents
• Compression de 1K 50 min Un episode de votre série
• Jour:
• Envoyer 2KB avec réseau Gb 5,5 h Votre après midi de boulot

Et en français?
• Semaine:
• Lecture aléatoire SSD 1,7 j Un week-‐end
• Lire en séquence 1 MB de RAM 2,9 j Un long week-‐end
• Aller-‐retour dans un datacenter 5,8 j Des vacances
• Lire en séquence 1MB du SSD 11,6 j 15 jours pour être livré
• Année:
• Localiser sur un HDD 16,5 sem Semestre à l’école
• Lire en séquence 1MB du HDD 7,8 mois Presque un bébé
• Décennie:
• Un paquet fait le tour du monde 4,8 années Votre doctorat

C’est quoi un cache?
• Une structure de données contenant une copie temporaire de
certaines données
• Compromis entre une augmentation de la consommation
mémoire et une réduction de latence
• Cibles :
• Données qui sont ré-utilisées
• Données qui sont chères à récupérer / calculer

Ehcache (3)
• Nouvelle version - intégration de premier plan avec JSR-107
• Développement complètement OpenSource
• https://github.com/ehcache/ehcache3
• Hangout public en moyenne 1 fois par semaine (en anglais)

Entrée
JSR-107 - javax.caching

JSR-107
• Vieux JSR
• Commencé en 2001
• Approuvée récemment (Mars 2014)
• javax.caching API + TCK + implémentation de référence
• Facilite l’intégration d’un cache dans les frameworks
• Discussion pour la version 2.0 en cours
• Fonctionnalités asynchrones

JSR-107 : Fonctionnalités
•CacheManager / Cache
•Expiration
•Creation/Access/Update
•Intégration
•CacheLoader / Writer
•CacheEntryListener
•Created/Updated
•Removed/Expired
•Accès ancienne valeur
•Mutations en place
•Annotations
•MBeans
•Accès configuration
•Statistiques
•Pas de contrôle de
capacité !

@YourTwitterHandle@YourTwitterHandle@ljacomet#ehcachedvx
Demo

Plat principal
Une application et son cache

public ObjetMetier calculeEtGagne(String param1, String
param2) {
 
String cle = composeCle(param1, param2); 
ObjetMetier resultatEnCache = cache.get(cle);
 
if (resultatEnCache == null) { 
resultatEnCache = chargeEtCalcule(param1, param2); 
cache.put(cle, resultatEnCache); 
} 
return resultatEnCache; 
}
Cache Aside

Cache Aside : pas si simple
• Nécessite de la coordination entre
• le cache
• et le système de référence
• Pas d’option de locking
• Potentiel pour devenir laid et problématique très rapidement

Cache Aside: options
• Utilisez les abstractions de votre framework préféré
• Spring Caching
• Hibernate
• …
• Alternatives ?

public ObjetMetier calculeEtGagne(String param1, String
param2) { 
return cache.get(composeCle(param1, param2)); 
}
Cache Through

Cache Through
Cache
Application
code
RDBMS

Cache Through
• get* => CacheLoader
• un cache miss veut dire pas de données
• put* => CacheWriter
• chaque entrée signiﬁe une écriture dans le système de
données
• Contraintes:API des CacheLoader / CacheWriter

Cache Through : JSR-107
• Particularités … particulières …
• putIfAbsent(K key,V value): boolean
• Ignore le CacheLoader mais pas le CacheWriter
• Ehcache 3 permet de changer ce comportement par
conﬁguration
• Comportement généralisé aux opérations atomiques

Cache Through : Write Behind
• L’accès au système de référence se fait de manière asynchrone
• Le thread utilisateur ne paye plus la latence
• Introduit son lot de complexité
• File d’écriture persistante ou non ?
• Risque de mutation appliquée plusieurs fois en cas d’erreur
• Quid en cas d’eviction ?

Dessert
Stratégie de résilience

Stratégie de résilience
• Postulat:
“Une erreur au niveau du cache
ne devrait pas être la cause
d’une erreur pour l’utilisateur “
P.S. Ceci est en cours de développement et donc peut
encore changer

Ehcache 3
• Gestion des erreurs au maximum en interne
• cache simple en mémoire => pas d’exception dans le thread
d’exécution
• Log par défaut, possibilité de remplacer l’implémentation
• Mise en évidence pour l’applicatif des cas résultant en une
possible incohérence du cache

Mignardises
Ehcache 3 et Terracotta

Implémentation offheap
• Résoudre le problème des pauses liées au Garbage Collector
• Possibilité de scale-up du cache
• Plusieurs TerraBytes … si le serveur le permet
• Implémentation validée par plusieurs années de production
• 2.0.0 disponible sur GitHub
• https://github.com/Terracotta-OSS/offheap-store

Support du clustering
• Partage de données au travers de plusieurs JVM
• Terracotta 4.3.0 offre à nouveau une option de clustering
OpenSource
• Intégration avec Ehcache 2.10.0
• Ehcache 3 aura aussi une option de clustering OpenSource
• Détails à venir

@YourTwitterHandle@YourTwitterHandle@ljacomet#ehcachedvx
Questions ?

Caching reboot: javax.cache & Ehcache 3

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (16)

Similaire à Caching reboot: javax.cache & Ehcache 3

Similaire à Caching reboot: javax.cache & Ehcache 3 (20)

Plus de Louis Jacomet

Plus de Louis Jacomet (8)

Caching reboot: javax.cache & Ehcache 3