![• 1 caractère = 1 byte
set key_test_set 0 3600 5
11111
STORED
=> 5 bytes
set key_test_set 0 3600 5
11111
STORED
stats items
STAT items:1:number 1
STAT items:1:age 3558
STAT items:1:evicted 0
STAT items:1:evicted_nonzero 0
STAT items:1:evicted_time 0
STAT items:1:outofmemory 0
STAT items:1:tailrepairs 0
END
stats cachedump 1 1
ITEM key_test_set [5 b; 1447428938 s]
END
StockageMemcached](https://image.slidesharecdn.com/memcachedcomprendrepourmieuxutiliser-160708095332/85/Memcached-Comprendre-pour-mieux-utiliser-14-320.jpg)
![replace key_test_set 0 3600 3
000
STORED
stats items
STAT items:1:number 1
STAT items:1:age 3726
STAT items:1:evicted 0
STAT items:1:evicted_nonzero 0
STAT items:1:evicted_time 0
STAT items:1:outofmemory 0
STAT items:1:tailrepairs 0
END
stats cachedump 1 1
ITEM key_test_set [3 b; 1447429106 s]
END
set key_test_set 0 3600 5
11111
STORED
stats items
STAT items:1:number 1
STAT items:1:age 3558
STAT items:1:evicted 0
STAT items:1:evicted_nonzero 0
STAT items:1:evicted_time 0
STAT items:1:outofmemory 0
STAT items:1:tailrepairs 0
END
stats cachedump 1 1
ITEM key_test_set [5 b; 1447428938 s]
END
StockageMemcached](https://image.slidesharecdn.com/memcachedcomprendrepourmieuxutiliser-160708095332/85/Memcached-Comprendre-pour-mieux-utiliser-15-320.jpg)
Téléchargé parNimeOps
Memcached: Comprendre pour mieux utiliser
Memcached est un système de cache distribué open source, développé en 2003, permettant de stocker des données sous forme de clé/valeur en mémoire vive pour améliorer les performances des applications à fort trafic. Il est principalement utilisé pour des données volatiles, pour alléger les bases de données, et besogne de partage de données, tout en offrant des fonctionnalités telles que la gestion des connexions TCP et un algorithme de cache LRU. Contrairement à Redis, Memcached ne prend pas en charge la persistance des données et ne propose pas de mécanisme de réplication natif.
Memcached: Comprendre pour mieux utiliser
- 1.
- 2. Memcached : ??? Développépar Brad Fitzpatrick (LiveJournal) in 2003 Open Source (memcached.org / BSD License) Massivement utilisé sur les sites à fort trafic (Youtube, Facebook, Flickr, Wikipedia, Twitter, etc.)
- 3.
- 4. Système decache distribué permettant de stocker des données (clé/valeur) sur la mémoire vive (RAM) Possibilité de définir une durée de validité I/O non bloquant (asynchrone) Principalement utilisé pour : des données volatiles (non persistantes) soulager les traitements en Base de Données Partage de données Memcached
- 5. Pourquoi Utilisé dansle cadre d’une donnée temporaire Tout est traité en mémoire Excellentes performances en lecture et écriture Distribution du cache sur « n » serveurs Memcached (grâce à l’API) Memcached
- 6. Quand Les requêtesen lecture sont largement majoritaires Limites d’optimisation du Query Cache de la BDD Pour quel type d’utilisation ? Stockage de sessions utilisateurs Statistiques et données diverses et variées (nombre de users, etc.) Résultat de requêtes SQL Données à partager Données est < 1 Mo Clé 250 caractères au maximum Eviter la pénalité réseau entre le client et Memcached Memcached
- 7. N’est pas un« Storage Engine » mais un système de cache !!! Memcached
- 8. Le service Acceptedes connexions en lecture / écriture en TCP Ecoute sur un port TCP spécifique Possibilité de fixer l’allocation de mémoire réservée Stock la donnée en RAM Utilise libevent Algorithme de cache LRU (Least Recently Used) sur les Slab Class => Remplace le cache utilisé le moins récemment Memcached
- 9. Distribution Le poolde serveurs est géré par le client + La notion de failover => Chaque serveur est indépendant, et n’a pas connaissance des autres. La donnée peut être lue sur « n » serveurs La donnée est écrite / stockée sur 1 serveur Memcached
- 10. Fonctionnalités Memcached Redis Donnéespersistantes NON OUI Réplication en natif NON OUI Master / Slave (Sentinel) Authentification NON OUI Orienté performance OUI + OUI - Structures de données + ++ (hashes, lists, sets, sorted sets) Memcached vs Redis
- 11. Objectif L’objectif estde soulager la BDD La BDD est sollicitée que si le cache n’est pas présent dans Memcached Memcached
- 12. Objectif Projet mysql Apache/PHP memcached NFS Varnish 4(read/write)6(write) 7 5(write) 2 3(read) Client 1 8 MISS MISS Cached L’objectif 1 : soulager la BDD La BDD est sollicitée que si Le cache n’est pas dans Varnish Le cache n’est pas dans Memcached Memcached
- 13. Utilisation • Modification replace key_test_set0 3600 3 111 STORED get key_test_set VALUE key_test_set 0 3 111 END • Suppression delete key_test_set DELETED • Ecriture : Set « key » « flags» « expiration » « taille_bytes » set key_test_set 0 3600 5 11111 STORED • Lecture : get « key » get key_test_set VALUE key_test_set 0 5 11111 END Memcached
- 14. • 1 caractère= 1 byte set key_test_set 0 3600 5 11111 STORED => 5 bytes set key_test_set 0 3600 5 11111 STORED stats items STAT items:1:number 1 STAT items:1:age 3558 STAT items:1:evicted 0 STAT items:1:evicted_nonzero 0 STAT items:1:evicted_time 0 STAT items:1:outofmemory 0 STAT items:1:tailrepairs 0 END stats cachedump 1 1 ITEM key_test_set [5 b; 1447428938 s] END StockageMemcached
- 15. replace key_test_set 03600 3 000 STORED stats items STAT items:1:number 1 STAT items:1:age 3726 STAT items:1:evicted 0 STAT items:1:evicted_nonzero 0 STAT items:1:evicted_time 0 STAT items:1:outofmemory 0 STAT items:1:tailrepairs 0 END stats cachedump 1 1 ITEM key_test_set [3 b; 1447429106 s] END set key_test_set 0 3600 5 11111 STORED stats items STAT items:1:number 1 STAT items:1:age 3558 STAT items:1:evicted 0 STAT items:1:evicted_nonzero 0 STAT items:1:evicted_time 0 STAT items:1:outofmemory 0 STAT items:1:tailrepairs 0 END stats cachedump 1 1 ITEM key_test_set [5 b; 1447428938 s] END StockageMemcached
- 16. Configuration Max connections Threads Port d’écoute Type d’execution (foreground ou daemon) TCP ou UDP Memcached
- 17. Configuration par défaut Sour RedHat(/etc/sysconfig/memcached): memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid (-n) Default Chunk Size : 48 bytes (key+value+flags) en multiple de 8 (-f) Chunk growth Factor : 1,25 (-t) Max Threads : 4 CAS Enabled (Compare And Swap) (-C pour le désactiver) -d : Daemon -p : Port d’écoute -u : user -m : memory size in Mo -c : Max Connexion -P : Fichier PID Memcached
- 18. Slabs class «96 » bytes Pages 1M Chunk « 96 » b Chunk « 96 » b Item Item Slabs class « 120 » bytes Pages 1M Chunk « 120 » b Chunk « 120 » b Item Item Slabs class « 152 » bytes Pages 1M Chunk « 152 » b Chunk « 152 » b Item Item Items < ou = 96 bytes Items < ou = 120 bytes et > 96 bytes Items < ou = 152 bytes et > 120 bytes StockageMemcached
- 19. memcached (-u memcached)-vv slab class 1: chunk size 96 perslab 10922 slab class 22: chunk size 11104 perslab 94 slab class 2: chunk size 120 perslab 8738 slab class 23: chunk size 13880 perslab 75 slab class 3: chunk size 152 perslab 6898 slab class 24: chunk size 17352 perslab 60 slab class 4: chunk size 192 perslab 5461 slab class 25: chunk size 21696 perslab 48 slab class 5: chunk size 240 perslab 4369 slab class 26: chunk size 27120 perslab 38 slab class 6: chunk size 304 perslab 3449 slab class 27: chunk size 33904 perslab 30 slab class 7: chunk size 384 perslab 2730 slab class 28: chunk size 42384 perslab 24 slab class 8: chunk size 480 perslab 2184 slab class 29: chunk size 52984 perslab 19 slab class 9: chunk size 600 perslab 1747 slab class 30: chunk size 66232 perslab 15 slab class 10: chunk size 752 perslab 1394 slab class 31: chunk size 82792 perslab 12 slab class 11: chunk size 944 perslab 1110 slab class 32: chunk size 103496 perslab 10 slab class 12: chunk size 1184 perslab 885 slab class 33: chunk size 129376 perslab 8 slab class 13: chunk size 1480 perslab 708 slab class 34: chunk size 161720 perslab 6 slab class 14: chunk size 1856 perslab 564 slab class 35: chunk size 202152 perslab 5 slab class 15: chunk size 2320 perslab 451 slab class 36: chunk size 252696 perslab 4 slab class 16: chunk size 2904 perslab 361 slab class 37: chunk size 315872 perslab 3 slab class 17: chunk size 3632 perslab 288 slab class 38: chunk size 394840 perslab 2 slab class 18: chunk size 4544 perslab 230 slab class 39: chunk size 493552 perslab 2 slab class 19: chunk size 5680 perslab 184 slab class 40: chunk size 616944 perslab 1 slab class 20: chunk size 7104 perslab 147 slab class 41: chunk size 771184 perslab 1 slab class 21: chunk size 8880 perslab 118 slab class 42: chunk size 1048576 perslab 1 Chunk size in Slab Class1 = minimum Chunk size + 48 bytes Chunk size in Slab Class2 = (Chunk size in Slab Class1) x (Chunk growth Factor) + « n » (« n » pour passer en multiple de 8) Slab ClassMemcached
- 20. Répartition dans les Slabs KeyValue Flag 1 1 0 2 2 0 3 3 0 112 112 0 113 113 0 114 114 0 Memcached
- 21. Items Size Calcul dela taille des Items Key (Nombre de caractères) + 1 + Data (Nombre de caractères) + 2 bytes ( rn ) + Header + Chunk Size + CAS Size size_t ntotal = item_make_header(nkey + 1, flags, nbytes, suffix, &nsuffix); Header = Flags (Nombre de caractères) + nData (Nombre de caractères) + 4 bytes (2 espaces et rn) nsuffix = (uint8_t) snprintf(suffix, 40, " %d %drn", flags, nbytes - 2); Chunk Size = 48 bytes (défaut) CAS Size = 8 bytes (plateforme 64 bits) Memcached
- 22. Items Size –CAS Enabled Calcul de la taille des Items Exemple : • Key : test • Data : 90 bytes • Flags : 0 Taille : (4+1) + (90+2) + (1+2+4) + 48 + 8 = 160 Bytes => Slab 4 (192 Bytes) Key (Nombre de caractères) + 1 + Data (Nombre de caractères) + 2 bytes ( rn ) + Header + Chunk Size + CAS Size Header = Flags (Nombre de caractères) + nData (Nombre de caractères) + 4 bytes (2 espaces et rn) Chunk Size = 48 bytes (défaut) CAS Size = 8 bytes (plateforme 64 bits) Memcached
- 23. TP Désactiver CAS etconstater l’impact sur le stockage memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid -C Memcached
- 24. Items Size –CAS Disabled Calcul de la taille des Items Exemple : • Key : test • Data : 90 bytes • Flags : 0 Taille : (4+1) + (90+2) + (1+2+4) + 48 + 0 = 152 Bytes => Slab 3 (152 Bytes) Key (Nombre de caractères) + 1 + Data (Nombre de caractères) + 2 bytes ( rn ) + Header + Chunk Size + CAS Size Header = Flags (Nombre de caractères) + nData (Nombre de caractères) + 4 bytes (2 espaces et rn) Chunk Size = 48 bytes (défaut) CAS Size = 0 bytes (plateforme 64 bits) Memcached
- 25. TP Modifier le ChunkSize à 64 bytes memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid -C -n 64 Memcached
- 26.
- 27. Modifier le Chunkgrowth Factor à 2 memcached -d -p 11211 -u memcached -m 64 -c 1024 -P /var/run/memcached/memcached.pid -C -n 64 -f 2 TPMemcached
- 28.