PHP i memcached, zaawansowane przypadki użycia

PHP I MEMCACHED
ZAAWANSOWANE PRZYPADKI UŻYCIA

Mariusz Gil
mariusz.gil@scalability.pl

PHPCon 2010 Poland, Góry Świętokrzyskie, maj 2010

środa, 26 maja 2010

CO TO JEST MEMCACHED?

• Memcached to wysoce wydajny i skalowalny system pamięci
podręcznej, oparty wyłącznie o pamięć RAM

• Ogólnego przeznaczenia, choć głównie stosowany podczas
optymalizacji i skalowaniu aplikacji internetowych


ODROBINA HISTORII

• Autorem memcached jest Danga Interactive

• Projekt powstał w 2003 roku na potrzeby serwisu LiveJournal

• Od tamtej chwili stanowi podstawowy element architektury
nowoczesnych aplikacji, a opracowany protokół stał się
standardem


IDEA DZIAŁANIA

cache 1GB cache 1GB memcached 2GB

rozdzielne cache na wspólny cache dla wszystkich
każdym serwerze serwerów, implementowany jako
rozproszona tablica hashująca


IDEA DZIAŁANIA

// Pobranie danych bez cache’owania
function get_foo(int userid) {
result = db_select("SELECT * FROM users WHERE userid = ?", userid);
return result;
}

// Pobranie danych z cache’owanie,
function get_foo(int userid) {
/* Najpierw sprawdzamy, czy dane są w cache */
data = memcached_fetch("userrow:" + userid);
if (!data) {
/* Nie znaleziono: odpytujemy bazę danych */
data = db_select("SELECT * FROM users WHERE userid = ?", userid);
/* Następnie umieszczamy w cache dla następnych odwołań */
memcached_add("userrow:" + userid, data);
}
return data;
}

przykład pochodzi ze strony http://en.wikipedia.org/wiki/Memcached


PRZYKŁADOWE ZASTOSOWANIA

• Cache zapytań SQL

• Cache stron, widoków, partiali

• Handler sesyjny

• Storage dla locków i liczników


OGRANICZENIA MEMCACHED

• Klucze o długości 250 znaków

• Wartość o maksymalnym rozmiarze 1MB

• Brak trwałości danych - to tylko cache, nie storage

• Brak bezpiecznego dostępu do serwera


ROZPOCZYNANIE PRACY

• Instalacja oprogramowania
wget http://memcached.org/latest
tar -zxvf memcached-1.x.x.tar.gz
cd memcached-1.x.x
./configure
make && make test
sudo make install

• Uruchomienie

memcached -m 1024 -u root -l 127.0.0.1 -p 11211 -vv


PODSTAWY PROTOKOŁU

• Protokół memcached to zaledwie kilka podstawowych
poleceń:

• Komendy składujące: SET, ADD, REPLACE, APPEND,
PREPEND, CAS, INCR/DECR, DELETE, FLUSH_ALL

• Komendy pobierające: GET, GETS

• Komendy statystyk: STATS, STATS ITEMS, STATS SLABS,
STATS SIZES


PODSTAWY PROTOKOŁU (CLI)

MacBook-Pro:~ mariusz$ telnet 127.0.0.1 11211
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
set test 1 0 4
abcd
STORED
get test
VALUE test 1 4
abcd
END
set counter 1 0 1
1
STORED
incr counter 1
2
decr counter 1
1
quit


PODSTAWY PROTOKOŁU (PHP)

<?php
/**
* Przykład: prosta komunikacja z serwerem.
*/
$memcached = new Memcached();

$memcached->addServer('127.0.0.1', 11211);

$memcached->set('test3', 'test3', 3600);
$memcached->get('test3');
$memcached->add('test4', 'test4', 3600);

?>


ARCHITEKTURA W PRAKTYCE

Moduły klienckie
Wysoka dostępność

Ruch sieciowy
Monitoring działania

Podsłuchiwanie komunikacji

Rodzaj protokołu

Strategie cache’owania
...
Wykorzystanie pamięci
LRU, evictions

Klastrowanie serwerów


MODUŁY KLIENCKIE DLA PHP
pecl/memcache pecl/memcached
Data pierwszego wydania 2004-06-08 2009-01-29
Zależności zewnętrzne libmemcached
Polecenia APPEND/PREPEND ✓
Automatyczna serializacja ✓ ✓
Protokół binarny opcjonalnie
Polecenie CAS ✓
Kompresja ✓ ✓
Constistent hashing ✓ ✓
Opóźnione pobieranie danych ✓
Polecenie multi-GET ✓ ✓
Support sesji ✓ ✓
Polecenia SET/GET na wskazanym serwerze ✓
Przechowywanie danych liczbowych konwersja ✓
Automatyczne naprawianie kluczy ✓ ✓
Zarządzanie timeout-ami tylko połączenie ✓


STRATEGIE CACHE’OWANIA

• Rozpatrzmy następujące zapytanie
SELECT * FROM table_1 AS t1
JOIN table_2 AS t2 ON (t2.related_id = t1.id)
WHERE t1.id BETWEEN 100 AND 200

• Jak aktualizować cache dla tak wykonanego zapytania?

• Czasem taka strategia się jednak sprawdza...

• Osobne klucze vs. tagowanie


STRATEGIE CACHE’OWANIA

• Przykładowe rozwiązanie problemu:
SELECT * FROM table_1 AS t1
WHERE t1.id BETWEEN 100 AND 200
// Zapisz pod kluczami t_1_ID wartości poszczególnych rekordów
// Zapisz pod innym kluczem listę samych ID

SELECT * FROM table_2 WHERE related_id IN (X1...Xn)
// Zapisz pod kluczami t_2_ID wartości poszczególnych rekordów

•W przypadku aktualizacji jakiejkolwiek danej, modyﬁkowany
jest tylko jeden klucz w memcached


PODSŁUCHIWANIE KOMUNIKACJI

• Czasem zachodzi potrzeba analizowania komunikacji pomiędzy
procesami PHP a serwerem memcached
• memcached -m 1024 -u root -l 127.0.0.1 -p 11211 -vv

• ngrep -d lo0 port 11211

• wrapper na obiekt klasy Memcache(d)


PODSŁUCHIWANIE KOMUNIKACJI

• Memcached nie udostępnia opcji listowania wszystkich kluczy,
ale można skorzystać z narzędzia peep:
$ sudo peep --pretty 2479
time | exptime | nbytes | clsid | key | exprd | flushd
8658 | 613458 | 272 | 5 | "c3RhdH:171:5" | false | false
8658 | 0 | 6 | 1 | "current_c3RhdH:3" | false | false
8678 | 95078 | 6 | 1 | "User:1:auth:m4Uq" | false | false
8658 | 0 | 8 | 2 | "user_dGltZWxp:4" | false | false
8686 | 613486 | 1278 | 9 | "User:1:6" | false | false
8658 | 613458 | 1286 | 9 | "User:1:4" | false | false
...

dane pochodzą ze strony http://blog.evanweaver.com/articles/2009/04/20/peeping-into-memcached/


MONITORING DZIAŁANIA

• Monitorowanie serwera za pomocą poleceń STATS
STAT pid 83010 STAT decr_misses 0
STAT uptime 29 STAT decr_hits 0
STAT time 1274341051 STAT cas_misses 0
STAT version 1.4.5 STAT cas_hits 0
STAT pointer_size 64 STAT cas_badval 0
STAT rusage_user 0.001817 STAT auth_cmds 0
STAT rusage_system 0.004779 STAT auth_errors 0
STAT curr_connections 5 STAT bytes_read 133
STAT total_connections 6 STAT bytes_written 163
STAT connection_structures 6 STAT limit_maxbytes 1073741824
STAT cmd_get 2 STAT accepting_conns 1
STAT cmd_set 2 STAT listen_disabled_num 0
STAT cmd_flush 0 STAT threads 4
STAT get_hits 0 STAT conn_yields 0
STAT get_misses 2 STAT bytes 72
STAT delete_misses 0 STAT curr_items 1
STAT delete_hits 0 STAT total_items 3
STAT incr_misses 0 STAT evictions 0
STAT incr_hits 3 STAT reclaimed 0


MONITORING DZIAŁANIA

• Integracja z systemami monitorowania środowiska

• Wykresy systemowe pozwalają określić skuteczność cache


ZARZĄDZANIE PAMIĘCIĄ

• Memcached korzysta z algorytmu LRU w obrębie slab klasy

• Expire

• Klucz może zostać usunięty przed wygaśnięciem

• Evictions

• Niebezpiecznie w przypadku wykorzystania memcached
jako handlera sesyjnego


PRZECHOWYWANIE WARTOŚCI

• Rozmiar wartości ma znaczenie (klucza także)
<?php string(162) "a:2:{s:5:"key_1";a:3:{i:0;s:9:"value_1_1";i:1;
/** s:9:"value_1_2";i:2;s:9:"value_1_3";}s:5:"key_2";a:3:
* Przykład: rozmiar wartości. {i:0;s:9:"value_2_1";i:1;s:9:"value_2_2";i:2;s:9:
*/ "value_2_3";}}"
$data = array(
'key_1' => array( string(93) "{"key_1":["value_1_1","value_1_2","value_1_3"],
'value_1_1', "key_2":["value_2_1","value_2_2","value_2_3"]}"
'value_1_2',
'value_1_3'
),
'key_2' => array(
'value_2_1',
'value_2_2',
'value_2_3'
),
);

var_dump(serialize($data));
var_dump(json_encode($data));

?>


CHECK AND SET

• Równoległe operacje na kluczach, race-conditions

serwer php

serwer php

serwer php

serwer memcached


FLAGI

• Memcached pozwala na przechowywanie wraz z parą klucz-
wartość dodatkowych informacji

• Flagi są zapisywanie przez serwer atomowo, wraz z parą

• Implementacja obsługi ﬂag zależy od wersji biblioteki klienckiej


SKALOWANIE

klucz 1 klucz 11 klucz 31

serwer memcached 1 serwer memcached 2 serwer memcached 3

• Rozłożenie kluczy pomiędzy wiele serwerów

• Algorytmy rozpraszania kluczy: modulo, consistent hashing


SKALOWANIE

• Skalowanie memcached od strony PHP
<?php
/**
* Przykład: Komunikacja z klastrem serwerów.
*/

$memcached->setOption(Memcached::OPT_DISTRIBUTION, Memcached::DISTRIBUTION_CONSISTENT);
$memcached->setOption(Memcached::OPT_LIBKETAMA_COMPATIBLE, true);


?>


WYSOKA DOSTĘPNOŚĆ

• Projekt Repcached dla memcached 1.2.x, memcached z zasady
jest ulotny!

klucz 1 klucz 1
klucz 4 klucz 4
klucz 3
replikacja klucz 3
master-master klucz 2
klucz 2
klucz 5 klucz 5
klucz 6 klucz 6

get, set, incr, decr get, set, incr, decr

klient


OPTYMALIZACJA KOMUNIKACJI

• Memcached jest bardzo szybki, ale czasem barierę wyznacza
warstwa sieciowa i ilość zapytań

• Minimalizacja round-tripów, czyli multiGET oraz multiSET
<?php <?php
/** /**
* Przykład: 100 x GET * Przykład: 1 x multiGET
*/ */
$memcached = new Memcached(); $memcached = new Memcached();

$memcached->addServer('127.0.0.1', 11211); $memcached->addServer('127.0.0.1', 11211);

for ($i = 1; $i <= 100; $i++) { for ($i = 1; $i <= 100; $i++) {
$values[] = $memcached->get('test_' . $i); $keys[] = 'test_' . $i;
} }

?> $values = $memcached->getMulti($keys);

?>



• Skuteczność operacji multiGET/multiSET zależy od sposobu
rozrzucania kluczy pomiędzy serwery

• Jeśli dysponujemy 20 serwerami memcached i zapisujemy
20 kluczy, w najgorszym przypadku wykonujemy 20
pojedynczych SET-ów

• Analogicznie jest z pobieraniem danych



• Moduł pecl/memcached umożliwia przejście na protokół
binarny

• Pozwala to zaoszczędzić cenne zasoby
<?php
/**
* Przykład: Opcje połączenia.
*/

// Przed połączeniem z serwerem!
$memcached->setOption(Memcached::OPT_BINARY_PROTOCOL, true);


var_dump($memcached->getOption(Memcached::OPT_BINARY_PROTOCOL));

?>


• Opóźnione pobieranie kluczy
<?php
/**
* Przykład: Opóźnione pobieranie kluczy.
*/

$memcached->get('int', 99);
$memcached->get('string', 'a simple string');
$memcached->get('array', array(11, 12));

var_dump($memcached->getDelayed(array('int', 'array'), true));
?>

• Opóźnione zapisywanie wartości

• Przydatnenp. przy wykorzystaniu memcached jako
handlera sesyjnego

DOGPILE EFFECT

• Czym jest dogpile effect? Kiedy może wystąpić? Jak się bronić?

serwer php

serwer php

serwer php

serwer memcached
x


ROZWIĄZANIA ALTERNATYWNE

• MemcacheDB

• Trwały silnik KV oparty o bazę danych BerkeleyDB

• Redis

• Bardzo wydajny, trwały silnik KV implementujący protokół
memcached
Posiada wsparcie dla złożonych struktur danych


DZIĘKUJĘ ZA UWAGĘ.
PYTANIA?


PHP i memcached, zaawansowane przypadki użycia

Recommandé

Recommandé

Contenu connexe

Similaire à PHP i memcached, zaawansowane przypadki użycia

Similaire à PHP i memcached, zaawansowane przypadki użycia (20)

Plus de PHPCon Poland

Plus de PHPCon Poland (9)

PHP i memcached, zaawansowane przypadki użycia