Слайды выступления на конференции HighLoad++2015 Lightning Memory-Mapped Database (LMDB) представляет собой интересный, во многом уникальный движок базы данных класса Berkeley DB и Level DB с ребус-подобным исходным кодом. Будучи относительно малоизвестным, LMDB показывает ЧЕМПИОНСКУЮ производительность по чтению. А наши доработки в libmdbx предлагают ряд компромиссов для достижения невероятной производительности по записи. http://www.highload.ru/2015/abstracts/1831.html

2. http://www.billing.ru

4. LMDB
RocksDB
WiredTiger
Sophia
LevelDB
ForestDB
READ4threads SYNC
CRUD
LAZY
CRUD

5. ГОСТ 7211-86
ЗУБИЛА СЛЕСАРНЫЕ

6. 
MDBX

7. 

9. 


10. 𝑶 log 𝟐 𝑵

11. 

13. ОБЩИЙ ПУЛ СТРАНИЦ
META PAGE
txn #
FREE DBMAIN DB


14. META
txn #41
META
txn #42
 
W
X Y
Z
C
D E
F

15. 42  { C, D, E, F }
C
D E
F
META
txn #41
META
txn #42
 
FREE DB

16. t
free()
alloc()
39  {OPQR}
38  { STUV }
37  { W X Y Z }
42  { C D E F }
41  {EFGH}
40  {KLMN}Занято чтением
Доступно для
переработки
ABCDEFGHIJKLM
NOPQRSTUVWXYZ
ABCDEFGHIJKLM
NOPQRSTUVWXYZ
ABCDEFGHIJKLM
NOPQRSTUVWXYZ
ABCDEFGHIJKLM
NOPQRSTUVWXYZ
ABCDEFGHIJKLM
NOPQRSTUVWXYZ
Последняя транзакция
ABCDEFGHIJKLM
NOPQRSTUVWXYZ

18. 




19. tНельзя трогать
Кольцо рециркуляции



20.  𝐖𝐀𝐅 = 𝑶 log 𝟐 𝑵

 paging = 𝑶 log 𝟐 𝑵




21. OpenLDAPOpenLDAP
1
2
Горизонт
событийИногда падает,
надо бы поправить…

22. 





23. t
LIFOFIFO
кольцо минимально !

ЗанятоДоступно для переработки

24. root42
1 764
74 088
3 111 696
130 691 232
42

25. 𝑁 ∆ × 2 %
128M / 512M
IOPS
FIFO / LIFO
результат
128М / 512М
42 0,34 2 / 0,00
1 764 14,12 3 / 0,00
74 088 592,93 21,59% 4 / 0,78 5,10 / 29,31
3 111 696 24,32 0,51% 5 / 1,78 2,81 / 4,48
130 691 232 1021,41 0,01% 6 / 2,78 2,16 / 2,84
Снижение нагрузки на диск в разы

26. 

28. ТЕПЛОЕ
А
холодное
и жесткое
МЯГКОЕ
Б
холодное
и жесткое
НЕ НУЖНО
= < > 
?

29. <
МЯГЧЕ
А Б
>
ТЕПЛЕЕА Б
=
С УГЛАМИ
А Б

31. 


33. 1 NR NR+W NR+NW R+NW NW
SET ●
GET ● ● ●○ ●○ ●○
CRUD ● ○● ○● ○● ●
BATCH ● ○● ○● ○● ●
ITERATE ● ● ●○ ●○ ●○
DELETE ●
SYNC LAZY NOSYNC

36. LMDB
WiredTiger
Sophia
RocksDB
LevelDB
ForestDB
8
4
2
1

37. 
0.00
0.00
0.00
0.01
0.04
0.11
0.33
1.00
0
100
200
300
400
500
600
700
LMDB WT SOPHIA ROCKS LEVEL FOREST
RPS & LATENCY
сек

38.  
1.0E-6
1.0E-5
1.0E-4
1.0E-3
1.0E-2
1.0E-1
1.0E+0
0
20
40
60
80
100
120
140
LMDB WT SOPHIA ROCKS LEVEL FOREST
Тысячи
RPS & LATENCY
сек

39. 
1.0E-6
1.0E-5
1.0E-4
1.0E-3
1.0E-2
1.0E-1
1.0E+0
1.0E+1
1.0E+2
0
50
100
150
200
250
LMDB WT SOPHIA ROCKS LEVEL FOREST
Тысячи
RPS & LATENCY
сек

40.  
LMDB
WiredTiger
Sophia
RocksDB
LevelDB
ForestDB I/O SPACECPU

41.  
LMDB
WiredTiger
Sophia
RocksDB
LevelDB
ForestDB
I/O SPACECPU

42. https://github.com/ReOpen/ioarena

44. OpenLDAP & LMDB
forever

45. 

46. 

