1. Badanie skalowalności systemu
HBase
Zygmunt Mazur, Wojciech Langiewicz

2. Plan prezentacji
•
•
•
•
•
Czym jest HBase i NoSQL?
Podstawy architektury
Przykłady zastosowania
Przeprowadzone testy i wyniki
Podsumowanie

3. Skalowalność
• Zdolność do zwiększania wydajności
systemu wraz ze zwiększaniem jego
zasobów (np. sprzętowych)
• Liniowa skalowalność – zwiększając ilość
zasobów systemu X razy, zwiększamy
także X razy jego wydajność
• Większość RDBMS nie posiada tej cechy
• HBase jest skalowalny do nawet setek
serwerów

4. Czym jest HBase
• Nierelacyjna baza danych (NoSQL)
• Otwarto-źródłowa implementacja BigTable
• Dostęp w czasie rzeczywistym do
ogromnych ilości danych
• Przechowywanie miliardów wierszy i
milionów kolumn

5. NoSQL
• Brak schematu danych
• Brak JOIN'ów, brak SQL
• np.: bazy klucz/wartość, bazy
dokumentowe, bazy grafowe
• Bardziej wyspecjalizowane niż RDBMS

6. Google BigTable
• Od 2004 roku używana przez większość
usług Google, m.in.:
Google Reader, Gmail, YouTube,
Google Maps
• HBase jest implementacją architektury
BigTable tworzoną przez fundację Apache

7. Podstawy architektury
•
•
•
•
Rozproszenie
Redundancja
Wielowymiarowe klucze
Dane wersjonowane znacznikiem czasu

8. Wizualizacja danych

9. Przykłady zastosowania
– historia zmian danych użytkownika
• Przechowywanie historii zmian np. adresu
e-mail, hasła, danych osobowych
• Wykorzystywanie natywnych dla HBase
mechanizmów wersjonowania
• Umożliwia bezpieczny backup
i odtworzenie danych

10. Przeprowadzone testy
• Testy przeprowadzono standardowym
narzędziem dołączonym do HBase
• Zawierają testy użyte przez Google do
oceny BigTable
• Standardowe testy umożliwiają
porównywanie BigTable oraz HBase na
przestrzeni czasu

11. Wyniki testu – czas sumaryczny
randomRead
50000000
4
45000000
3,5
40000000
3
35000000
total time
25000000
2
20000000
1,5
15000000
1
10000000
0,5
5000000
0
0
2
4
6
number of servers
rowCount
milliseconds
8
scalability
10
12
scalability
2,5
30000000

12. Wyniki testu – czas/serwer
randomRead
14000000
0,5
0,45
12000000
0,4
0,35
0,3
8000000
0,25
6000000
0,2
0,15
4000000
0,1
2000000
0,05
0
0
2
4
6
8
number of servers
rowCount
milliseconds per server
10
scalability
12
scalability
miliseconds per server
10000000

13. Podsumowanie
1. Nowe, specjalistyczne rozwiązania
2. Dzięki skalowalności nadają się do
przetwarzania dużych ilości danych
3. HBase z powodzeniem używane przez:
Facebook, Twitter, Yahoo!, Filmweb

14. Dziękuję za uwagę