Обзорный доклад об опыте применения cassandra

1. Apache Cassandra
и подруга её Scylla
Даниил Подольский
независимый консультант

2. Немного о докладчике
● Эксплуатирую кассандру в разных
проектах

3. Немного о докладчике
● Эксплуатирую кассандру в разных
проектах
● Уже 5 лет

4. Немного о докладе
● Фактически - обзорный

5. Немного о докладе
● Фактически - обзорный
● Цель - продемонстрировать отличия
от “традиционных” AKA
реляционных СУБД

6. Немного о докладе
● Фактически - обзорный
● Цель - продемонстрировать отличия
от “традиционных” AKA
реляционных СУБД
● Чтобы дать представление о круге
задач, для которых Cassandra
подходит хорошо

7. Немного о докладе
● Фактически - обзорный
● Цель - продемонстрировать отличия
от “традиционных” AKA
реляционных СУБД
● Чтобы дать представление о круге
задач, для которых Cassandra
подходит хорошо
○ Спойлер: этот круг довольно узок

8. Cassandra, как мы ее себе
представляем
Cassandra
● NoSQL DBMS

9. Cassandra, как мы ее себе
представляем
Cassandra
● NoSQL DBMS
● Отказоустойчивая

10. Cassandra, как мы ее себе
представляем
Cassandra
● NoSQL DBMS
● Отказоустойчивая
● Распределенная

11. Cassandra, как мы ее себе
представляем
Cassandra
● NoSQL DBMS
● Отказоустойчивая
● Распределенная
● Быстрая

12. Cassandra, как мы ее себе
представляем
Cassandra
● NoSQL DBMS
● Отказоустойчивая
● Распределенная
● Быстрая
● Eventually consistent

13. Cassandra, как она есть
● NoSQL DBMS

14. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL

15. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL
● Отказоустойчивая

16. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL
● Отказоустойчивая
● Распределенная

17. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL
● Отказоустойчивая
● Распределенная
● Быстрая

18. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL
● Отказоустойчивая
● Распределенная
● Быстрая
● Eventually consistent

19. Cassandra, как она есть
● NoSQL DBMS
○ схема данных и язык CQL
● Отказоустойчивая
● Распределенная
● Быстрая
● Eventually consistent
○ Time based, со всеми вытекающими

20. В сравнении с RDBMS
Отсутствуют

21. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)

22. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)
● Транзакции

23. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)
● Транзакции
○ есть в рамках одной строки

24. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)
● Транзакции
○ есть в рамках одной строки
● Вторичные индексы

25. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)
● Транзакции
○ есть в рамках одной строки
● Вторичные индексы
○ Они есть

26. В сравнении с RDBMS
Отсутствуют
● Relations (foreign keys, joins, etc)
● Транзакции
○ есть в рамках одной строки
● Вторичные индексы
○ Они есть
○ Но работают иначе

27. Скорость
● Кассандра быстро пишет

28. Скорость
● Кассандра быстро пишет
○ И расходует при этом много iops

29. Скорость
● Кассандра быстро пишет
○ И расходует при этом много iops
● Cassandra читает как-то

30. Скорость
● Кассандра быстро пишет
○ И расходует при этом много iops
● Cassandra читает как-то
○ Никаких гарантий

31. Скорость
● Кассандра быстро пишет
○ И расходует при этом много iops
● Cassandra читает как-то
○ Никаких гарантий
○ Но обычно - быстро

32. Скорость
● Кассандра быстро пишет
○ И расходует при этом много iops
● Cassandra читает как-то
○ Никаких гарантий
○ Но обычно - быстро
■ Если не перегружена

33. Потому, что гладиолус LevelDB
● Append only

34. Потому, что гладиолус LevelDB
● Append only
● Compaction

35. Потому, что гладиолус LevelDB
● Append only
● Compaction
Вообще, по-настоящему хорошо это
работает, если никогда не делать
UPDATE

36. Об архитектуре хранения данных
● PRIMARY KEY

37. Об архитектуре хранения данных
● PRIMARY KEY
○ Обязателен

38. Об архитектуре хранения данных
● PRIMARY KEY
○ Обязателен
○ Уникален

39. Об архитектуре хранения данных
● PRIMARY KEY
○ Обязателен
○ Уникален
○ Определяет шард

40. Об архитектуре хранения данных
● PRIMARY KEY
○ Обязателен
○ Уникален
○ Определяет шард
■ Который определяет сервер, на
котором хранятся данные

41. Об архитектуре хранения данных
● PRIMARY KEY
○ Обязателен
○ Уникален
○ Определяет шард
■ Который определяет сервер, на
котором хранятся данные
○ Двухчастный

42. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY

43. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY
○ Partition Key

44. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY
○ Partition Key
○ Clustering Key

45. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY
○ Partition Key
○ Clustering Key
● Ключевой фактор, влияющий на
производительность

46. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY
○ Partition Key
○ Clustering Key
● Ключевой фактор, влияющий на
производительность
○ Трудно понять, как правильно

47. Об архитектуре хранения данных
● Двухчастный PRIMARY KEY
○ Partition Key
○ Clustering Key
● Ключевой фактор, влияющий на
производительность
○ Трудно понять, как правильно
○ Невозможно поменять

48. О вторичных ключах
● Чисто маркетинговая фишка

49. О вторичных ключах
● Чисто маркетинговая фишка
○ Не нужны

50. О вторичных ключах
● Чисто маркетинговая фишка
○ Не нужны
● Работают плохо

51. О вторичных ключах
● Чисто маркетинговая фишка
○ Не нужны
● Работают плохо
● Запрос по вторичному ключу
достает данные со всех нод
кластера

52. О вторичных ключах
● Чисто маркетинговая фишка
○ Не нужны
● Работают плохо
● Запрос по вторичному ключу
достает данные со всех нод
кластера
○ Производительность падает при
расширении кластера

53. Еще о первичном ключе
● UPDATE для колонок, в него
включенных, невозможен

54. Еще о первичном ключе
● UPDATE для колонок, в него
включенных, невозможен
○ Потому, что первичный ключ
определяет физическое
расположение данных

55. Еще о первичном ключе
● UPDATE для колонок, в него
включенных, невозможен
○ Потому, что первичный ключ
определяет физическое
расположение данных
○ А DELETE-INSERT нельзя
сделать транзакционным в
распределенной системе

56. Отказоустойчивость
● Ключевой фактор - replication factor

57. Отказоустойчивость
● Ключевой фактор - replication factor
○ Определяет, сколько полных
копий всех данных вы храните

58. Отказоустойчивость
● Ключевой фактор - replication factor
○ Определяет, сколько полных
копий всех данных вы храните
○ При значениях меньше 3 не
обеспечивает отказоустойчивости

59. Отказоустойчивость
● Ключевой фактор - replication factor
○ Определяет, сколько полных
копий всех данных вы храните
○ При значениях меньше 3 не
обеспечивает отказоустойчивости
● Выбор ноды реализован на клиенте

60. Отказоустойчивость
● Ключевой фактор - replication factor
○ Определяет, сколько полных
копий всех данных вы храните
○ При значениях меньше 3 не
обеспечивает отказоустойчивости
● Выбор ноды реализован на клиенте
● Rebalancing может быть болью

61. Отказоустойчивость
● Ключевой фактор - replication factor
○ Определяет, сколько полных
копий всех данных вы храните
○ При значениях меньше 3 не
обеспечивает отказоустойчивости
● Выбор ноды реализован на клиенте
● Rebalancing может быть болью
○ и унижением

62. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra

63. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra
● Но:

64. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra
● Но:
○ Невидимы для iostat

65. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra
● Но:
○ Невидимы для iostat
○ Неэффективно используют кеш

66. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra
● Но:
○ Невидимы для iostat
○ Неэффективно используют кеш
■ Личные наблюдения

67. Memory mapped files
● Штатный способ доступа к данным
со стороны cassandra
● Но:
○ Невидимы для iostat
○ Неэффективно используют кеш
■ Личные наблюдения
● Должно сильно зависеть
от данных

68. ScyllaDB
● Disclaimer: чистая теория

69. ScyllaDB
● Disclaimer: чистая теория
● Scylla is a drop-in Apache Cassandra
replacement that powers your
applications with ultra-low latency and
extreme throughput.

70. ScyllaDB
● Disclaimer: чистая теория
● Scylla is a drop-in Apache Cassandra
replacement that powers your
applications with ultra-low latency and
extreme throughput.
● http://www.scylladb.com/

71. ScyllaDB: о совместимости
● Scylla is compatible with Apache
Cassandra, version 2.1.8

72. ScyllaDB: о совместимости
● Scylla is compatible with Apache
Cassandra, version 2.1.8
● Самая важная страница

73. ScyllaDB: о совместимости
● Scylla is compatible with Apache
Cassandra, version 2.1.8
● Самая важная страница
○ http://docs.scylladb.com/cassandra-
compatibility/

74. ScyllaDB: чего не хватает
(из важного)
● Secondary Index

75. ScyllaDB: чего не хватает
(из важного)
● Secondary Index
● User Define Functions

76. ScyllaDB: чего не хватает
(из важного)
● Secondary Index
● User Define Functions
● Triggers

77. Спасибо
Вопросы?

78. Контакты докладчика
onokonem@gmail.com
Jabber: onokonem@gmail.com
Telegram: onokonem
Skype: onokonem