1. Cassandra
архитектуракластераиособенностииспользования
@dmitry_desu
@clslrns

4. • За время добавления новой ноды данные
журнала частично перезаписываются. В итоге
новая нода так и не включается в работу
!
!
!
!
!
• Удаление данных не освобождает
пространство (уже освобождает -
usePowerOf2Sizes)
!
• Избыточность

5. Cassandra @ iFunny
2 кластера
24 ноды
x16 Cores
x30GB RAM
x320GB SSD
x1Gbit LAN
!
!
Write Latency 1.5мс
Read Latency 3.5мс

7. HBase, Cassandra, Riak, Redis, DynamoDB, Voldemort

8. • Доступность
• Линейная масштабируемость
• Нет единой точки отказа
• Настраиваемая целостность данных
• Поддержка и большое сообщество
Cassandra is a massively scalable open source
NoSQL database.

10. Кластер cassandra

11. Если записать ключ ‘foo’ c RF=3
Node3
Node4
Node5
Node6
Node2: foo
Node1
Node7
Node8Node9:foo
Node15: foo
Node14
Node13
Node12
Node11
Node10

12. Хранение данных
SSTable (Sorted String Table) – простой формат для
эффективного хранения большого числа пар типа “key-
value”, оптимизирован для обеспечения высокой
пропускной способности при выполнении операций
последовательного чтения и записи данных.

13. • Объединеняет sstables для улучшения
производительности
!
• Очищает sstables от удаленных данных
!
• Перестраивает индексы
Compaction - периодический фоновый
процесс обслуживания хранимых данных

14. Compaction:
Size-tiered vs leveled

15. Size-tiered Compaction
Объединение 4-х sstable’ов одинакового размера

16. Size-tiered Compaction
Как выглядят sstables при большом количестве инсертов

17. Size-tiered Compaction
Проблемы
Данные могут оказаться на любом количестве
sstables. В худшем случае чтение будет происходить
из всех имеющихся
!
Требуется слишком много дискового пространства
при компактинге и большом количестве deletes

18. Leveled
Основан на Google LevelDB. Sstables создаются
фиксированного размера и группируются по уровням.
Каждый новый уровень в 10 раз больше чем
предыдущий.

19. Преимущества Leveled
•
Leveled компактинг гарантирует, что 90% всех
чтений будут из одной sstable. В худшем случае
это будет чтение из 7ми sstables, что
соответствует 10TB хранимых данных.
Leveled
Size-tiered

20. Преимущества Leveled
!
!
•
Для компактинга необходимо 10xSstable_size
свободного пространства
!
• Только 10% занятого пространства будут заняты
устаревшими строками

21. Когда лучше использовать Leveled
• Read Latency очень важен
• Чтений больше чем записей
• Частые апдейты строк
• Много удалений

22. Когда лучше НЕ использовать
Leveled
• Если leveled слишком сильно
нагружает дисковую подсистему
• Много записей в cassandra
• Строки не обновляются или
обновляются очень редко

23. Базовая конфигурация
cluster_name: 'Cluster1’
!
num_tokens: 256
!
authenticator: {AllowAllAuthenticator, PasswordAuthenticator}
!
permissions_validity_in_ms: 2000
!
data_file_directories: - /cassandra/hdd1/data
!
commitlog_directory: /cassandra/hdd2/commitlog
!
disk_failure_policy: stop | ignore | best_effort

24. key_cache_size_in_mb: 500
row_cache_size_in_mb: 0
- seeds: “10.0.1.100, 10.0.2.100, 10.0.3.100”
concurrent_reads: 32 = (16 * number_of_drives)
concurrent_writes: 128 = (8*cores)
listen_address: <%= ipaddress %>
in_memory_compaction_limit_in_mb: 256
concurrent_compactors: 4
multithreaded_compaction: false
compaction_throughput_mb_per_sec: 128

25. Обслуживание и мониторинг: статус
кластера
> nodetool status

26. > nodetool cfstats
Keyspace: KeySpace1
Read Count: 4450035318
Read Latency: 1.118505269366269 ms.
Write Count: 3022969733
Write Latency: 0.02623819108644711 ms.
Pending Tasks: 0
Table: user_content
SSTable count: 12
SSTables in each level: [1, 0, 11, 0, 0, 0, 0, 0, 0]
Number of keys (estimate): 892032
Local read count: 323547
Local read latency: 1.248 ms
Local write count: 20194660
Local write latency: 0.017 ms
Bloom filter space used, bytes: 710616
Compacted partition minimum bytes: 61
Compacted partition maximum bytes: 2346799
!
Статистика по таблицам

27. > nodetool compactionstats
pending tasks: 7
compaction type keyspace column family completed total unit progress
Compaction Test Message 161257707087 2475323941809 bytes 6.51%
Статистика по компакшнам

28. > nodetool tpstats
Pool Name Active Pending Completed Blocked All time blocked
ReadStage 0 1 3378502921 0 0
RequestResponseStage 0 0 4917402340 0 0
MutationStage 0 0 2367194409 0 0
ReadRepairStage 0 0 164215492 0 0
ReplicateOnWriteStage 0 0 0 0 0
GossipStage 0 0 14227445 0 0
AntiEntropyStage 0 0 0 0 0
!
Message type Dropped
RANGE_SLICE 0
READ_REPAIR 0
PAGED_RANGE 0
BINARY 0
READ 289
MUTATION 114
_TRACE 2898
REQUEST_RESPONSE 0
COUNTER_MUTATION 0
Статистика по операциям

29. Datastax OpsCenter

30. Features
• съедает проц, а не диск — нужно больше ядер
• ssd - better, но не критично
• Java heap == 8 GB
• разные диски для данных и commit log
• стандартный GC

31. Проблемы, которые могут вас
затронуть
• corrupted sstable!
nodetool scrub
• high read latency and/or
dropped messages!
мониторинг
добавить ноды
пересмотреть модель данных
• gc, gc, gc, gc!
Java heap == 8GB
мониторинг
пересмотреть модель данных
!

32. Проблемы, которые могут вас
затронуть!
• host/cassandra/network down!
!
hinted handoff - журнал, позволяющий
восстановить данные при небольших
отказах
nodetool rebuild - пересоздание ноды,
актуальные данные запрашиваются из
кластера
nodetool repair - ищет и устраняет
неконсистентность данных
read repair - механизм, который
восстанавливает потерянные данные
при чтениях с нескольких нод

33. Спасибо