Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
•Télécharger en tant que PPTX, PDF•
0 j'aime•434 vues
HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2947.html Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных. ...
Recommandé
Recommandé
Contenu connexe
Similaire à Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
Similaire à Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain) (20)
Plus de Ontico
Plus de Ontico (20)
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает / Артем Шитов (GridGain)
- 1. Зачем Persistence для In-Memory, и как он работает? Артем Шитов Solution Architect, GridGain artem@gridgain.com persistence
- 2. Зачем Persistence для In-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 3. Зачем Persistence для In-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 4. Зачем Persistence для In-Memory? • Растущие объемы данных — растущая проблема • Вычислительные мощности • Подходы к хранению и доступу • In-Memory: преимущества и проблемы • Что предлагает Apache Ignite? • Memory-Centric SQL MPP Database • Скорость и надежность • Как это работает внутри? • Страничная организация памяти • Выделение памяти • Дисковое хранилище • Распределенный SQL
- 5. Растущие объемы данных — растущая проблема
- 10. Как мы справляемся с ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 11. Как мы справляемся с ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 12. Как мы справляемся с ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 13. Как мы справляемся с ростом данных? • Более мощный процессор • гонка гигагерц, Pentium IV — 3.8 Ghz • Больше ядер в процессоре • гонка ядер, Xeon Phi 7210 — 64 ядра • multithreading, parallel computing • Больше машин в кластере • гонка кластеров, Alibaba FuxiSort — 3 377 машин • distributed computing • горизонтальная (и эластичная) масштабируемость • Больше кластеров
- 22. In-Memory Data Grids горизонтальное масштабирование SQL
- 23. In-Memory Data Grids горизонтальное масштабирование strong consistency SQL
- 24. In-Memory Data Grids горизонтальное масштабирование strong consistency SQL
- 26. Что предлагает Apache Ignite?
- 31. Apache Ignite ориентированная на память платформа, которая устойчива к отказам, строго консистентна и высоко доступна, имеет SQL, Key-Value API, а также возможностью колоцированной обработки данных
- 32. Apache Ignite масштабируется на тысячи узлов, в том числе на разных континентах, дает скорость in-memory и надежность диска, применяется крупнейшими компаниями
- 33. Как это работает внутри?
- 34. Что внутри? • Переработанная архитектура хранения • адаптирована под прозрачное хранение данных как в off-heap памяти, так и на диске • Собственное дисковое хранилище с WAL и checkpointing • H2 для разбора SQL, оптимизации и подготовки плана выполнения • Собственное исполнение SQL по плану поверх высоко распределенного окружения
- 36. Архитектура памяти • Страницы • Выделение памяти • Сегменты (единица выделения памяти) • Регионы • Чтение данных
- 37. Страницы (Pages)
- 41. Сегменты
- 42. Регионы
- 44. B.get(X) Affinity: K -> shard -> [Node]
- 47. Диск • WAL • Checkpoints • Distributed storage
- 50. Checkpoints
- 51. Persistence
- 54. Apache Ignite • Горизонтально масштабируется • Позволяет использовать SQL • Колоцирует вычисления и данные • Работает с данными со скоростью In-Memory • Безопасно хранит данные на дисках • Full SQL • Lazy Run