HighLoad++ 2017 Зал «Найроби + Касабланка», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/2848.html Часто возникает задача создать кэш перед какой-либо базой данных, будь это PgSQL или какая-нибудь другая БД, и иметь возможность быстро обратиться к данным и снизить нагрузку на БД. Но самое главное в такой задаче - иметь эти данные всегда актуальными между кэшем и самой БД. Исходя из этой ситуации выходит, что не все данные возможно хранить в кэше, так как у нас нет уверенности, что они актуальные на данный момент. ...

1. Синхронизация
данных
из PgSQL в Tarantool
Гвоздиков Вениамин, Calltouch

2. Инфраструктура под PgSQL
• 5 баз данных в режиме Master
• 5 баз данных в режиме Slave
• Pgbouncer

3. Оборудование
• Процессоры Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
• Память 125Gb
• Диски под базу SSD
• Сетевой адаптер Intel Ethernet i350 x2
Количество таких серверов 10 штук

4. Нагрузка на каждый из серверов
• avg_requests ~ 2000 х 10
• avg_query ~ 1000 х 10

5. Задача для умного кэша
• Быстрый доступ к данным
• Консистентность данных
• Синхронизация данных
• Изменение данных

6. Инструменты
• Tarantool
• Tarantool-pg
• Expirationd
• Http + Prometheus
• PL/Python

7. Ограничения
• Небольшое количество обновлений
• Небольшие объемы данных
• Согласованное проведение обновлений таблиц

8. Схема работы