Типичные и нетипичные проблемы устройства платежных систем. Их решение. Архитектура платежной системы Деньги@Mail.Ru

2. Платежная система
Деньги@Mail.Ru
простые решения сложных вопросов
2

3. Что такое ДМР?
• Платежи между пользователями и в магазины
• Пластиковые карты
• API и мобильные приложения
• Квази-валюты
3

4. Проблемы в ПС
Типичные проблемы HighLoad
• высокая доступность и отказоустойчивость
• обработка больших объемов данных / запросов
Нетипичные проблемы
• любая ошибка — очень дорого
• безопасность — наше всѐ
• внешний мир — такой внешний
4

5. Учимся считать
Финансовая математика
Математика с плавающей точкой
2×2 =4
2.0 × 2.0 = ?
5

6. Безопасность в ПС
Типичные уязвимости
В сети:
• перехват трафика
На сервере:
• SQL-инъекции
• 0-строки и раскрытие данных
На клиенте:
• XSS
• XSRF

7. Безопасность в ПС
Шифрование данных
При передаче:
• https-соединение
• cookies со спец-флагами
При хранении:
• можно шифровать данные в БД
• можно шифровать диски
• данные отдельно, ключи отдельно 7

8. Безопасность в ПС
Обработка данных
SQL-инъекции?
• хранимые процедуры и связанные переменные
XSS?
• шаблонизаторы и экранирование переменных
XSRF?
• подпись форм и ссылок
8

9. Интеграция
Проблема:
• Многообразие протоколов
• Многообразие алгоритмов
• Чрезмерная паранойя
Решение:
• Унификация — хотя бы свои делайте одинаково
• Простота — чем проще вы, тем проще вам
• Совместимость
9

10. Где Rocket Science?
Масштабируемость
Скорость Надежность
10

11. Где Rocket Science?
Платежная система —
это не Rocket Science…
…но есть нюанс ©
11

12. Хранилище данных
Проблема:
Масштабируемость — scale-up или scale-out?
Выбор технологии:
•Промышленные СУБД?
•Open-source?
•NoSQL?
С этим выбором жить долго:
платежные системы консервативны

13. Хранилище данных
Решение:
• Данные — в сотнях узлов одинаковой структуры
• Каждый пользователь — в своем узле
• Работа с данными — через хранимые процедуры 13

14. Хранилище данных
Почему?
• Данные слабосвязаны, разных типов мало
• Многие данные не меняются
• Можно забыть про нормализацию
• JSON рулит. Разница — всего 34.8%. Жалко? Можно и 20.5%
• Дублируем, если нужно
• Безопасность + меньше сетевые издержки

15. Хранилище данных
Технологии:
MySQL 5.x + хранимые процедуры
15

16. Хранилище данных
Транзакции
классика жанра…
start transaction;
UPDATE account SET balance = balance + :amount
WHERE uid = :user1;
UPDATE account SET balance = balance - :amount
WHERE uid = :user2;
commit;
…не работает! 16

17. Хранилище данных
Требования:
• Гарантированная доставка
• Отсутствие дублей
• И снова масштабирование
17

18. Хранилище данных
Требования:
• Гарантированная доставка
• Отсутствие дублей
• И снова масштабирование
Решение:
• Упрощение 2PC
• Журналы транзакций
18

19. Хранилище данных
Распределенные транзакции
Этапы:
• списание на транзитный счѐт
• передача между узлами
• зачисление на счѐт получателя
19

20. Хранилище данных
Распределенные транзакции
В узлах:
ACID + скорость
Координатор:
• доставка
• отсутствие дублей
• масштабируемость

21. Очереди
Эволюция: асинхронная работа
• От транзакций к сообщениям
• 99.9% работы платежной системы — в фоне
В фоне:
• распределенные транзакции
• взаимодействие с внешними системами
• различные уведомления внутри системы
21

22. Сервер приложений
• NginX + apache + mod_perl
• Где кэш?
Задачи:
• Координация запросов
• Контроль соединений
• Выдача результатов ХП
• Бизнес-логика (не СУБД)
22

23. Жертвы будут
Неочевидные проблемы
• Ой! Мы же зашифровали данные!
• Контакт? Нет контакта! Коннект?...
• Распределенные вычисления
• Распределенный поиск
• Точки G
23

24. Главная проблема
Регуляторы в области ИБ
© А. Лукацкий
24

25. Главная проблема
Нормативно-правовые акты по ИБ в НПС
© А. Лукацкий
25

26. Главная проблема
Главные проблемы — не технические
• Стандарты безопасности
• Закон о НПС + нормативные акты
• Отчетность: 1С, SAP, АБС…
• Люди
26

27. Статистика
Серверы БД:
200 000 qps
Приложений:
До 5K qps
Баланс: 0.003 сек
Очередей:
2M msg/d, 1800 t/m
67% сообщений — 0.02 сек
97% — 0.05 сек 27

28. СПАСИБО!
Максим Бабич
Деньги@Mail.Ru
babich@corp.mail.ru