Большинство пользователей любят постоянство. Тем не менее, мы, разработчики, постоянно работаем над интерфейсом своего продукта (меняем цвет, шрифт и др.), добавляем новый функционал, изменяем принцип его работы… Всё это может оттолкнуть старых пользователей, а новым показаться неудобным. Поэтому, я хотел бы поделиться с вами, как с помощью машинного обучения определить места, требующие изменений. Также мы рассмотрим, как A/B-кампании помогают эволюционировать ваш продукт “на лету” и не отпугивать пользователей. Презентация подготовлена по материалам выступления Максима Дадеркина на витебской конференции “Developer's Software Conference” (12.11.2016).

1. DSC2016
УПРАВЛЯЕМ
ЭВОЛЮЦИЕЙ
НА ЛЕТУ

2. Немного о себе
• Дадеркин Максим
• Ведущий инженер-
программист
в компании EPAM Systems

3. Эволюция

8. Естественный
отбор

9. А/В
кампания
Естественный
отбор
==

10. Термины
• A/B-кампания (эксперимент)

11. Термины
• A/B-кампания (эксперимент)
• Рецепт (вариант)

12. Термины
• A/B-кампания (эксперимент)
• Рецепт (вариант)
• Цель

13. Термины
• A/B-кампания (эксперимент)
• Рецепт (вариант)
• Цель
• A/B-тестирование

14. Зачем нужно проводить
A/B-тестирование?

16. Как внедрить
A/B-тестирование
в проект?

17. Простейшее приложение
Front End
Back End
DB
Mobile

18. 1. Добавляем метрики
Внедряем A/B тестирование

19. Добавляем метрики

20. Front End
Back End
DB
Mobile
Метрика
Метрика

21. Front End
Back End
DB
Mobile
Метрика
Метрика
Метрика

22. Что измерять? (Примеры метрик)
• Время работы сервисов (Performance)
• Начало/конец отрисовки контента (WEB)
• Количество JS-скриптов
• Количество картинок
• …

23. Можно использовать
• Google Analytics
• Yandex Metrika
• Ваша библиотека*

24. 1. Добавляем метрики
2. Изменяем компоненты
Внедряем A/B-тестирование

25. Требования к приложению
• Архитектура должна быть гибкой
• Компоненты должны быть легко заменяемы

26. 1. Добавляем метрики
2. Изменяем компоненты
3. Запускаем A/B-кампанию
Внедряем A/B-тестирование

27. 1. Добавляем метрики
2. Изменяем компоненты
3. Запускаем A/B-кампанию
4. Подводим итоги
Внедряем A/B-тестирование

28. 1. Добавляем метрики
2. Изменяем компоненты
3. Запускаем A/B-кампанию
4. Подводим итоги
5. Фиксируем изменения
Внедряем A/B-тестирование

29. 1. Добавляем метрики
2. Изменяем компоненты
3. Запускаем A/B-кампанию
4. Подводим итоги
5. Фиксируем изменения
Внедряем A/B-тестирование

30. 1. Добавляем метрики
2. Изменяем компоненты
3. Запускаем A/B-кампанию
4. Подводим итоги
5. Фиксируем изменения
Внедряем A/B-тестирование

31. Кто использует
Google Analytics и (или)
Яндекс Метрика
вместе с A/B-тестированием?

32. Google Analytics
• Просто интегрировать
• Различные цели для
тестирования
• Широкий список
элементов для
тестирования
• Позволяет создавать
специализированные
отчёты

33. Яндекс Метрика
• Функционал похож на
Google Analytics
• A/B-тестирование не
присутствует в явном
виде

35. • Выбрать сервер для обработки запроса
• Запустить A/B-кампанию в мобильном
приложении
• Генерировать случайные значения
Что GA/YM не умеют?

36. • Модуль: ngx_http_split_clients_module
• Пример конфигурации:

37. • Real-Time база данных
• Удаленная конфигурация (Remote Config)

38. • Библиотека, позволяющая проводить
эксперименты над полями.
• Пример:
button_color = uniformChoice(choices=["red",
"green"], unit=userid);
button_text = "Ok";
is_change_text = bernoulliTrial(p=0.3,
unit=userid);
if (is_change_text) {
button_text = "Apply";
}

39. Многорукий бандит
(Multi-armed bandit)

40. MAB
“Многорукий Бандит”– это эксперимент, в
рамках которого:
• Ставится цель определить оптимальное
или наиболее прибыльное действие
• Распределение трафика по вариантам
можно изменить в ходе эксперимента

41. • Позволяют быстрее получить результат
• Трафик распределяется на наиболее
перспективный вариант
• Трафик распределяется постепенно
MAB

42. А что улучшать?

44. Найти решение мне помогла
программа интуитивного типа,
специально созданная для изучения
определенных сторон человеческой
души. Меня можно назвать отцом
Матрицы, а ее без преувеличения —
матерью.
Архитектор

45. Что такое машинное
обучение?

46. Что-то
на входе
Что-то
на выходе

47. Что-то
на входе
Что-то
на выходе
𝑥 + 𝑎 𝑛
=
𝑘=0
𝑛
𝑛
𝑘
𝑥 𝑘
𝑎 𝑛−𝑘

48. Машинное обучение
• Машинное обучение – область обучения,
которая дает компьютерам возможность
учиться не будучи явно
запрограммированными.

49. Задачи машинного обучения:
• Регрессия (ответ - числа, задачи
прогнозирования)
• Классификация
• Ранжирование (поисковые системы)
Машинное обучение

50. Как определить метрики,
важные для вашего
приложения?

51. Постановка задачи
• У нас есть страница, которую мы хотим
улучшить.
• Цель: пользователь совершает покупку.

52. Метрики страницы (Бинарные)
• наличие или отсутствие определенного
элемента на странице
• совершил пользователь покупку или нет
• использование http(s)
• http/2
• мобильный клиент
• планшет
• …

53. • время ответа сервера
• время загрузки страницы (DOM ready)
• разрешение экрана
• …
Метрики страницы (Количественные)

54. Случайный лес
Random Forest

55. Набор средств
• TensorFlow
• Apache Spark Mlib
• Microsoft CNTK
• …

56. Итоги

57. Вопросы?