2. #Я!
Аналитик в сервисе персональных рекомендаций Crossss: веб-
аналитика в Google Analytics, Яндекс Метрике, других системах
Enterprise, анализ данных, Big Data,
АБ-тестирование
Прошлые места работы:
3. АБ-тесты это весело!
● Простой научный метод, пришедший из
медицинских лабораторий
● Принятие решений, опирающихся на
данные, а не на интуицию
● Математический аппарат, однозначно
выбирающий выигрышный вариант
5. Этапы проведения
1) Дизайн АБ-теста: разработка
экспериментальной гипотезы, расчет
времени проведения теста, выбор целевой
метрики
2) Имплементация теста
3) Сбор данных
4) Анализ результатов
5) Следующий АБ-тест
6. Этапы проведения
1) Дизайн АБ-теста: разработка
экспериментальной гипотезы, расчет
времени проведения теста, выбор целевой
метрики
2) Имплементация теста
3) Сбор данных
4) Анализ результатов
5) Следующий АБ-тест
7. Выбор целевой метрики
Сколько людей на самом деле пользуются
вашим продуктом?
SaaS: время выполнения
работы, доля подписчиков,
доля активных пользователей
Коллаборативный: доля
ценного контента, доля
активных создателей контента
Транзакционный: конверсии,
средний чек, брошенные
корзины
Медиа: время на странице,
страниц за визит, CTR
8. Единственная важная метрика
● Twitter: пользователи, зашедшие хотя бы 7
раз за последний месяц
● LinkedIn: просмотры профилей (поиски
профилей и доля просмотренных
пользователей)
● Crossss: пользователи, кликнувшие на
рекомендацию и купившие
рекомендованный товар
11. Как врать с помощью статистики
Орел Решка
Правая рука 5 11
Левая рука 11 5
12. Как врать с помощью статистики
Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4
200 сессий Незначимый Незначимый Значимый! Значимый!
500 сессий Незначимый Значимый! Незначимый Значимый!
Результат Незначимый Значимый! Незначимый Значимый!
Сценарий 1 Сценарий 2 Сценарий 3 Сценарий 4
200 сессий Незначимый Незначимый Значимый! Значимый!
500 сессий Незначимый Значимый! Остановка
теста
Остановка
теста
Результат Незначимый Значимый! Значимый! Значимый!
Если мы останавливаем тест сразу после получения значимого результата:
13. Как не врать с помощью
статистики
● Выберите минимальное удовлетворяющее
вас улучшение (например, +10% к
конверсии)
● Рассчитывайте длительность теста заранее
● Не подглядывайте в результаты до конца
теста
● Учитесь проигрывать
14. Как обычно реализуют тесты в GA
1) Самостоятельно делят аудиторию
2) Отправляют метку пользователя в GA
(event, custom dimension)
3) Создают сегменты пользователей в GA
4) Самостоятельно анализируют результаты
15. GA берет на себя большинство
математики
● Делит аудиторию в нужной пропорции
● Заботится о том, чтобы каждый
пользователь на протяжении всего теста
видел только один вариант
● Трекает группы теста
● Создает отчет и интерпретирует результаты
23. Эксперименты GA
+ Простота настройки
+ Автоматическое вычисление результатов
+ Оптимизация за счет многорукого бандита
- Недостаточная детализация отчетов
- Невозможность выгрузки сырых данных по
API
- Непрозрачная схема многорукого бандита
24. Полезные инструменты
Для работы с GA:
● GA debugger
● GA Tag assistant
Для расчета тестов:
● Калькулятор статистической значимости и
продолжительности теста
25. Источники и ссылки
1) Most winning A/B test results are illusory
2) How not to run an A/B test
3) Эксперименты с многоруким бандитом
4) Experiments at AirBnb
5) The only metric that matters