Доклад Светланы Хилько на конференции SQA Days-20. 24-26 ноября 2016. Минск www.sqadays.com

1. Рецепт еды для кошек
или внутреннее
тестирование в
организации
Светлана Хилько
Groupon Inc. Palo Alto, USA
lanakhilko@gmail.com
linkedin.com/in/lanakhilko
Минск. 24-26 ноября 2016

2. Обо мне
• Около 2 лет в
Groupon Mobile QA
команде
• До этого работала в
Skype (Microsoft) и
небольшом стартапе
• Люблю
путешествовать

3. Терминология: почему «Еда для
кошек»?
Бета• -тестирование
*Бе́та-тести́рование — интенсивное использование
почти готовой версии продукта (как правило,
программного или аппаратного обеспечения) с
целью выявления максимального числа ошибок в
его работе для их последующего устранения перед
окончательным выходом (релизом) продукта на
рынок.
Dogfood (Собачья еда) = Бета тестирование
Сленговый термин

4. Catfood (Кошачья еда) = Dogfood = Бета-тестирование
Терминология: почему «Еда для кошек»?

5. 5
Получить обратную связь от пользователей до
релиза
Уменьшить количество багов на продакшн
Уменьшить количество патчей
Быть гибкими и постоянно улучшать приложение
Облегчить жизнь QA отдела
Построить организацию, где каждый сотрудник
вовлечен и знает, что его мнение важно и реально
влияет на процессы внутри организации
Цели Catfood (и бета-тестирования в целом)

6. Ингредиенты
*составная часть какого-либо сложного соединения или
смеси, присутствующая в готовом продукте в исходном
или изменённом виде

7. Ингредиенты
Платформа
Бета-
тестировщики
Дополнительные
инструменты

8. Ингредиент №1
Бета-тестировщики

9. Бета-тестировщики
Основа
• Возможность
использования продукта
• Доверие и прозрачность
• Заинтересованность
• Расписание/цикличность
Коммуникация
• Блог
• Email рассылка
• Быстрый ответ на
КАЖДЫЙ отзыв
• Отчет о результатах
Мотивация
• Бонусы/скидки на
покупки
• Призы, подарки
• «Доска почета»
• Публичная благодарность

10. Ингредиент №2
Подходящая платформа

11. Платформа: какой она должна быть?
Подходит вашему
продукту
• Веб
• Мобильное
Легко
интегрировать
• С юридической
стороны
• С технической
стороны
Совместима с
различными
инструментами
• С имеющимися
инструментами
• С планируемыми в
будущем
• Jenkins/CI
• HipChat/Slack
• Jira
• Splunk и т.д.

12. Почему мы выбрали testfairy.com
Специализация
• Мобильное
тестирование
• Все платформы
Запись видео
• Действия
пользователя в
реальном времени
Легкая в
использовании
• Бета-тестером
• Аналитиком
Логи собираются
в реальном
времени
Есть метрики
• Производительность
• Память
• Расход батареи
• API данные
Предоставляют
hit-maps
•Наиболее используемый
функционал
Легкая/не нужна
вообще
интеграция
Молодая команда
6 человек
2 года на рынке
БЕСПЛАТНО
•Для небольших компаний
•Есть платная версия с
расширенным
функционалом

13. Testfairy демонстрация
 Как установить
 Как обновить
 Как отправить
отзыв

14. Testfairy предоставляет
Общие данные
• Текущая и предыдущие
версии
• Количество пользователей
• Регионы
• Количество тест сессий
• Количество отзывов
• Количество крашей
• Устройства
• Активны в настоящий
момент
Данные по сессии
Email• адрес пользователя
Видеозапись• сессии
Лог файлы•
Краш репорты•
Линия времени с•
указанием активного
компонента приложения
Память•
Производительность•
Скриншоты•

15. Testfairy демонстрация
 Общие данные
 Данные по
каждой сессии

16. Ингредиент №3
Дополнительные инструменты

17. JIRA
В течение суток с момента
получения отзыва:
 Скрипт (или вручную)
создает Jira тикет на
каждый отзыв
 Команда поддержки в
первые часы
просматривает каждый
тикет и присваивает
компонент
 QA просматривает свой
компонент и принимает
решение по тикету

18. Crashlytics
 Анализ отправленных отзывов о крашах
 Анализ состоянии билда в целом

19. Splunk
Информация о
серверных
ошибках
Приоритизация
багов

20. Вопросы
Благодарю за внимание!
Светлана Хилько
lanakhilko@gmail.com
www.linkedin.com/in/lanakhilko