А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.
QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи
1. Тема доклада
Тема доклада
Тема доклада
KYIV 2019
Артем Григоренко, Apriorit
Тестирование приложений без GUI.
Или использование ELK стек для анализа
работы приложения через логи.
QA CONFERENCE #1 IN UKRAINE
2. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О себе
QA CONFERENCE #1 IN UKRAINE KYIV 2019
QA Lead, Apriorit
• 7 лет в тестировании
• 5 лет в управлении
тестирования на проектах
@GrygorenkoArtem
@artem.grygorenko
3. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О чем не будем говорить
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Как настроить ELK
• Обзор доступных функций ELK
• Что лучше ELK vs TICK vs SPLUNK
4. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Дано
QA CONFERENCE #1 IN UKRAINE KYIV 2019
В GUI багов нет, но кол-во пользовательских
дефектов все растет.
6. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Идея
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Давайте тестировать
приложение без GUI
7. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Цели
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Анализировать логи во время сессий по
тестированию
• Находить баги до того, как они уйдут заказчику или
в прод
8. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Что рассматривали
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Отдельные десктопные приложения
• TICK stack
• ELK stack
11. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
LOGSTASH - DATA AGGREGATION & PROCESSING
ELASTICSEARCH - INDEXING & STORAGE
KIBANA - ANALYSIS & VISUALIZATION
12. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Возможности ELK которые нам нужны
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Следить за ходом выполнения тестирования
• Работать в рамках нескольких сессий
• Использование одного инструмента для всех членов команды
• Фильтрация и быстрый поиск необходимой информации
• Возможность собирать всю информацию по конкретным ревизиям
16. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Подходы к тестированию
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Самостоятельные сессии
• Парные сессии
• Общие сессии со всей командой
17. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Самостоятельные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на ранних стадиях разработки ПО
• Выполняется отдельными членами команды
тестирования
• Позволяет находить наиболее поверхностные
проблемы
18. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Парные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на более поздних стадиях
• Выполняется двумя и более членами команды тестирования
• Позволяет находить не очевидные проблемы
• Проблемы логического характера
• Хорошо помогает в обучении
19. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Общие сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• На завершающих этапах (см. alpha testing)
• Выполняется всеми членами команды
• Позволяет находить конфигурационные
проблемы
• Позволяет привлечь всю команду к
тестированию продукта
20. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
С чем столкнулись
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Лог не понятный тому, кто его смотрит
• Нет информации про окружение
• Не отображено состояние ПО
• Невнятные сообщения об ошибках
21. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Чеклист для проверки
QA CONFERENCE #1 IN UKRAINE KYIV 2019
22. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Немного внутряков
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Информация про окружение:
• Software:
• Версия приложения.
• OS.
• Версия или наличие необходимых третье сторонних
компонент.
• Наличие нужных прав доступа.
• Hardware:
• Данные материнской платы, памяти и тд.
• Данные GPU.
23. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Результаты
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Уменьшение кол-ва пользовательских дефектов на 30%
• Увеличилась скорость локализации проблем в 2 раза
• Нашли новые проблемы, которые не были обнаружены
ранее.
24. Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Выводы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Необходимо чаще заглядывать под капот
• К тому что под капотом, должны предъявляться
требования
• Все что под капотом нужно тестировать
• Все что под капотом нужно улучшать
• Все что под капотом нужно использовать
• Не бояться экспериментировать