Доклад Андрея Коновалова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия www.sqadays.com

1. Как у нас организован
процесс тестирования
обновлений
| Москва, 2017
Андрей Коновалов
Старший инженер отдела тестирования

2. О продукте InfoWatch Traffic Monitor

3. Окружения. Выпуски. Способы установки

4. Как тестировали раньше?
Метод:
• Исследовательское
тестирование
Особенности:
• Нет требований
• Нет тестов
• Нехватка времени
Результаты:
• Дефекты от заказчиков

5. Проблемы при тестировании обновлений
Проблемы:
• Нет требований
• Нет тестовой документации
• Не тестируем сохранение
данных системой
• Непоказательная отчетность

6. Решения
Проблема Решение
Нет требований Совместно с аналитиками и
разработчиками определяем
изменяющиеся области продукта между
обновляемой и новой версиями.

7. Решения
Проблема Решение
Нет требований Совместно с аналитиками и
разработчиками определяем
изменяющиеся области продукта между
обновляемой и новой версиями.
Нет тестовой документации Включение в план написание тестовой
документации

8. Решения
Проблема Решение
Нет требований Совместно с аналитиками и
разработчиками определяем
изменяющиеся области продукта между
обновляемой и новой версиями.
Нет тестовой документации Включение в план написание тестовой
документации
Не тестируем сохранение данных
системой
Продумываем тестирование с учетом
проверок сохранения данных

9. Решения
Проблема Решение
Нет требований Совместно с аналитиками и
разработчиками определяем
изменяющиеся области продукта между
обновляемой и новой версиями.
Нет тестовой документации Включение в план написание тестовой
документации
Не тестируем сохранение данных
системой
Продумываем тестирование с учетом
проверок сохранения данных
Непоказательная отчетность Решение проблемы формируется из
трех предыдущих пунктов

10. Как менялся подход
Подготовка
• Анализ требований
• Подготовка тестовой документации
• Документы с перечнем объектов и
тест-кейсы
• Создание и наполнение стендов
Выполнение тестирования
• Обновление стенда
• Выполнение тест-кейсов

11. Плюсы и минусы изменений
Плюсы Минусы
Процесс стал более прозрачным Увеличение времени на тестирование
на 35% за счет:
• анализа изменений;
• создания, наполнения, поддержания
стендов для обновления;
• актуализации и создания новых тест-
комплектов;
• прохождения тест-кейсов.
Наглядная отчетность
Большее покрытие, чем при
исследовательском тестировании

12. Результаты изменений
1. Мы стали находить на 45%
больше дефектов обновления до
выпуска продукта, чем раньше.
2. Более качественный продукт =
довольные клиенты 

13. Планы на будущее
• Сокращение количества тестов
для тестирования обновлений на
конкретных окружениях
• Автоматизация тестов
на обновление внутри версии и
между версиями

14. Спасибо за внимание!
Ваши вопросы?
Andrey.Konovalov@infowatch.com
+7 (925) 758-1702
Андрей
Коновалов
Москва, 2017