Presentation from online conference ConfeT&QA (September 2012) about testing process in Agile environment with detailed analysis why it takes so long.

1. Почему тестирование занимает
так много времени?
Николай Алименков
http://xpinjection.com
@xpinjection

3. Поле боя: «Обычный» Scrum

4. В чем собственно проблема?
Итерация N+1:
Протестировано
только 40%
Итерация N: Все
протестировано,
заказчик счастлив

5. Тестировщики лентяи и
бездельники?!?

6. Что вас ждет сегодня?
Несколько предположений
о работе тестировщика
2 дня из жизни тестировщика
Анализ, выводы и
философское бухтелово

7. Предположение #1
СТОП! А почему так мало???
Берем
модуль на
тестирование
Непрерывная
сессия 90
минут
Перерыв
3x
Митинги Почта
Перекуры
Чаты
Перерывы
Еда

8. Предположение #2
Оооо! Это слишком
упрощенный сценарий!
2
минуты
45
тестов
90
минут
Цель тестирования – как
можно большее покрытие

9. Предположение #3
Нашли дефект – надо о
подготовить о нем отчет
+ + = 8
минут
Снова упрощение! Это
может занять целый день!

10. День первый. Вторник. 

11. Начнем с модуля А
Крутая XP команда
Модуль Время на отчет о дефекте
(тесты, которые нашли
дефекты)
Время на тест дизайн и
выполнение (тесты, которые
не находят дефекты)
Всего
тестов
А 0 минут (нет дефектов) 90 минут (45 тестов) 45

12. Переходим к модулю Б
Такая же крутая XP команда,
но все мы люди… 
Модуль Время на отчет о дефекте
(тесты, которые нашли
дефекты)
Время на тест дизайн и
выполнение (тесты, которые
не находят дефекты)
Всего
тестов
А 0 минут (нет дефектов) 90 минут (45 тестов) 45
Б 10 минут (1 дефект) 80 минут (40 тестов) 41

13. На закуску модуль В
Это наше слабое звено 
Модуль Время на отчет о дефекте
(тесты, которые нашли
дефекты)
Время на тест дизайн и
выполнение (тесты, которые
не находят дефекты)
Всего
тестов
А 0 минут (нет дефектов) 90 минут (45 тестов) 45
Б 10 минут (1 дефект) 80 минут (40 тестов) 41
В 80 минут (8 дефектов) 10 минут (5 тестов) 13

14. Что мы видим?
Модуль А отлично
протестирован по покрытию
Продолжать ли
тестирование для
модуля В?
Модуль В отстает
уже в 3 раза
Модуль В отлично
протестирован по
дефектам

15. Давайте сделаем выводы…
#1. Дефекты в продукте
могут уменьшить
покрытие или замедлить
тестирование
#2. Тестирование нельзя
измерять ни покрытием
ни количеством
найденных дефектов

16. Начинается второй день…

17. В модуле А все
без изменений
Модуль Время на
проверку
исправлений
Время на отчет о
дефекте (тесты,
которые нашли
дефекты)
Время на тест
дизайн и
выполнение
(тесты, которые не
находят дефекты)
Новых
тестов
Всего
тестов
за 2
дня
А 0 минут (не
было дефектов)
0 минут (нет
дефектов)
90 минут (45
тестов)
45 90

18. Команда
модуля Б
исправилась
Модуль Время на
проверку
исправлений
Время на отчет о
дефекте (тесты,
которые нашли
дефекты)
Время на тест
дизайн и
выполнение
(тесты, которые не
находят дефекты)
Новых
тестов
Всего
тестов
за 2
дня
А 0 минут (не
было дефектов)
0 минут (нет
дефектов)
90 минут (45
тестов)
45 90
Б 6 минут (был 1
дефект)
10 минут (1
дефект)
74 минуты (37
тестов)
38 79

19. Команде модуля В
пришлось
попотеть…
Модуль Время на
проверку
исправлений
Время на отчет о
дефекте (тесты,
которые нашли
дефекты)
Время на тест
дизайн и
выполнение
(тесты, которые не
находят дефекты)
Новых
тестов
Всего
тестов
за 2
дня
А 0 минут (не
было дефектов)
0 минут (нет
дефектов)
90 минут (45
тестов)
45 90
Б 6 минут (был 1
дефект)
10 минут (1
дефект)
74 минуты (37
тестов)
38 79
В 48 минут (было
8 дефектов)
40 минут (4
дефекта)
2 минуты (1 тест) 5 18

20. Что мы видим?
Даже модуль Б уже
отстает на 10%
Модуль В за 2 дня
отстал в 5 раз
Это совершенно
случайный и
непредсказуемый
процесс

21. Давайте сделаем выводы…
#1. Нахождение дефектов сегодня требует
проверки завтра, что еще уменьшает
покрытие или замедляет тестирование
#2. Качество продукта
оказывает огромное
влияние на скорость
тестирования

22. НАМ ВСЕМ Ж…?!?
ЧТО ЖЕ ДЕЛАТЬ?

23. Выход есть!
Инженерные практики
Короткий цикл обратной
связи
Отличие тестирования от
проверок и автоматизация

24. И не затягивайте с
тестированием!

25. @xpinjection
http://xpinjection.com
mikalai.alimenkou@xpinjection.com