Доклад Григория Сенина на SQA Days-15. 18-19 апреля, 2014, Москва. www.sqadays.com

1. Waterfall revisited: практические
метрики тестирования
Григорий Сенин. Anywayanyday.com, Luxoft Training

2. «Что у нас с качеством?»

3. Closed
P3 =
All Found
Проще всего -- так
• График
незакрытых
дефектов
P3
Q = … P3

4. 1. …
2. …
3. дефекты исправлены;
исправления дефектов
подтверждены
Критерий качества #3

5. Прогнали не все тесты…
P3
P2

6. Критерий качества #2
1. …
2. Прогнать тесты и найти дефекты
• test run
3. Подтвердить исправления дефектов

7. Написали не все тесты…
P3
P2
P1

8. Критерий качества #1
1. Создать тесты на базе требований
• test design
2. Прогнать тесты и найти дефекты
3. Подтвердить исправления дефектов

9. Зависимости и ограничения
поправка на:
Проектирование
тестов, P1
Выполнение
тестов, P2
Верификация
дефектов, P3
--
Closed
----------- = 25%
Found
Невыполненные
тесты
Executed
------------- = 80%
Designed
20% = 25% * 80%
Ненаписанные
тесты
Designed
------------- = 50%
Planned 40% = 80% * 50% 10% = 25%*80%*50%

10. «Старшинство» процессов
P3
P2
P1

11. Достижение цели тестирования
P3
P2
P1

13. • Тесты пишутся, написаны не все
• Тесты частично прогоняются
• Найденные дефекты не исправляются
Вариации:
Разработка в разгаре

14. • Тесты разработаны полностью
• Почти все тесты выполнены
• Большая часть найденных дефектов
исправлена и закрыта
Вариации:
Разработка на финише

15. Вариации:
Шлифовка подсистем
• Тесты разработаны полностью
• Протестирована половина функционала
• Все найденные дефекты исправлены и
закрыты

16. Вариации: Разработчики
задерживают тестирование
• Требования определены, тесты написаны
• Разработка отстаѐт => тесты не прогоняются
• Дефекты не выявляются

17. Вариации: Требования
задерживают разработку
• Требования к части продукта неизвестны (не
утверждены, не изучены)
• Оставшаяся часть продукта полностью
протестирована, все дефекты закрыты

18. Последствия изменений

19. Показатели в динамике
Успеем ли к
сроку?

20. Пример с реальными данными

21. Взгляд через «диаграмму
сгорания»

22. Проектирование и прогон
тестов: P1, P2

23. Прогноз скорости исправлений

24. Индикация отставания

25. Зазор качества

26. Откуда первичные данные?

27. P3: данные из баг-трекера
• Статус дефектов

28. P2: данные из таблицы Excel
• завершѐнность
прогона тестов

29. P2: данные из инструментария
• завершѐнность
прогона тестов

30. P1: данные из Excel
• Готовность тестов

31. P1: ‘осталось’ против ‘сделано’
• Трудозатраты на тест-
проектирование

32. P1: данные из статуса задачи
• завершѐнность тест-проектирования
Статус P1 =
Open 10%
In Progress 50%
Resolved 90%
Closed 100%

33. P1: данные из статусов задач
• завершѐнность тест-проектирования

34. P1: данные покрытия
завершѐнность тест-проектирования
не есть
полнота тестового покрытия ?

35. P1: данные покрытия
T1 T2 T3 T4 T5 T6 T7 Да/нет
R1     +
R2    +
R3     +
R4   +
R5 -

36. Если есть инструментарий…

37. Ещѐ «стакан»: тест-идеи
P2
Тестов
разработано
P1
Тестовзадумано-
идеи
Тестов
выполнено
P0

38. Что у нас с качеством?
− Пока 18%.
Ждали 25% ...

39. GregSenin@Gmail.com
Вопросы?