1. [RE:]ОРГАНИЗАЦИЯ
ПРОЦЕССА
ТЕСТИРОВАНИЯ
Наталья Руколь Москва, 2014 ritconf.ru

2. О докладчике
• Тестер 10-го уровня
• ТМ 9-го уровня
• РМ 5-го уровня
• Тренер и
консультант 5-го
уровня
• Клёвая!
http://natalyarukol.ru
http://quality-lab.ru
http://software-testing.ru
natalya@quality-lab.ru

3. О докладе
• Занудный
• Структуризатор
• Ничего невозможного!
Бонус: доп.
материалы
по теме!

4. Организовали и забыли?
• Эволюционный процесс
• Итеративный процесс

5. Когда надо проводить?
• Новый человек на
проекте
• «Мы пропустили
багу! А!Что
делать?»
• От скуки, лишнее
время на проекте
• Постоянно

6. Кто проводит?
• Тест-менеджер
• РМ, технический
директор
• Команда
• Самый
инициативный

7. Значит, это –ТЫ!
Пришёл сюда?

8. НО
КАК?

9. Давайте
внедрим
автотесты!
Нужно
проверять
быстрее!
Больше
багов!
Сначала
расширить
команду!

10. НЕЛЬЗЯ ПРОСТО ВЗЯТЬ
И УЛУЧШИТЬТЕСТИРОВАНИЕ

11. Сначала –
думать!

12. АНАЛИЗ

13. Анализ «Что улучшать»
• По привычным
решениям
• Анкетирование и
опросы
• Сбор метрик

14. Привычные решения
• Давайте
автоматизировать!
• Давайте писать
юнит-тесты!
• Давайте установим
TMS!
• …
Анализ «Что улучшать»

15. Решения: сначала
посчитай!
• Точно нужно?
• Точно выгодно?
• Точно поможет?
• Как потом оценим?
Анализ «Что улучшать»
Сэкономили
Потратили
100% Возврат
инвестиций

16. Анкетирование
и опросы

17. Анкеты
• Ускоряют опрос
• Дают время
подумать
• Анонимно = больше
интересного
• Можно добавить
оценок и посчитать
• Приоритеты
направлениям и
проблемам0
2
4
6
Анализ анкет
Dev Test PM
Анализ «Что улучшать»

18. Опросы
• Тестирование –
сервис!
• Разработчики,
аналитики, РМ-ы
– заказчики!
• Что они хотят?
Анализ «Что улучшать»

19. Опросы.Что важно?
• Слушать!
• Открытость, нет
проекциям
• Готовность
• Конкретизация
Анализ «Что улучшать»

20. — Скажите, пожалуйста, куда мне отсюда идти?
— А куда ты хочешь попасть? — ответил Кот.
— Мне все равно… — сказала Алиса.
—Тогда все равно, куда и идти, — заметил Кот.
— … только бы попасть куда-нибудь, — пояснила Алиса.
— Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.

21. Метрики
• Посчитали? ОК!
• Насколько мы это
хотим улучшить?
• На сколько мы это
хотим улучшить?
• На сколько мы это
можем улучшить?
Анализ «Что улучшать»

22. Метрики.Что считать?
Анализ «Что улучшать»

23. Метрики.Что считать?
• Количество
багов на CLOK
• Количество
тестировщиков
на разработчика
• Количество
тестировщиков
на 1 кв. м. офиса
Анализ «Что улучшать»

24. Метрики. Стандарты?
Тест не пройден из-за
несоответствия внутренним
стандартам шумоизоляции.
Отправлено на доработку.
Тест пройден, качество
шумоизоляции
соответствует стандарту
ГОСТ Р 52231-2004
Анализ «Что улучшать»

25. Метрики.Что нужно НАМ?
• Текущие
приоритеты
проекта
• Выявленные
проблемы
тестирования
• Пожелания
участников
Анализ «Что улучшать»

26. Метрики результата
• Обращения
пользователей
• Покупки продукта
• Конверсия на сайте
• Hotfix’ы
• Затраты техподдержки
• Сроки выпуска, затраты
Анализ «Что улучшать»

27. Парня в горы тяни - рискни!
Не бросай одного его,
Пусть он в связке в одной с тобой –
Там поймешь, кто такой.

28. Ок, узнали!
Софт – отстой!
Ура, метрики собраны!

29. Ок, узнали!
Софт – отстой!
Ура, метрики собраны!
НО ПОЗДНО
Поезд ушёл.

30. Метрики процесса
• Тестовое покрытие
• Скорость тестирования
• Предоставляемая
информация
•Отчёты
•Ошибки
•Статистика
•И т.д.
Анализ «Что улучшать»

31. Тестовое покрытие
• Требований
• Фич
• Кода
• Окружений
• Пользовательских
сценариев
Мы проверили
вооот столько!
Анализ «Что улучшать»

32. Скорость тестирования
• Одной сборки
• Полного цикла
(FTP)
• Time to BTS
•Заведение критикалов
•Оценка валидности
сборки
• Точность
планирования
Анализ «Что улучшать»

33. Артефакты на выходе
• Ошибки
•Понятность
•Локализация
• Тесты
• Отчёты
• Статистика
Анализ «Что улучшать»

34. ИТОГО
• Пообщались
• Выявили проблемы
• Нашли способы
померить
• Можно идти
отдыхать?
Анализ «Что улучшать»

36. Это только
начало!
• Фиксируем цели
• На видном месте
• Обсуждаем
совместно
ЗА РАБОТУ!

37. ОК, с тестированием у нас полная …
Что дальше?

38. Например,
• Пропуск 8% ошибок
• 40% КрО после 2
недель
• 3 недели FTP при 2-
недельных релизах
• Ошибки «непонятные»,
оценка 2,2

39. Пропуск ошибок
Что делать?

40. Пропуск ошибок
Анализ причин
пропуска
•Требования
•Тесты
•Не хватило времени
•Человеческий
фактор

41. Решения под причины
42% Не хватило времени на
финальное тестирование
• Внедрение автоматизация
• Приоритизированные
приёмочные тесты
35% потому что не поняли
требования
• Согласование требований
• Совместное обсуждение
• Feature-teams
18% потому что не
догадались это проверить
• Согласование тестов
• Обсуждение «как
тестировать»
• Повышение квалификации
тестировщиков
5% человеческий фактор • Уволить
• Наказать

42. Долго тестируем
Что делать?

43. Долго тестируем
Детализируем
«долго»:
• Полный цикл 3
недели
• Критичные ошибки
заносятся поздно
• Много времени на
документирование
• Много избыточных
тестов

44. Решения под причины
Полный цикл – 3
недели
• Внедрение автоматизации
• Расширение ресурсов
• Согласование «что выкинуть» из тестов
Критичные баги
заводятся поздно
• Новый анализ «почему?» – рекурсия
• Приоритеты
• Обсуждение рисков перед
тестированием
• Совместные демо и пре-демо
Избыточность
тестов
• Что можем выкинуть? Анализ рисков!
• Аутсорс мелочей, если выкинуть нельзя

45. Непонятные ошибки
Что делать?
ЧО?

46. Непонятные ошибки
• Ввод оценок для
измерений
• Уточнение «чего не
хватает?»
• Внутреннее
обучение
• Регламент,
шаблоны

47. Строим процесс
• Что не так?
• Измеряем
• Ставим цели
• Анализируем
причины
• Решаем «как
решать?»

48. Важно при [ре]организации
• Цели всем видны и
понятны
• У задач есть
ответственные
• Результаты,
метрики – наглядно
собираются
• Промежуточные
оценки и фидбеки

49. ИТОГО-2:
• Сделал анализ и
решил, что делать?
• Планы, задачи,
цели – всё есть?
• Промежуточные
результаты
достигнуты?
• Всё хорошо?

51. Непрерывность
изменений
Идеал
недостижим!
Это ужасно,
и грустно, и
никогда
ничего не
будет
хорошо!!!

52. Непрерывность
изменений
Идеал недостижим!
Это значит, что перед
нами всегда будут
стоять новые,
интересные,
развивающие задачи!

53. Вопросы?
http://natalyarukol.ru/ritconf/
mailto: natalya@quality-lab.ru
Skype: natalya.rukol