More Related Content
Similar to Оценка проектов тестирования (20)
More from Rina Uzhevko (20)
Оценка проектов тестирования
- 2. 2
©LuxoftTraining2012
1969-1977 – МГУ, ВМК, к.ф.-м.н.
1977-1990 – ВЦ АН СССР
1996-2005 – IBS, Luxoft,
руководитель отдела подготовки
документации, отдела тестирования
2006-2008 – Auriga, CDO
2009-2014 –
менеджер/директор по качеству, начальник отдела тестирования
(Ritzio Entertainment Group, AnywayAnyday, Luxoft)
C 2011 – Luxoft, тренер
О себе
GregSenin@Gmail.com
- 3. 3
©LuxoftTraining2012
1 Зачем оценивать
2 Просто и грубо – когда это работает
3 Оценка на базе модели процесса
4 Что влияет на оценку, как её защитить
5 Некоторые смежные вопросы (для обсуждения)
Содержание
- 6. 6
©LuxoftTraining2012
Структура затрат на тестирование
ФОТ
«Инженерная» часть -- собственно тестировщики
Управление -- тест-менеджмент
Бонусы/премиальный фонд
Outsourcing -- субподряд
Закупки
Software – инструментарий (лицензии)
Hardware – тест-лаб (аренда и т.д.)
Другое
presale, командировки, найм, обучение, …
- 7. 7
©LuxoftTraining2012
Самые простые оценки
На 5 разработчиков –
2 тестировщика
или 3
Бюджет тестирования =
15% бюджета разработки
или 40%
Трудозатраты на проект в целом = 800 чел-дней
Доля трудозатрат на тестирование = 18% (статистика)
Суммарные трудозатраты (все работы по тестированию):
800*0,18=144 чел-дня
- 8. 8
©LuxoftTraining2012
Проекты похожи
Этапы/фазы, относительная длительность
Выполняются одинаково
«процесс»
персонал
Есть статистика
Cбор и анализ результатов
Сохранение истории проектов
Статистика иногда говорит о неустойчивости процесса!
Есть уверенность в базовой оценке
Почему нужно пять разработчиков? А не 8?
Когда работает?
- 9. 9
©LuxoftTraining2012
Оценка на основе модели
Какой работой и сколько времени будут заняты
участники проекта?
Структурная декомпозиция работ по тестированию
Анализ
Подготовка
Выполнение
Оценка результатов
Объём работы каждого вида
Производительность
Тест-дизайнер
Тестер
Как это
узнать?
- 16. 17
©LuxoftTraining2012
О «коэффициентах»
Соотношение требований и тест-сценариев
1 требование = 3,5 теста (Т.Аткинс)
1 требование = 4,5 тест-кейса (Кардосо)
1 бизнес-сценарий = 5 тест-кейсов; 1 бизнес-требование = 8 б.-сц. = 40 тест-
кейсов (Гупта)
Производительность при тест-проектировании
7 тестов/час (Т.Аткинс)
14,5 тест-кейсов/день (Кардосо)
20 тест-кейсов/день (Гупта)
Производительность прогона тестов
12 тестов/час (Т.Аткинс)
10 тест-кейсов/день (Кардосо)
30 тест-кейсов/день (Гупта)
Убойность
0,775 дефекта/тест-кейс (Кардосо)
0, 505 дефекта/тест-кейс (Кейперс-Джонс)
Производительность верификации
25 дефектов/день (Кардосо)
- 17. 18
©LuxoftTraining2012
Чем объясняется разница коэффициентов
1. Разным объёмом понятий (терминов)
– Требование <–> СИС* <–> бизнес-сценарий
– Тест <-> тестовый сценарий <–> test case
Точно определяйте измеряемые объекты
2. Спецификой организации
– Единого рецепта нет
Собирайте исторические данные
Определяйте «коэффициенты»
своих процессов
* СИС ~ use case
- 19. 20
©LuxoftTraining2012
Оценка по одному коэффициенту
Требования написаны в виде
функциональных сценариев (use cases)
Из истории проектов известно:
для тестирования одного UC требуется 20
тестеро-часов.
1.Считаем число (приведённых) UCs
2.Умножаем на 20, получаем трудозатраты на
тестирование
- 21. 22
©LuxoftTraining2012
Оценка затрат на специальные виды
тестирования
Особые виды тестирования
– Автоматизированное функциональное тестирование
– Тестирование производительности/нагрузочное
Своеобразные подпроекты проекта тестирования
– Трудно или невозможно вычислить эти затраты как % от
общих трудозатрат на тестирование
- 22. 23
©LuxoftTraining2012
Затраты на автоматизацию тестов.
Коэффициенты
Проектирование
= 7 т.сц (в день )
запись скриптов
= 3 (ручная запись)
= 6 (автоматизированная запись)
подготовка тестовых данных
= 4 скрипта
объединение в автоматизир. сценарии
= 3 автом. сц.
отладка скриптов и сценариев (прогон +исправления)
= 2-4 скрипта;
= 2-4 автом.сц.
запуск
= 12 автом. сц. (в день)
Производительность в час
- 23. 24
©LuxoftTraining2012
Параметры:
модель нагрузки
Производительность по видам работ
Число раундов н.т., напр., 5
Число прогонов каждого скрипта (считая отладочные)
Затраты на нагрузочное тестирование
Модель процесса:
Анализ нагрузочных требований, разработка модели нагрузки
Разработка нагрузочных скриптов
Подготовка тестового стенда, доп оборуд, спец ПО
Прогон скриптов для моделирования нагрузки
- 24. 25
©LuxoftTraining2012
«Белые пятна» и факторы оценки
Доступны ли требования?
Ожидания стейкхолдеров? Давление на цифры
Методология разработки?
Известны ли бизнес-критерии успеха проекта?
Кто принимает решение о выпуске?
Вероятность изменений в проекте?
Опыт и квалификация членов группы
тестирования?
Готовность среды и средств тестирования?
Нужны закупки?
…
- 25. 26
©LuxoftTraining2012
Допущения
– условия, без которых оценка
недействительна
– напр., не более двух раундов тестирования
Поправки на риск
–в оценку вносится поправка,
учитывающая эффект нежелательного
события
– напр., буфер в 15% на изменения в
требованиях
(указываются в ТКП)
Как «спасти» оценку
- 27. 28
©LuxoftTraining2012
Оценка и качество продукта
«Нам такое высокое качество не нужно!» (за эти деньги)
Когда завершать тестирование
Что важно: Много дефектов найдено или «мало не найдено»?
Оценка и качество тестирования
«Если умеючи, то дольше…». Убойность тестов
DRE
Статистическая устойчивость процесса достижима?
Тестирование и рецензирование
Может ли хорошее рецензирование «урезать» оценку?
Тест-менеджер или менеджер качества
Роль рисков. Продуктовые и проектные риски
Правильно ли потрачен бюджет тестирования
Оценка и смежные вопросы