Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.

Процесс тестирования. Измерение и оценка

1 650 vues

Publié le

Доклад Александра Мешкова на конференции SQA Days-18, 27-28 ноября 2015 г., Москва
www.sqadays.com

Publié dans : Formation
  • Identifiez-vous pour voir les commentaires

Процесс тестирования. Измерение и оценка

  1. 1. Software quality assurance days 18 Международная конференция по вопросам качества ПО sqadays.com Москва. 27–28 ноября 2015 Мешков Александр Performance Lab. Москва, Россия Процесс тестирования. Измерение и Оценка.
  2. 2. Краткая информация • Мешков Александр Руководитель направления QA консалтинга Performance Lab Skype: alekslynx Email: a.Meshkov@pflb.ru 15 проектов по тестированию и консалтингу Процесс тестирования. Измерение и Оценка.
  3. 3. • Введение • Об оценке и измерении • Оценка зрелости процесса тестирования • Основные принципы оценки • Оперативная оценка процесса тестирования • Практика использования • Итоги Процесс тестирования. Измерение и Оценка. План доклада
  4. 4. Делегирование Подотчетность Задачи Мониторинг Инструкции Отчетность Процесс тестирования. Измерение и Оценка. Введение
  5. 5. Процесс тестирования. Измерение и Оценка. Оценка процесса тестирования: кому и зачем это нужно?
  6. 6. • Целесообразность • Своевременность • Соответствует ожиданиям руководителя • Точность • Соответствует назначению • Возможность сравнить с эталоном и/или прошлыми результатами Процесс тестирования. Измерение и Оценка. Требования
  7. 7. Аудит Обследование Самооценка Процесс тестирования. Измерение и Оценка. Как можно проводить оценку?
  8. 8. Руководитель отдела тестирования (управляя процессом) должен отвечать за: Результативность Целесообразность Продуктивность Соответствие Процесс тестирования. Измерение и Оценка. Что и зачем оценивать?
  9. 9. Процесс тестирования. Измерение и Оценка. Для чего применять оценку? • Обеспечение стабильности результатов (Аудит, обследование, самообследование) • Целесообразность (Обследование, самооценка) • Продуктивность (Обследование, самооценка) • Результативность (Обследование, самооценка) • Соответствие (Аудит, обследование, самообследование)
  10. 10. 1. Используется для сравнения с эталонами 2. Используется для отчетности. 3. Используется для проверки и оценки процессов на предмет полученных выгод от совершенствования. Процесс тестирования. Измерение и Оценка. Классы оценки (ISO 15504)
  11. 11. Процесс тестирования. Измерение и Оценка. Принцип оценки зрелости
  12. 12. Планируй: - Что делать? - Как делать? - Кто будет делать? - Какие ресурсы потребуются? Корректируй: - Что улучшить в дальнейшем? Делай: - Выполнение запланированных работ Контролируй: - Результативно? - Эффективно? Процесс тестирования. Измерение и Оценка. Принцип оценки зрелости
  13. 13. Процесс тестирования. Измерение и Оценка. Оценка зрелости процесса тестирования. Модели.
  14. 14. Thomas C. Staab. Using SW-TMM to Improve the Testing Process. Crosstalk The Journal of Defense Software Engineering. November 2002. Уровни Зрелости Процесс тестирования. Измерение и Оценка. Модель SW-TMM
  15. 15. http://www.tmmi.org/pdf/TMMi.Framework.pdf Где взять? Процесс тестирования. Измерение и Оценка. Модель TMMI
  16. 16. Классы Ключевые области Группы ключевых областей Процесс тестирования. Измерение и Оценка. Модель TPI
  17. 17. Контролируемый Эффективный Оптимизируемый Уровни зрелости Приоритезация ключевых областей Процесс тестирования. Измерение и Оценка. Модель TPI
  18. 18. Отличия моделей: - Шкалы (уровни) зрелости - Процессные модели и способы их применения Процесс тестирования. Измерение и Оценка. Выбор модели
  19. 19. 1. Наблюдение - Понимание, на что нужно обратить внимание - Как выполняются различные действия Процесс тестирования. Измерение и Оценка. Основные принципы методик
  20. 20. 1. Наблюдения - Подтверждение своим наблюдениям - Понимание, как правильно проверять 2. Факты Процесс тестирования. Измерение и Оценка. Основные принципы методик
  21. 21. 1. Наблюдения - Правильность организации работ - Критерии оценки 2. Факты 3. Оценка Процесс тестирования. Измерение и Оценка. Основные принципы методик
  22. 22. 1. Наблюдения - Выбор целевого состояния - Что необходимо предпринять? 2. Факты 3. Оценка 4. Рекомендации Процесс тестирования. Измерение и Оценка. Основные принципы методик
  23. 23. а) Правильная постановка задачи б) Четкое обозначение границ в) Обоснование необходимости в проведении оценки г) Аргументированность замечаний д) Практика, примеры Процесс тестирования. Измерение и Оценка. Важно
  24. 24. Контроль зрелости процесса – оперативная оценка Оценка зрелости Оперативная оценка Цель Результат Процесс тестирования. Измерение и Оценка.
  25. 25. Процесс тестирования. Измерение и Оценка. Оперативная оценка процесса тестирования • Кто заинтересован? • Что измерять? • Как оценивать результаты измерений? • Как получить общую оценку?
  26. 26. • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения. Процесс тестирования. Измерение и Оценка. Показатели
  27. 27. • Метрика – технически или процедурно измеримая величина, характеризующая состояние объекта управления. • KPI – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения. У нас есть KPI. Мы измеряем производительность нашей команды! Процесс тестирования. Измерение и Оценка. Показатели
  28. 28. Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? Процесс тестирования. Измерение и Оценка. Показатели • Разный цели метрик • Разные единицы измерения • Неидентичные метрики
  29. 29. Использование единой оценки, но как? Процесс тестирования. Измерение и Оценка. Показатели Мы знаем значения метрик процесса тестирования, но как нам получить их оценку? • Разный цели метрик • Разные единицы измерения • Неидентичные метрики
  30. 30. R= 1, 𝐾−𝑀 𝑇−𝑀 0, , 𝐾 ≥ 𝑇 100% 𝑀 ≤ 𝐾 < 𝑇 от 1% до 99% 𝐾 < 𝑀 0% R= 1, 𝐾−𝑀 𝑇−𝑀 0, , 𝐾 ≤ 𝑇 100% 𝑀 ≥ 𝐾 > 𝑇 от 1% до 99% 𝐾 > 𝑀 0% Как прийти к общей оценке? Какова эффективность процесса в целом? Как считать показатель, если один из KPI = 0? Перемножение? Процесс тестирования. Измерение и Оценка. Показатели T – целевое значение К – факт М – граничное значение
  31. 31. Вводим коэффициент допустимого значения (ДЗ) для каждого KPI. ДЗ – значение итогового показателя при условии, что определенные KPI = 0%, а прочие = 100% Важность (вес) KPI определяет значение ДЗ. Получаем итоговый показатель: ИП = В𝑖 × ОЦ𝑖 / В𝑖 В𝑖 = (1 - В 𝑚𝑎𝑥) × ОЦ𝑖+В 𝑚𝑎𝑥 , 0 ≤ ОЦ𝑖 ≤ 1 В 𝑚𝑎𝑥 = 1 − ДЗ ДЗ × 𝑁 − 1 , 0 < ДЗ < 1 Процесс тестирования. Измерение и Оценка. Показатели
  32. 32. • Цель • Метрики • Критерии • Оценка • Действия Процесс тестирования. Измерение и Оценка. Что нужно, чтобы это работало
  33. 33. Процесс тестирования. Измерение и Оценка. Комплексная оценка
  34. 34. • Учитывайте мотивацию • Дайте возможность быть самостоятельными • Контролируйте результаты • Сделайте все, что процесс сбора был прозрачен Типичные ошибки (с ними цели не достигнуть): Мы используем готовый набор метрик, зачем придумывать что то новое… Мы измеряем ради измерения… Получили статистику, показали руководству и забыли… Если мы решили собирать метрики, то все должны это делать… Зачем нам метрики, мы используем модели зрелости… Процесс тестирования. Измерение и Оценка. Практика использования
  35. 35. • При измерении и оценки нужно понимать назначение той оценки, которую Вы выполняете • Модели и инструменты оценки должны периодически проверяться на соответствие решаемым задачам в ходе процесса тестирования:  Модели оценки зрелости должны соответствовать принятым в компании стандартам и практикам  Метрики и показатели эффективности должны пересматриваться и обновляться в соответствии с целями и задачами, которые ставят перед тестированием. • Оценка – это не цель, а инструмент, который помогает:  Планировать  Управлять  Совершенствовать Процесс тестирования. Измерение и Оценка. Итоги
  36. 36. Вопросы? alekslynx a.meshkov@pflb.ru Процесс тестирования. Измерение и Оценка. Спасибо за внимание

×