Доклад Анастасии Шабалиной на конференции SQA Days-17, 29-30 мая 2015 г., Минск www.sqadays.com

1. Software quality assurance days
17 Международная конференция
по вопросам качества ПО
sqadays.com
Минск. 29–30 мая 2015
Шабалина Анастасия
Performance Lab. Москва, Россия
Какой разработчик лучше?
Или как сравнить качество различных
систем?
1

2. Какой разработчик лучше?
Или как сравнить качество различных систем?
Участвую в проектах по
обеспечению качества для
Департамента Информационных Технологий
города Москва.
Приветствие
Анастасия Шабалина
2
Инженер по тестированию
в компании «Перфоманс лаб».

3. Какой разработчик лучше?
Или как сравнить качество различных систем?
Предоставление услуг по обеспечению качества
информационных систем.
Среди ключевых клиентов – государственные
организации, развивающих работу электронного
правительства РФ.
Приветствие
3

4. Какой разработчик лучше?
Или как сравнить качество различных систем?
Государственные IT компании
Специфика работы
Ключевой фактор –
стоимость услуг
подрядчика
Ограничения, связанные с
законодательством РФ
4

5. Какой разработчик лучше?
Или как сравнить качество различных систем?
Государственные IT компании
Специфика работы
Как эффективно контролировать
работу многочисленных
поставщиков?
5

6. Какой разработчик лучше?
Или как сравнить качество различных систем?
Постановка задачи
Сравнение качества автоматизированных систем
 разработанных различными подрядчиками
 с применением различных технологий
 имеющих различную биснес-логику
 находящихся на разных этапах
ЖЦПО
 различный объем
6

7. Какой разработчик лучше?
Или как сравнить качество различных систем?
Обзор существующих методов оценки
качества ПО
Метрики продукта – размер, сложность, особенности
конструкции, производительность, качество кода
Stephen H. Kan, Metrics and Models in Software Quality Engineering,
Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2002
7

8. Какой разработчик лучше?
Или как сравнить качество различных систем?
Обзор существующих методов оценки
качества ПО
Метрики продукта – размер, сложность, особенности
конструкции, производительность, качество кода
Метрики процесса – эффективность деффектинга,
паттерн тестирования, среднее время устранения
дефектов
Stephen H. Kan, Metrics and Models in Software Quality Engineering,
Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2002
8

9. Какой разработчик лучше?
Или как сравнить качество различных систем?
Обзор существующих методов оценки
качества ПО
Метрики продукта – размер, сложность, особенности
конструкции, производительность, качество кода
Метрики процесса – эффективность деффектинга,
паттерн тестирования, среднее время устранения
дефектов
Метрики проекта – число разработчиков, распределение
сотрудников в процессе жизненного цикла проекта, цена,
временные рамки, продуктивность
Stephen H. Kan, Metrics and Models in Software Quality Engineering,
Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2002
9

10. Какой разработчик лучше?
Или как сравнить качество различных систем?
Требования к критерию сравнения
Универсальность – вычисляется из характеристик,
присущих любой автоматизированной системе
10

11. Какой разработчик лучше?
Или как сравнить качество различных систем?
Требования к критерию сравнения
Универсальность – вычисляется из характеристик,
присущих любой автоматизированной системе
Чувствительность – способен отразить наибольшее число
ошибок допущенных на всех стадиях разработки системы
11

12. Какой разработчик лучше?
Или как сравнить качество различных систем?
Требования к критерию сравнения
Универсальность – вычисляется из характеристик,
присущих любой автоматизированной системе
Чувствительность – способен отразить наибольшее число
ошибок допущенных на всех стадиях разработки системы
Доступность – вычисляется
посредством анализа результатов
тестирования
12

13. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Формула
Kср = 𝛥𝐷𝑛𝑒𝑤 + 𝐷
𝜟𝑫𝒏𝒆𝒘 − число новых дефектов, заведенных за
определенный период (месяц)
𝑫 − число заведенных и неисправленных дефектов
в системе, измеряется с определенной
периодичностью (месяц)
13

14. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Формула
𝑽тм − объем тестовой модели
(число тест-кейсов), величина, соответствующая
числу функциональных блоков в коде системы
Kср =
𝛥𝐷𝑛𝑒𝑤 + 𝐷
𝑉тм
14

15. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Формула
𝛥 𝑽тм𝑵𝒆𝒘
𝑽тм
− Удельный объем прироста нового
функционала системы, при нормировании критерия
на параметр происходит приведение формулы к
упрощенному виду
Kср =
𝛥𝐷𝑛𝑒𝑤 + 𝐷
𝛥𝑉тм𝑁𝑒𝑤
15

16. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Формула
𝑇1, 𝑇2, . . 𝑇𝑛 − обозначение различных типов
дефектов
𝑚1, 𝑚2, . . 𝑚𝑛 − весовые коэффициенты для
нормирования числа дефектов, в зависимости от их
уровня критичности, числа в диапазоне от 0 до 1
Kср=
𝛥𝐷𝑛𝑒𝑤𝑇1+𝐷𝑇1 ∗𝑚1+ 𝛥𝐷𝑛𝑒𝑤𝑇2+𝐷𝑇2 ∗𝑚2+..+ 𝛥𝐷𝑛𝑒𝑤𝑇𝑛 +𝐷𝑇𝑛 ∗𝑚𝑛
𝛥𝑉тм𝑁𝑒𝑤
16

17. Какой разработчик лучше?
Или как сравнить качество различных систем?
Примеры. Сравнение качества двух систем
17

18. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Медианное значение
𝑀𝑒 – медианное значение полученное по всей выборке
значений критерия для каждой АС
Kср = 𝑀𝑒( 𝑚=1
𝑚=𝑛 𝛥𝐷𝑛𝑒𝑤+ 𝑚=1
𝑚=𝑛 𝐷
𝛥𝑉тм𝑁𝑒𝑤
)
18

19. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Показатель динамики
Рассчитывается на основе значения наклона тренда линейной
регрессии распределения значений критерия от времени
• Отрицательный наклон –
качество улучшается
• Положительный наклон –
качество ухудшается
• Нулевое значение –
качество не изменяется
со временем
19

20. Какой разработчик лучше?
Или как сравнить качество различных систем?
Критерий сравнения. Показатель динамики
Kср = 𝑀𝑒( 𝑚=1
𝑚=𝑛 𝛥𝐷𝑛𝑒𝑤+ 𝑚=1
𝑚=𝑛 𝐷
𝛥𝑉тм𝑁𝑒𝑤
) + 𝑒 𝑏
∗ 𝑘
𝒃 – значение наклона тренда
𝒆 – произвольное основание
больше 1
𝒌 – произвольный весовой
коэффициент, модулирует
влияние на основное
значение
20

21. Какой разработчик лучше?
Или как сравнить качество различных систем?
Область применения
Компании заказчику для эффективного взаимодействия с
большим числом различных поставщиков IT систем,
необходима сравнительная оценка качества их услуг, на
которую можно ориентироваться при оценке качества
отдельного поставщика.
Заказчик сталкивается с выбором наиболее оптимальной
системы из ряда аналогичных по функциональности.
Частный случай – филиальная система.
21

22. Какой разработчик лучше?
Или как сравнить качество различных систем?
Спасибо за внимание!
Контакты:
Данила Павлюченко – соавтор доклада
E-mail: d.pavlyuchenko@pflb.ru
Шабалина Анастасия – докладчик
E-mail: a.shabalina@pflb.ru
22