Lviv Quality Assurance Day 2019 ОЛЕКСАНДР ЄПІШЕВ «Мутаційне тестування: тести для тестів» Telegram: www.t.me/goqameetup Facebook: www.fb.com/goqaevent Linkedin: www.linkedin.com/company/goqa/ Сайт: www.qaday.org

1. Мутационное
тестирование
или
“Quis custodiet ipsos custodes?”
“Кто устережёт самих
сторожей?”
Alex A. Yepishev

2. Содержание
Уровни тестирования
Темная сторона юнит-тестов
Что это за животное?
Цели
Инструменты
Pros & Cons
Примеры
Q&A

3. Уровни тестирования
Unit / Module

4. Unit vs Integration

5. Unit vs Integration

6. IntegrationSystem
Уровни тестирования

7. Темная сторона юнит-тестов
int multiply(int a, int b) {
return a * b;
}
- - - - - - - - - - - - - - - - - - - - -
Failed: 0
Passed: 1
Code coverage: 0
void testMultiply() {
// Необходимо создать тест? Вот он :)
Assert.assertTrue(true);
}

8. int multiply(int a, int b) {
return a * b;
}
- - - - - - - - - - - - - - - - - - - - -
Failed: 0
Passed: 2
Code coverage: 100%
void testMultiply2() {
Assert.assertTrue(multiply(2, 3) > 0);
}
Темная сторона юнит-тестов

9. int multiply(int a, int b) {
return a * b;
}
- - - - - - - - - - - - - - - - - - - - -
Failed: 0
Passed: 3
Code coverage: 100%
void testMultiply3() {
multiply(2,3);
}
Темная сторона юнит-тестов

10. int multiply(int a, int b) {
return a * b;
}
- - - - - - - - - - - - - - - - - - - - -
Failed: 0
Passed: 4
Code coverage: 100%
void testMultiply4() {
multiply(2,3);
Assert.assertTrue(true);
}
Темная сторона юнит-тестов

11. Что это за животное?
Мутационное тестирование (analysis/мутирование) -
основывающаяся на внедрении ошибок, техника
тестирования ПО, которая оценивает качество тестов
посредством изменения частей проверяемого кода
Обнаружение до 70%-90% ‘реальных’ ошибок

12. Acc
ptnc
System
API
Integration
Component
Unit
Что это за животное?

13. Source Мутант
Выжившие мутанты
Что это за животное?
Убитые мутанты

14. МУТАЦИОННЫЙ БАЛ
=
количество убитых мутантов / общее количество мутантов
Что это за животное?

15. Conditionals boundary </<=, >/ >=, <=/<, >=/>
Мутационные операторы Мутированные значения
Increments
Invert negatives
Negate conditionals
Math mutators
Void methods
Return values
i++ / i--;
-i / i;
+/-, *, /, %/*, &, |/&, ^/&, <<,
>>
<, <=, >, >=, !=, ==, true
true, false, 0, 1, x, x+1, null
void / non-void, primitives, 0
Что это за животное?

16. Conditionals
if (a < b) {
// do something
}
if (a <= b) {
// do something
}
if (a == b) {
// do something
}
if (true) {
// do something
}
Math
int a = b + c; int a = b - c;
public class A {
private int i;
public void foo() {
this.i++;
}
}
public class A {
private int i;
public void foo() {
this.i = this.i - 1;
}
}
Что это за животное?

17. Return values
public Object foo() {
return new Object();
}
public Object foo() {
new Object();
return null;
}
public void someVoidMethod(int i) {
// does something
}
public int foo() {
int i = 5;
doSomething(i);
return i;
}
public void someVoidMethod(int i) {
// does something
}
public int foo() {
int i = 5;
return i;
}
Increment
public int mtd(int i) {
i++;
return i;
}
public int mtd(int i) {
i--;
return i;
}
Void
methods
Что это за животное?

18. ● Гарантировать достаточность покрытия кода юнит-тестами
○ Увеличить понимание правил кода среди разработчиков
■ Получить точные метрики покрытия кода
● Обезопасить код построчной, ветвлённой проверкой
○ Повысить общее качество продукта
Цели

19. Доступные инструменты
Pitest (PIT)
Major Framework
µJava
Comparative analysis of the tools

20. Pros Cons
Полное покрытие исходного кода
Тщательное тестирование мут-ов
Определение неоднозначностей
Скорость*
Open-source инструменты
TDD-ориентация
Инкрементальный анализ
Высокая стоимость и
времязатратность (геометрич.
прогрессия): количество данных
Должно быть автоматизировано
Только “белый ящик”
Необходимость множества тестов,
для отличия мутанта от исходного
кода
ExcuseMeIwriteGoodTests();

22. <build>
<plugins>
<plugin>
<groupId>org.pitest</groupId>
<artifactId>pitest-maven</artifactId>
<version>LATEST</version>
<configuration>
<mutators>
<mutator>ALL</mutator>
</mutators>
<targetClasses>
<param>com.myprojectName.classes*</param>
</targetClasses>
<timestampedReports>false</timestampedReports>
<verbose>true</verbose>
</configuration>
</plugin>
</plugins>
</build>

23. $ mvn clean -Dtest=NodeMapperTest#testGetMachineById test
jacoco:report
public class NodeMapper {
public static final String DEFAULT_MACHINE_NAME = "localhost";
//...
public String getMachineById(long nodeId) {
if(nodeId2machine.containsKey(nodeId)) {
return nodeId2machine.get(nodeId);
} else {
return DEFAULT_MACHINE_NAME;
}
}
}
@gsmirnov

24. $ mvn clean -Dtest=NodeMapperTest#testGetMachineById2 test pitest:mutationCoverage
Failed: 0
Passed: 1
Line Coverage: 100%
Mutation Coverage: 0%
@Test
public void testGetMachineById2() {
NodeMapper nodeMapper = new NodeMapper(MACHINES);
nodeMapper.getMachineById(0);
nodeMapper.getMachineById(1);
}
@gsmirnov
$ mvn clean -Dtest=NodeMapperTest#testGetMachineById test jacoco:report

25. public class NodeMapper {
//...
public String getMachineById(long nodeId) {
if( ! nodeId2machine.containsKey(nodeId)) {
return nodeId2machine.get(nodeId);
} else {
return DEFAULT_MACHINE_NAME;
}
}
}
@gsmirnov
34: 1. negated conditional → SURVIVED

26. 34: 5. mutated return of Object value /*...*/ → SURVIVED
public String getMachineById(long nodeId) {
if(nodeId2machine.containsKey(nodeId)) {
if(nodeId2machine.get(nodeId) != null) {
return null;
} else {
throw new RuntimeException();
}
} else {
return DEFAULT_MACHINE_NAME;
}
}

27. 34: 1. negated conditional → KILLED
34: 2. mutated return of Object value /*...*/ → KILLED
@Test
public void testGetMachineById3() {
NodeMapper nodeMapper = new NodeMapper(MACHINES);
Assert.assertEquals(NodeMapper.DEFAULT_MACHINE_NAME, nodeMapper.getMachineById(0));
Assert.assertEquals(TEST_MACHINE_NAME, nodeMapper.getMachineById(1));
}

28. ● Недостаточность юнит-тестов и надежность code-coverage метрик
● Мутационное тестирование - тесты для тестов
● Широкий спектр мут-нных операторов => мутантов
● Необходимость детальной настройки для больших проектов
● “Точечные” запуски в целях экономии времени
● Выявление неявных ошибок в коде и тестах
● Точные метрики покрытия
Выводы

29. Bonus: SonarQube Mutation Analysis

30. Bonus: SonarQube Mutation Analysis

31. Bonus: SonarQube Mutation Analysis

32. Bonus: SonarQube Mutation Analysis

33. Q&A