Rares sont les projets sans tests unitaires. Mais votre couverture de tests est-elle vraiment pertinente? Avec Pitest, les tests de mutations vont vous permettre de valider l’efficacité de vos tests.

1. Mutation testing
Ou évaluer l’efficacité de vos tests !

2. Tests de mutations
Qu’est-ce qu’un bon test?
@Test
@Test
@Test
@Test @Test
@TestKO
OK @Test

3. Tests de mutations
Qu’est-ce qu’un bon test
Un test qui passe toujours ?
?
OK @Test
OK @Test
OK @Test

4. Tests de mutations
Qu’est-ce qu’un bon test
… Si le test passe ?
?OK @Test
@Test
?
@Test

5. Tests de mutations
Qu’est-ce qu’un bon test ?
… Si le test échoue ?
@TestKO
@Test
@Test

6. 1)
2)
3)
4) REFACTOR
5) REPEAT
TDD
Tests de mutations
Une méthode ou une métrique?
@TestKO
OK @Test

7. Couverture de code
Tests de mutations
Une métrique fiable & accessible ?
OK @Test
Assert?
Assert(alwaysTrue)
Assert(somethingElse)

8. Tests de mutations
Mutation testing
Une métrique efficace de mesure de la qualité d’un jeu de test
@Test( )

9. Tests de mutations
Mutation : un bug ou presque
Une anomalie… dont vous contrôlez la présence

10. Tests de mutations
Mutation : un bug ou presque
Une anomalie… dont vous contrôlez la présence

11. Test de mutations
Tests de mutations
Le principe d’un test
@Test“data1”
“data2”
Assert(“Hello data1”)
@Test Assert(“Hello data2”)

12. Test de mutations
Tests de mutations
Le principe d’un test de test : Testons nos tests !
MUTATION KILLED
@TestKO
OK @Test@Test
@Test

13. Pitest
Tests de mutations
Un simple plugin maven
<plugin>
<groupId>org.pitest</groupId>
<artifactId>pitest-maven</artifactId>
<version>LATEST</version>
</plugin>

14. MUTATION KILLED
Tests de mutations
Tests de mutations
Une couverture du code “assertée”, et non plus juste “exécutée”
Survived !
cover
uncover
@TestKO
OK @Test
@Test
@Test

15. Pitest
Tests de mutations
Vérifier que les tests sont capables d’échouer en cas de bug
DEMO !

16. Pitest
Tests de mutations
Vérifier que les tests sont capables d’échouer en cas de bug
REX !

17. Pitest
Tests de mutations
Takeaways
▼ Tests de mutations, pour une couverture fiable du code asserté par les tests
▼ pitest-maven-plugin
▼ Diverses extensions disponibles pour une meilleure prise en main
(sonar, cucumber, pull-request, annotations...)
▼ Exemples de code et extensions ici : https://github.com/sarahBuisson

18. Pitest
Tests de mutations
De solides avantages
Une couverture du code “assertée”, pas juste vérifiée
Difficile à tromper
Customisable
Mutations majoritairement centrées sur les parties “logique & metier” du code
Un rapport clair et efficace

19. Pitest
Tests de mutations
Quelques inconvénients:
Calcul également les mutations pour le code généré
Long
Beaucoup de données à lire
Uniquement pour les tests unitaires “normaux”
Pas une baguette magique

20. Calcul également les mutations pour le code généré
Long
Beaucoup de données à lire
Uniquement pour les tests unitaires “normaux”
pas une baguette magique
Pitest
Tests de mutations
Quelques inconvénients … mais des possibilités d’extension
<plugin>
<groupId>org.pitest</groupId>
<artifactId>pitest-maven</artifactId>
...
<dependencies>
<dependency>
<groupId>com.github.sarahbuisson</groupId>
<artifactId>pitest-scm-extension</artifactId>
<version>LATEST</version>
</dependency>
<dependency>
<groupId>org.sbuisson</groupId>
<artifactId>pitest-generated-extension</artifactId>
<version>LATEST</version>
</dependency>
</plugin>
extensions disponible ici: https://github.com/sarahBuisson/pitest-extensions

21. Mutation testing
extensions disponible ici: https://github.com/sarahBuisson/pitest-extensions