A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE

1. Véronique THEAULT / Olivier Di Giorgio
v.theault@acpqualife.com o.digiorgio@acpqualife.com
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 1

2. 2ACPQUALIFE - Reproduction interdite2019
Exploration avec le Professeur Jones
Indiana Jones
Gille Jones

3. 3ACPQUALIFE - Reproduction interdite2019

4. 4ACPQUALIFE - Reproduction interdite2019
Stabilité des pyramides
de l’automatisation des tests
Mais où sont les tests manuels dans cette pyramide ?

5. 5ACPQUALIFE - Reproduction interdite2019
Tests Fonctionnels
Exemples
Tests de “story”
Prototypes
Simulations
Q2
Q1
Tests Unitaires
Tests de composants
Q4
Tests de charge
Tests de performance
“…ilité” tests
Tests Exploratoires
Scénarios
Tests de convivialité
Test d'acceptance
Alpha / Bêta
Q3
Choix technologique
Choix métier
CritiqueduProduit
Supportdel’équipe
Manuel
Automatique &
Manuel
Automatique Outils
Agile Testing Quadrants
Agile Testing Quadrants in “Agile Testing: A Practical Guide for Testers and Agile Teams” by Lisa Crispin , Janet Gregory
Exploratoire!
(mais pas
seulement)
ATDD & BDD
TDD

6. 6ACPQUALIFE - Reproduction interdite2019
Activités de Test
Automatiser
les tests de
critères
d’acceptance
Définition de « Done »,
représente des
exigences exécutables
Automatiser
les tests
unitaires
Pilote la conception,
représente des
spécifications
exécutables
Tests
exploratoires
Découvrir les risques
tôt
Durant un sprint

7. 7ACPQUALIFE - Reproduction interdite2019
Le but du test exploratoire
Combler ce déficit de connaissance

8. 8ACPQUALIFE - Reproduction interdite2019
_ Trouver des défauts qui ne pourraient pas être découverts par des tests formels
_ Progresser dans la compréhension du produit, comment fonctionne l’application,
à quoi ressemble l’interface, quelles sont les fonctionnalités implémentées, et
améliorer la confiance
_ Pousser le produit dans ses retranchements
_ Améliorer l’utilisabilité et la stabilité
_ Trouver de nouvelles idées, de nouvelles fonctionnalités et les ajouter au backlog
_ La meilleure façon de trouver des anomalies sur les exigences et la conception,
car ces tests ne sont pas basés sur les documents
_ Adaptés à tous les cycles de vie, ne sont pas réservés seulement à l’Agile
Les objectifs des tests exploratoires

9. 9ACPQUALIFE - Reproduction interdite2019
_ Exploratoire :
_ Réfléchi
_ Centré
_ Discipliné
_ Précis
_ Ad-hoc :
_ Aléatoire
_ Chaotique
_ Incontrôlable
_ Insouciant
Ad-hoc vs Exploratoire
Exploratoire N’EST PAS ad-hoc

10. 10ACPQUALIFE - Reproduction interdite2019
_ Script :
_ Prévisible
_ Répétable
_ Facile à exécuter
_ Facile à mesurer
_ Exploratoire :
_ Flexible
_ Rapide
_ Peut être très efficace
_ Axé sur les résultats
Script vs Exploratoire
Prescription Liberté
Pure script Vague script
Test cases
fragmentaires
(scenarios) Chartes Rôles Freestyle

11. 11ACPQUALIFE - Reproduction interdite2019
Tests
Exploratoires
(Quête)
Temps
Testeur
RapportMission
Produit
Les tests exploratoires : une Quête

12. 12ACPQUALIFE - Reproduction interdite2019
D’une durée minutée, limitée à 20 minutes par charte
Pilotée par les chartes de test, une charte = une mission
L’exécution et la description sont faites en même temps
Les résultats du test précédent guide le test suivant
Utilise des outils : heuristiques, persona…
Le rapport permet de partager les résultats (observations,
commentaires, anomalies)
Une quête structurée
Organisation d’une session de tests exploratoires

13. 13ACPQUALIFE - Reproduction interdite2019
Les chartes de tests
(d’après Elisabeth Hendrickson)
Explorer une “story”, une
fonctionnalité, un système...
Avec des ressources, des
contraintes, des heuristiques,
ou persona
Pour découvrir des
informations
Explorer l’édition de profil
Avec des “script injections”
pour découvrir les vulnérabilités de sécurité
Explorer l’édition de profil
Avec différents types d’utilisateurs
Pour découvrir les interactions entre l'édition
de profil et les rôles

14. 14ACPQUALIFE - Reproduction interdite2019
Heuristique de tests
Exemple d’heuristique web
Navigation _ Utiliser la touche Retour
_ Rafraîchir la page
_ Ajouter dans les Favoris
_ Hacker l'URL (modifier / supprimer des paramètres...)
_ Ouvrir plusieurs instances du navigateur
Données _ HTML/JavaScript/SQL Injection
_ Entrées de texte : longue, caractère accentués, asiatiques, spéciaux…
_ ...
Syntaxe _ Vérifier la syntaxe html et css (http://validator.w3.org/ et
http://jigsaw.w3.org/css-validator/ )
Préférences _ Javascript Off
_ Cookies Off
_ Sécurité Haute
_ Différents navigateurs
_ Redimensionner la fenêtre du navigateur
_ Changer la taille de la police
...

15. 15ACPQUALIFE - Reproduction interdite2019
Utilisation de Persona
..un groupe de personnes avec
comportements, motivations, buts proches
Synthétiser les idées qui émergent des
observations, des entretiens avec des
utilisateurs ;
Communiquer et partager une vision
commune des utilisateurs au sein de
l’équipe;
Générer de l’affect et de l’empathie aident la
prise de décision dans la conception d’un
produit
La méthode des personas a été créée par Alan Cooper.

16. 16ACPQUALIFE - Reproduction interdite2019
Faites des sessions de tests exploratoires
Utiliser des
chartes de test
comme guide
Débriefer pour
stimuler la
prochaine
session
Prendre des
notes pour
enregistrer et
tracer
Limiter la durée des
sessions pour se
focaliser sur
l’essentiel

17. 17ACPQUALIFE - Reproduction interdite2019
©2014AmadeusITGroupSA

18. 18ACPQUALIFE - Reproduction interdite2019
A vous de jouer...
_ Former des groupes – 5min
_ Recevoir le SUT
_ Définir les personas – 10 min + 5
_ Écrire des chartes – 10 min + 5
_ Faire des sessions de tests exploratoires : 45 min
_ Conclusion

19. 19ACPQUALIFE - Reproduction interdite2019

20. 20ACPQUALIFE - Reproduction interdite2019
_ Très efficaces pour tester
• avec peu de temps
• avec peu de documentation
• avec de vrais utilisateurs
_ Facteurs de succès
• faire des sessions time boxées
• définir les objectifs
• supporter l’équipe de test
• faire une rétrospective
_ Il existe des formations
_ Ne remplacent pas les tests scriptés
Prochaines étapes

21. 21ACPQUALIFE - Reproduction interdite2019
Pour aller plus loin
De la lecture...
Eviter les crashs en faisant des
tests exploratoires
Bit.ly/2jYFG68
acpqualife
Webinars...

22. 22ACPQUALIFE - Reproduction interdite2019
Extension Chrome pour les tests exploratoires
Pour les tests exploratoires d’application web
★ Exploratory Testing Chrome Extension
★ Bug Magnet
(heuristique)
17/10/19

23. Merci aux Sponsors !
17/10/19 2317/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 23

24. acpqualife
www.acpqualife.com
commerce@acpqualife.com Olivier Di Giorgio o.digiorgio@acpqualife.com Véronique THEAULT v.theault@acpqualife.com