A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE

TelecomValley
TelecomValleyTelecomValley
Véronique THEAULT / Olivier Di Giorgio
v.theault@acpqualife.com o.digiorgio@acpqualife.com
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 1
2ACPQUALIFE - Reproduction interdite2019
Exploration avec le Professeur Jones
Indiana Jones
Gille Jones
3ACPQUALIFE - Reproduction interdite2019
4ACPQUALIFE - Reproduction interdite2019
Stabilité des pyramides
de l’automatisation des tests
Mais où sont les tests manuels dans cette pyramide ?
5ACPQUALIFE - Reproduction interdite2019
Tests Fonctionnels
Exemples
Tests de “story”
Prototypes
Simulations
Q2
Q1
Tests Unitaires
Tests de composants
Q4
Tests de charge
Tests de performance
“…ilité” tests
Tests Exploratoires
Scénarios
Tests de convivialité
Test d'acceptance
Alpha / Bêta
Q3
Choix technologique
Choix métier
CritiqueduProduit
Supportdel’équipe
Manuel
Automatique &
Manuel
Automatique Outils
Agile Testing Quadrants
Agile Testing Quadrants in “Agile Testing: A Practical Guide for Testers and Agile Teams” by Lisa Crispin , Janet Gregory
Exploratoire!
(mais pas
seulement)
ATDD & BDD
TDD
6ACPQUALIFE - Reproduction interdite2019
Activités de Test
Automatiser
les tests de
critères
d’acceptance
Définition de « Done »,
représente des
exigences exécutables
Automatiser
les tests
unitaires
Pilote la conception,
représente des
spécifications
exécutables
Tests
exploratoires
Découvrir les risques
tôt
Durant un sprint
7ACPQUALIFE - Reproduction interdite2019
Le but du test exploratoire
Combler ce déficit de connaissance
8ACPQUALIFE - Reproduction interdite2019
_ Trouver des défauts qui ne pourraient pas être découverts par des tests formels
_ Progresser dans la compréhension du produit, comment fonctionne l’application,
à quoi ressemble l’interface, quelles sont les fonctionnalités implémentées, et
améliorer la confiance
_ Pousser le produit dans ses retranchements
_ Améliorer l’utilisabilité et la stabilité
_ Trouver de nouvelles idées, de nouvelles fonctionnalités et les ajouter au backlog
_ La meilleure façon de trouver des anomalies sur les exigences et la conception,
car ces tests ne sont pas basés sur les documents
_ Adaptés à tous les cycles de vie, ne sont pas réservés seulement à l’Agile
Les objectifs des tests exploratoires
9ACPQUALIFE - Reproduction interdite2019
_ Exploratoire :
_ Réfléchi
_ Centré
_ Discipliné
_ Précis
_ Ad-hoc :
_ Aléatoire
_ Chaotique
_ Incontrôlable
_ Insouciant
Ad-hoc vs Exploratoire
Exploratoire N’EST PAS ad-hoc
10ACPQUALIFE - Reproduction interdite2019
_ Script :
_ Prévisible
_ Répétable
_ Facile à exécuter
_ Facile à mesurer
_ Exploratoire :
_ Flexible
_ Rapide
_ Peut être très efficace
_ Axé sur les résultats
Script vs Exploratoire
Prescription Liberté
Pure script Vague script
Test cases
fragmentaires
(scenarios) Chartes Rôles Freestyle
11ACPQUALIFE - Reproduction interdite2019
Tests
Exploratoires
(Quête)
Temps
Testeur
RapportMission
Produit
Les tests exploratoires : une Quête
12ACPQUALIFE - Reproduction interdite2019
D’une durée minutée, limitée à 20 minutes par charte
Pilotée par les chartes de test, une charte = une mission
L’exécution et la description sont faites en même temps
Les résultats du test précédent guide le test suivant
Utilise des outils : heuristiques, persona…
Le rapport permet de partager les résultats (observations,
commentaires, anomalies)
Une quête structurée
Organisation d’une session de tests exploratoires
13ACPQUALIFE - Reproduction interdite2019
Les chartes de tests
(d’après Elisabeth Hendrickson)
Explorer une “story”, une
fonctionnalité, un système...
Avec des ressources, des
contraintes, des heuristiques,
ou persona
Pour découvrir des
informations
Explorer l’édition de profil
Avec des “script injections”
pour découvrir les vulnérabilités de sécurité
Explorer l’édition de profil
Avec différents types d’utilisateurs
Pour découvrir les interactions entre l'édition
de profil et les rôles
14ACPQUALIFE - Reproduction interdite2019
Heuristique de tests
Exemple d’heuristique web
Navigation _ Utiliser la touche Retour
_ Rafraîchir la page
_ Ajouter dans les Favoris
_ Hacker l'URL (modifier / supprimer des paramètres...)
_ Ouvrir plusieurs instances du navigateur
Données _ HTML/JavaScript/SQL Injection
_ Entrées de texte : longue, caractère accentués, asiatiques, spéciaux…
_ ...
Syntaxe _ Vérifier la syntaxe html et css (http://validator.w3.org/ et
http://jigsaw.w3.org/css-validator/ )
Préférences _ Javascript Off
_ Cookies Off
_ Sécurité Haute
_ Différents navigateurs
_ Redimensionner la fenêtre du navigateur
_ Changer la taille de la police
...
15ACPQUALIFE - Reproduction interdite2019
Utilisation de Persona
..un groupe de personnes avec
comportements, motivations, buts proches
Synthétiser les idées qui émergent des
observations, des entretiens avec des
utilisateurs ;
Communiquer et partager une vision
commune des utilisateurs au sein de
l’équipe;
Générer de l’affect et de l’empathie aident la
prise de décision dans la conception d’un
produit
La méthode des personas a été créée par Alan Cooper.
16ACPQUALIFE - Reproduction interdite2019
Faites des sessions de tests exploratoires
Utiliser des
chartes de test
comme guide
Débriefer pour
stimuler la
prochaine
session
Prendre des
notes pour
enregistrer et
tracer
Limiter la durée des
sessions pour se
focaliser sur
l’essentiel
17ACPQUALIFE - Reproduction interdite2019
©2014AmadeusITGroupSA
18ACPQUALIFE - Reproduction interdite2019
A vous de jouer...
_ Former des groupes – 5min
_ Recevoir le SUT
_ Définir les personas – 10 min + 5
_ Écrire des chartes – 10 min + 5
_ Faire des sessions de tests exploratoires : 45 min
_ Conclusion
19ACPQUALIFE - Reproduction interdite2019
20ACPQUALIFE - Reproduction interdite2019
_ Très efficaces pour tester
• avec peu de temps
• avec peu de documentation
• avec de vrais utilisateurs
_ Facteurs de succès
• faire des sessions time boxées
• définir les objectifs
• supporter l’équipe de test
• faire une rétrospective
_ Il existe des formations
_ Ne remplacent pas les tests scriptés
Prochaines étapes
21ACPQUALIFE - Reproduction interdite2019
Pour aller plus loin
De la lecture...
Eviter les crashs en faisant des
tests exploratoires
Bit.ly/2jYFG68
acpqualife
Webinars...
22ACPQUALIFE - Reproduction interdite2019
Extension Chrome pour les tests exploratoires
Pour les tests exploratoires d’application web
★ Exploratory Testing Chrome Extension
★ Bug Magnet
(heuristique)
17/10/19
Merci aux Sponsors !
17/10/19 2317/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 23
acpqualife
www.acpqualife.com
commerce@acpqualife.com Olivier Di Giorgio o.digiorgio@acpqualife.com Véronique THEAULT v.theault@acpqualife.com
1 sur 24

Contenu connexe

Tendances(20)

Cleancode / Tocea / IntroductionCleancode / Tocea / Introduction
Cleancode / Tocea / Introduction
Sylvain Leroy834 vues
Gérer sa dette technique avec SonarQubeGérer sa dette technique avec SonarQube
Gérer sa dette technique avec SonarQube
Pierre-Henri Gache1.1K vues
Qualité de code, sonar, la detteQualité de code, sonar, la dette
Qualité de code, sonar, la dette
Novencia Groupe4.7K vues
Qu'est ce qu'un logiciel de qualitéQu'est ce qu'un logiciel de qualité
Qu'est ce qu'un logiciel de qualité
Sylvain Leroy1.6K vues

Similaire à A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE

Scrum@epitechScrum@epitech
Scrum@epitechPierre E. NEIS
667 vues60 diapositives
Scrum@fujitsuScrum@fujitsu
Scrum@fujitsuPierre E. NEIS
468 vues69 diapositives
6mmx labs6mmx labs
6mmx labsguest5d55ea
794 vues37 diapositives

Similaire à A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE(20)

Plus de TelecomValley(20)

A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE

  • 1. Véronique THEAULT / Olivier Di Giorgio v.theault@acpqualife.com o.digiorgio@acpqualife.com 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 1
  • 2. 2ACPQUALIFE - Reproduction interdite2019 Exploration avec le Professeur Jones Indiana Jones Gille Jones
  • 4. 4ACPQUALIFE - Reproduction interdite2019 Stabilité des pyramides de l’automatisation des tests Mais où sont les tests manuels dans cette pyramide ?
  • 5. 5ACPQUALIFE - Reproduction interdite2019 Tests Fonctionnels Exemples Tests de “story” Prototypes Simulations Q2 Q1 Tests Unitaires Tests de composants Q4 Tests de charge Tests de performance “…ilité” tests Tests Exploratoires Scénarios Tests de convivialité Test d'acceptance Alpha / Bêta Q3 Choix technologique Choix métier CritiqueduProduit Supportdel’équipe Manuel Automatique & Manuel Automatique Outils Agile Testing Quadrants Agile Testing Quadrants in “Agile Testing: A Practical Guide for Testers and Agile Teams” by Lisa Crispin , Janet Gregory Exploratoire! (mais pas seulement) ATDD & BDD TDD
  • 6. 6ACPQUALIFE - Reproduction interdite2019 Activités de Test Automatiser les tests de critères d’acceptance Définition de « Done », représente des exigences exécutables Automatiser les tests unitaires Pilote la conception, représente des spécifications exécutables Tests exploratoires Découvrir les risques tôt Durant un sprint
  • 7. 7ACPQUALIFE - Reproduction interdite2019 Le but du test exploratoire Combler ce déficit de connaissance
  • 8. 8ACPQUALIFE - Reproduction interdite2019 _ Trouver des défauts qui ne pourraient pas être découverts par des tests formels _ Progresser dans la compréhension du produit, comment fonctionne l’application, à quoi ressemble l’interface, quelles sont les fonctionnalités implémentées, et améliorer la confiance _ Pousser le produit dans ses retranchements _ Améliorer l’utilisabilité et la stabilité _ Trouver de nouvelles idées, de nouvelles fonctionnalités et les ajouter au backlog _ La meilleure façon de trouver des anomalies sur les exigences et la conception, car ces tests ne sont pas basés sur les documents _ Adaptés à tous les cycles de vie, ne sont pas réservés seulement à l’Agile Les objectifs des tests exploratoires
  • 9. 9ACPQUALIFE - Reproduction interdite2019 _ Exploratoire : _ Réfléchi _ Centré _ Discipliné _ Précis _ Ad-hoc : _ Aléatoire _ Chaotique _ Incontrôlable _ Insouciant Ad-hoc vs Exploratoire Exploratoire N’EST PAS ad-hoc
  • 10. 10ACPQUALIFE - Reproduction interdite2019 _ Script : _ Prévisible _ Répétable _ Facile à exécuter _ Facile à mesurer _ Exploratoire : _ Flexible _ Rapide _ Peut être très efficace _ Axé sur les résultats Script vs Exploratoire Prescription Liberté Pure script Vague script Test cases fragmentaires (scenarios) Chartes Rôles Freestyle
  • 11. 11ACPQUALIFE - Reproduction interdite2019 Tests Exploratoires (Quête) Temps Testeur RapportMission Produit Les tests exploratoires : une Quête
  • 12. 12ACPQUALIFE - Reproduction interdite2019 D’une durée minutée, limitée à 20 minutes par charte Pilotée par les chartes de test, une charte = une mission L’exécution et la description sont faites en même temps Les résultats du test précédent guide le test suivant Utilise des outils : heuristiques, persona… Le rapport permet de partager les résultats (observations, commentaires, anomalies) Une quête structurée Organisation d’une session de tests exploratoires
  • 13. 13ACPQUALIFE - Reproduction interdite2019 Les chartes de tests (d’après Elisabeth Hendrickson) Explorer une “story”, une fonctionnalité, un système... Avec des ressources, des contraintes, des heuristiques, ou persona Pour découvrir des informations Explorer l’édition de profil Avec des “script injections” pour découvrir les vulnérabilités de sécurité Explorer l’édition de profil Avec différents types d’utilisateurs Pour découvrir les interactions entre l'édition de profil et les rôles
  • 14. 14ACPQUALIFE - Reproduction interdite2019 Heuristique de tests Exemple d’heuristique web Navigation _ Utiliser la touche Retour _ Rafraîchir la page _ Ajouter dans les Favoris _ Hacker l'URL (modifier / supprimer des paramètres...) _ Ouvrir plusieurs instances du navigateur Données _ HTML/JavaScript/SQL Injection _ Entrées de texte : longue, caractère accentués, asiatiques, spéciaux… _ ... Syntaxe _ Vérifier la syntaxe html et css (http://validator.w3.org/ et http://jigsaw.w3.org/css-validator/ ) Préférences _ Javascript Off _ Cookies Off _ Sécurité Haute _ Différents navigateurs _ Redimensionner la fenêtre du navigateur _ Changer la taille de la police ...
  • 15. 15ACPQUALIFE - Reproduction interdite2019 Utilisation de Persona ..un groupe de personnes avec comportements, motivations, buts proches Synthétiser les idées qui émergent des observations, des entretiens avec des utilisateurs ; Communiquer et partager une vision commune des utilisateurs au sein de l’équipe; Générer de l’affect et de l’empathie aident la prise de décision dans la conception d’un produit La méthode des personas a été créée par Alan Cooper.
  • 16. 16ACPQUALIFE - Reproduction interdite2019 Faites des sessions de tests exploratoires Utiliser des chartes de test comme guide Débriefer pour stimuler la prochaine session Prendre des notes pour enregistrer et tracer Limiter la durée des sessions pour se focaliser sur l’essentiel
  • 17. 17ACPQUALIFE - Reproduction interdite2019 ©2014AmadeusITGroupSA
  • 18. 18ACPQUALIFE - Reproduction interdite2019 A vous de jouer... _ Former des groupes – 5min _ Recevoir le SUT _ Définir les personas – 10 min + 5 _ Écrire des chartes – 10 min + 5 _ Faire des sessions de tests exploratoires : 45 min _ Conclusion
  • 20. 20ACPQUALIFE - Reproduction interdite2019 _ Très efficaces pour tester • avec peu de temps • avec peu de documentation • avec de vrais utilisateurs _ Facteurs de succès • faire des sessions time boxées • définir les objectifs • supporter l’équipe de test • faire une rétrospective _ Il existe des formations _ Ne remplacent pas les tests scriptés Prochaines étapes
  • 21. 21ACPQUALIFE - Reproduction interdite2019 Pour aller plus loin De la lecture... Eviter les crashs en faisant des tests exploratoires Bit.ly/2jYFG68 acpqualife Webinars...
  • 22. 22ACPQUALIFE - Reproduction interdite2019 Extension Chrome pour les tests exploratoires Pour les tests exploratoires d’application web ★ Exploratory Testing Chrome Extension ★ Bug Magnet (heuristique) 17/10/19
  • 23. Merci aux Sponsors ! 17/10/19 2317/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 23
  • 24. acpqualife www.acpqualife.com commerce@acpqualife.com Olivier Di Giorgio o.digiorgio@acpqualife.com Véronique THEAULT v.theault@acpqualife.com