SlideShare une entreprise Scribd logo
Bruno LEGEARD – IA pour les tests logiciels
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 1
Merci aux Sponsors !
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 2
IA pour le test
1- Reprise et optimisation de
tests manuels
2- Génération de tests à partir
de traces d’exécution
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 3
IA pour le test – Quel IA ?
Apprentissage sur les données : Classification – Prédiction – Détection – Clustering
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 4
IA pour le test – Quel IA ?
Algorithmes de Clustering :
Analyse des cas de tests et des traces
d’exécution pour les regroupes par
similarité
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 5
IA pour le test – Quel IA ?
Réseaux de neurones multicouches :
Analyse du langage naturel pour le
calcul de similarité et modèles
prédictifs pour la génération de cas
de test
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 6
IA pour le test
1- Reprise et optimisation de
tests manuels
2- Génération de tests à partir
de traces d’exécution
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 7
Reprise et optimisation de
patrimoines de tests manuels
Obsolescence des tests  Un problème fréquemment rencontré par
les équipes de test
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 8
82 % des répondants à
l’enquête CFTL 2019
indiquent avoir été
confronté à un
problème
d’obsolescence de
référentiels de tests
Source – Enquête CFTL 2019
Objectifs d’une reprise des tests manuels
Exemples de contexte qui motivent une reprise et optimisation d’un
patrimoine de tests en voie d’obsolescence :
• Une migration technique de l’application (par exemple sur une nouvelle
plateforme)
• Un plan d’accroissement de l’automatisation pour répondre à une
accélération des cycles d’évolutions et de mise en production
• Un transfert des activités de maintenance vers un prestataire extérieur
sous la forme d’un contrat de Tierce Maintenance Applicative (TMA) par
exemple
17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 9
Résultats attendus de la reprise
• Corriger les tests
• C’est l’objectif premier : il faut garantir que l’ensemble des cas de test sont alignés
avec la version actuelle du système
• Simplifier les tests et supprimer les redondances
• L’ajout au fil de temps de nouveau cas de test crée des redondances entre tests
• Des étapes de test peuvent aussi être factorisées en une seule de granularité plus
forte et d’autres étapes supprimées car inutiles dans la documentation des tests
• Homogénéiser et paramétrer les tests
• Une même étape de test doit est décrite de façon identique, quel que soit le cas de
test
• Pour préparer l’automatisation, il est très utile de paramétrer les étapes de tests
pour diminuer le nombre de keywords (mots d’action de test) à automatiser
17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 10
Reprise assistée par l’IA
1. Refactoring
des pas de test
par analyse du
langage naturel
2. Regroupement
des cas de test
par similarité
3. Visualisation
des workflows
de test
17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 11
Reprise assistée par l’IA
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 12
Regroupement des tests
par proximité
Clustering hiérarchique
Reprise assistée par l’IA
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 13
Factorisation des
pas de test
NLP – Natural Language
Processing
Reprise assistée par l’IA
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 14
Affichage des
parcours
applicatifs
couverts par les
tests
Reprise de tests assistée par l’IA
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 15
IA pour le test
1- Reprise et optimisation de
tests manuels
2- Génération de tests à partir
de traces d’exécution
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 16
Projet ANR PHILAE
Génération de tests de non-
régression automatisés à
partir des traces d’exécution
Test
Scripts
System
Under
Test
TODAY TOMORROW WITH PHILAE
Test
Scripts
Execution
Traces
System
Under
Test
Automated
trace selection
Manual
test design and
implementation
Automated
test script
generation
Exemple – Bus system
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 19
• Mark Utting -
USC
Bus System - Architecture
iPad
Apprentissage
traces
Tests de non-
régression
ML
Model
Exécution
des tests
Bus system – Traces d’exécution
USER187 .LPMA.A.i.i.ii.i.i.i.i.O.LPMA.I.o.o.o.o.oo.o.o.o.
USER242 LPMA.C.i.i.i.i.i.i.i.i.i.O.LPMA.I.o.o.o.o.o.o.ooC.o.
USER417 LPM.Ai.A.i.i.ii.i.i.i.i.A.O.LPM.AA.i.iii.iiAi.i.o.o.o.oo.oo.
USER424 LPMAAA.A.i.i.i.i.i.A.i.i.i.iiO.LPMA.AA.I.oo.oo.o.o.o.o.o.
USER465 LPMAA.A.i.i.i.i.i.i.i.O.LPMAAA.A.A.I.o.o.o.o.o.
USER541 LPMAAA.A.i.i.i.i.iO.LPM.AAAA.I.o.o.o.o.o.
USER550 LPM.A.i.i.i.i.i.Ai.i.i.i.O.LPMAA.AI.oo.o.o.o.o.o.o.
USER670 LPMAA.i.i.i.i.i.i.i.O.LPMAAA.I.o.o.o.o.o.o.
USER690 LPMA.A.i.AAA.ii.ii.i.i.i.i.i.O.LPM.A.AI.oo.o.o.o.o.oo.o.o.
USER730 LPM.i.i.i.i.i.i.O.LPM.I.o.o.o.o.o.o.
USER753 LPMA.i.iii.i.i.i.i.i.i.i.i.O.LPMAI.o.o.o.o.o.o.o.o.ooo.o.
USER802 LP?M.ii.i.i.i.i.i.i.i.i.i.O.LPM.AA.I.o.o.o.o.o.o.o.o.o.o
USER840 LPMAA.i.i.i.i.i.ii.i.LPMAA.I.o.o.o.o.o.oo.o.
USER886 LPM.A.i.i.i.i.i.i.i.O.LPM.I.o.o.o.o.o.o.
• Philae Bordeaux 2019: Bus System Case Study, Dr Mark Utting
Key:
. = GPS
L = Login
? = LoginOptions
C = GetContacts
P = ConfirmPreCheck
M = GetSchoolManifest
A = MarkAbsent
o = CheckOut
i = CheckIn
O = BulkCheckOut
I = BulkCheckIn
Clustering – Regroupement des traces
==== CLUSTER 1 ====
USER187 .LPMA.A.i.i.ii.i.i.i.i.O.LPMA.I.o.o.o.o.oo.o.o.o.
USER424 LPMAAA.A.i.i.i.i.i.A.i.i.i.iiO.LPMA.AA.I.oo.oo.o.o.o.o.o.o.
USER465 LPMAA.A.i.i.i.i.i.i.i.O.LPMAAA.A.A.I.o.o.o.o.o.
USER541 LPMAAA.A.i.i.i.i.iO.LPM.AAAA.I.o.o.o.o.o.
USER550 LPM.A.i.i.i.i.i.Ai.i.i.i.O.LPMAA.AI.oo.o.o.o.o.o.o.
==== CLUSTER 2 ====
USER417 LPM.Ai.A.i.i.ii.i.i.i.i.i.A.O.LPM.AA.i.iiii.iiiAi.i.o.o.o.o.oo.oo.o.o.
==== CLUSTER 3 ====
USER802 LP?M.ii.i.i.i.i.i.i.i.i.i.O.LPM.AA.I.o.o.o.o.o.o.o.o.o.o
==== CLUSTER 4 ====
USER242 LPMA.C.i.i.i.i.i.i.i.i.i.O.LPMA.I.o.o.o.o.o.o.ooC.o.
• Philae Bordeaux 2019: Bus System Case Study, Dr Mark Utting
Key:
. = GPS
L = Login
? = LoginOptions
C = GetContacts
P = ConfirmPreCheck
M = GetSchoolManifest
A = MarkAbsent
o = CheckOut
i = CheckIn
O = BulkCheckOut
I = BulkCheckIn
Prendre 1 test/cluster:
 4 cas de tests de non-régression
Apprendre des traces pour générer
des tests
Tests pertinents
Tests étranges – il
faut apprendre
sur un volume
suffisant
• Génération automatique de tests à partir d’un modèle IA prédicitif
Projet ANR PHILAE
• Regrouper les traces par similarité de
comportement
• Identifier les zones du logiciel insuffisement
testée
• Générer de nouveaux tests (y compris les
données pertinentes)
Conclusion - IA pour le test
1- Reprise et optimisation de
tests manuels
2- Génération de tests à partir
de traces d’exécution
17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 25

Contenu connexe

Tendances

Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualifeSoirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
TelecomValley
 
Altran soirée du test logiciel - assez des c 05-10-17
Altran   soirée du test logiciel - assez des c 05-10-17Altran   soirée du test logiciel - assez des c 05-10-17
Altran soirée du test logiciel - assez des c 05-10-17
Marc Hage Chahine
 
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
TelecomValley
 
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
TelecomValley
 
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
AQT-presentations
 
Gérer sa dette technique avec SonarQube
Gérer sa dette technique avec SonarQubeGérer sa dette technique avec SonarQube
Gérer sa dette technique avec SonarQube
Pierre-Henri Gache
 
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
TelecomValley
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logiciel
Jean-Paul CARMONA
 
Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1
Jean-Emmanuel Houdu
 
Vi analyzer gagnez en qualité en révisant vos codes LabVIEW régulièrement
Vi analyzer   gagnez en qualité en révisant vos codes LabVIEW régulièrementVi analyzer   gagnez en qualité en révisant vos codes LabVIEW régulièrement
Vi analyzer gagnez en qualité en révisant vos codes LabVIEW régulièrement
SAPHIR - Signal Physique & Instrumentation
 
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open sourceSoirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
François Le Droff
 
20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD
LeClubQualiteLogicielle
 
Futur tunis
Futur tunisFutur tunis
Futur tunis
Marc Hage Chahine
 
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline SimonMémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Emeline Simon
 
Introduction à la qualité logicielle (1/5)
Introduction à la qualité logicielle (1/5)Introduction à la qualité logicielle (1/5)
Introduction à la qualité logicielle (1/5)
Sylvain Leroy
 
OBJECTIF QUALITÉ DIGITALE : Comment élaborer une bonne stratégie de test pou...
OBJECTIF QUALITÉ DIGITALE :  Comment élaborer une bonne stratégie de test pou...OBJECTIF QUALITÉ DIGITALE :  Comment élaborer une bonne stratégie de test pou...
OBJECTIF QUALITÉ DIGITALE : Comment élaborer une bonne stratégie de test pou...
StardustTesting
 
Automatisation des tests
Automatisation des testsAutomatisation des tests
Automatisation des tests
Zhu Wei QI
 
Automatisation des tests - objectifs et concepts - partie 1
Automatisation des tests  - objectifs et concepts - partie 1Automatisation des tests  - objectifs et concepts - partie 1
Automatisation des tests - objectifs et concepts - partie 1
Christophe Rochefolle
 
Comment construire son laboratoire de tests mobiles avec HP Mobile Center
Comment construire son laboratoire de tests mobiles avec HP Mobile CenterComment construire son laboratoire de tests mobiles avec HP Mobile Center
Comment construire son laboratoire de tests mobiles avec HP Mobile Center
Guillaume Deshayes
 
Tests Logiciel
Tests LogicielTests Logiciel
Tests Logiciel
Nathaniel Richand
 

Tendances (20)

Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualifeSoirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
Soirée du Test Logiciel - Démystifier les xDD - C. TARDIEU, Acp qualife
 
Altran soirée du test logiciel - assez des c 05-10-17
Altran   soirée du test logiciel - assez des c 05-10-17Altran   soirée du test logiciel - assez des c 05-10-17
Altran soirée du test logiciel - assez des c 05-10-17
 
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
2019 - NOURI - ALL4TEST- Le BDD pour decouvrir et specifier les besoins metie...
 
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
Soirée du Test Logiciel - Administration et orchestration des tests avec Refe...
 
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
Les outils d’automatisation de tests (scripting) : Adoption et enjeux (comple...
 
Gérer sa dette technique avec SonarQube
Gérer sa dette technique avec SonarQubeGérer sa dette technique avec SonarQube
Gérer sa dette technique avec SonarQube
 
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
Tester c'est bien, monitorer c'est mieux - 2019 - KISSI - Soirée du Test Logi...
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logiciel
 
Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1
 
Vi analyzer gagnez en qualité en révisant vos codes LabVIEW régulièrement
Vi analyzer   gagnez en qualité en révisant vos codes LabVIEW régulièrementVi analyzer   gagnez en qualité en révisant vos codes LabVIEW régulièrement
Vi analyzer gagnez en qualité en révisant vos codes LabVIEW régulièrement
 
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open sourceSoirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
Soirée Qualite Logicielle Paris JUG : Tour d'horizon des outils open source
 
20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD
 
Futur tunis
Futur tunisFutur tunis
Futur tunis
 
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline SimonMémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
 
Introduction à la qualité logicielle (1/5)
Introduction à la qualité logicielle (1/5)Introduction à la qualité logicielle (1/5)
Introduction à la qualité logicielle (1/5)
 
OBJECTIF QUALITÉ DIGITALE : Comment élaborer une bonne stratégie de test pou...
OBJECTIF QUALITÉ DIGITALE :  Comment élaborer une bonne stratégie de test pou...OBJECTIF QUALITÉ DIGITALE :  Comment élaborer une bonne stratégie de test pou...
OBJECTIF QUALITÉ DIGITALE : Comment élaborer une bonne stratégie de test pou...
 
Automatisation des tests
Automatisation des testsAutomatisation des tests
Automatisation des tests
 
Automatisation des tests - objectifs et concepts - partie 1
Automatisation des tests  - objectifs et concepts - partie 1Automatisation des tests  - objectifs et concepts - partie 1
Automatisation des tests - objectifs et concepts - partie 1
 
Comment construire son laboratoire de tests mobiles avec HP Mobile Center
Comment construire son laboratoire de tests mobiles avec HP Mobile CenterComment construire son laboratoire de tests mobiles avec HP Mobile Center
Comment construire son laboratoire de tests mobiles avec HP Mobile Center
 
Tests Logiciel
Tests LogicielTests Logiciel
Tests Logiciel
 

Similaire à IA pour les tests logiciels - LEGEARD - Smartesting Université Franche Comté- Soirée du Test Logiciel Sophia 2019

1.pdf
1.pdf1.pdf
1.pdf
Hathat10
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
LeClubQualiteLogicielle
 
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 marsCdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
Agile Montréal
 
Master_OSAE_Cours_Tests_Grolleau.pdf
Master_OSAE_Cours_Tests_Grolleau.pdfMaster_OSAE_Cours_Tests_Grolleau.pdf
Master_OSAE_Cours_Tests_Grolleau.pdf
BchiriAmina1
 
Conformiq
ConformiqConformiq
Conformiq
Soukaina Boujadi
 
Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1
SQLI
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?
LeClubQualiteLogicielle
 
20090609 05 - Audit de code automatisé chez Renault
20090609 05 - Audit de code automatisé chez Renault20090609 05 - Audit de code automatisé chez Renault
20090609 05 - Audit de code automatisé chez Renault
LeClubQualiteLogicielle
 
[FR] Papier Cetsis 2014 - PLC Checker
[FR] Papier Cetsis 2014 - PLC Checker[FR] Papier Cetsis 2014 - PLC Checker
[FR] Papier Cetsis 2014 - PLC Checker
Itris Automation Square
 
Session #2 du workshop sur la performance en environnement de production
Session #2 du workshop sur la performance en environnement de productionSession #2 du workshop sur la performance en environnement de production
Session #2 du workshop sur la performance en environnement de production
DEFO KUATE Landry
 
Performance ug#1
Performance ug#1Performance ug#1
Performance ug#1
Marc Bojoly
 
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc DivadXebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
Publicis Sapient Engineering
 
chap6_GL.pptx
chap6_GL.pptxchap6_GL.pptx
chap6_GL.pptx
MOHAMEDAMINEKADRI4
 
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
Agile Montréal
 
qualité logicielle (8).pdf
qualité logicielle (8).pdfqualité logicielle (8).pdf
qualité logicielle (8).pdf
NoamHaythem
 
Avis d'expert : Les Tests Logiciels
Avis d'expert : Les Tests LogicielsAvis d'expert : Les Tests Logiciels
Avis d'expert : Les Tests Logiciels
CloudNetCare
 
Une application sans framework en 2019
Une application sans framework en 2019Une application sans framework en 2019
Une application sans framework en 2019
Rodrigue Villetard
 
SIP@iPLM2015
SIP@iPLM2015SIP@iPLM2015
SIP@iPLM2015
Dr Nicolas Figay
 
Paris Web 2015 - Atelier désendettement Javascript legacy
Paris Web 2015 - Atelier désendettement Javascript legacyParis Web 2015 - Atelier désendettement Javascript legacy
Paris Web 2015 - Atelier désendettement Javascript legacy
François Petitit
 

Similaire à IA pour les tests logiciels - LEGEARD - Smartesting Université Franche Comté- Soirée du Test Logiciel Sophia 2019 (20)

1.pdf
1.pdf1.pdf
1.pdf
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
 
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 marsCdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
CdP QA - QA hackathon - Intelligence artificielle - Meetup du 9 mars
 
Master_OSAE_Cours_Tests_Grolleau.pdf
Master_OSAE_Cours_Tests_Grolleau.pdfMaster_OSAE_Cours_Tests_Grolleau.pdf
Master_OSAE_Cours_Tests_Grolleau.pdf
 
Conformiq
ConformiqConformiq
Conformiq
 
Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?
 
20090609 05 - Audit de code automatisé chez Renault
20090609 05 - Audit de code automatisé chez Renault20090609 05 - Audit de code automatisé chez Renault
20090609 05 - Audit de code automatisé chez Renault
 
[FR] Papier Cetsis 2014 - PLC Checker
[FR] Papier Cetsis 2014 - PLC Checker[FR] Papier Cetsis 2014 - PLC Checker
[FR] Papier Cetsis 2014 - PLC Checker
 
STERIA - JFTL 2014 v9
STERIA - JFTL 2014 v9STERIA - JFTL 2014 v9
STERIA - JFTL 2014 v9
 
Session #2 du workshop sur la performance en environnement de production
Session #2 du workshop sur la performance en environnement de productionSession #2 du workshop sur la performance en environnement de production
Session #2 du workshop sur la performance en environnement de production
 
Performance ug#1
Performance ug#1Performance ug#1
Performance ug#1
 
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc DivadXebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
XebiCon'17 : Déploiement continu de modèle de Machine Learning - Loïc Divad
 
chap6_GL.pptx
chap6_GL.pptxchap6_GL.pptx
chap6_GL.pptx
 
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
 
qualité logicielle (8).pdf
qualité logicielle (8).pdfqualité logicielle (8).pdf
qualité logicielle (8).pdf
 
Avis d'expert : Les Tests Logiciels
Avis d'expert : Les Tests LogicielsAvis d'expert : Les Tests Logiciels
Avis d'expert : Les Tests Logiciels
 
Une application sans framework en 2019
Une application sans framework en 2019Une application sans framework en 2019
Une application sans framework en 2019
 
SIP@iPLM2015
SIP@iPLM2015SIP@iPLM2015
SIP@iPLM2015
 
Paris Web 2015 - Atelier désendettement Javascript legacy
Paris Web 2015 - Atelier désendettement Javascript legacyParis Web 2015 - Atelier désendettement Javascript legacy
Paris Web 2015 - Atelier désendettement Javascript legacy
 

Plus de TelecomValley

Rapport d'activité SoFAB 2022
Rapport d'activité SoFAB 2022Rapport d'activité SoFAB 2022
Rapport d'activité SoFAB 2022
TelecomValley
 
Rapport d'activité 2022
Rapport d'activité 2022Rapport d'activité 2022
Rapport d'activité 2022
TelecomValley
 
Rapport d'activité 2021 - Telecom Valley
Rapport d'activité 2021 - Telecom ValleyRapport d'activité 2021 - Telecom Valley
Rapport d'activité 2021 - Telecom Valley
TelecomValley
 
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
TelecomValley
 
Rapport d'activité SoFAB 2020
Rapport d'activité SoFAB 2020Rapport d'activité SoFAB 2020
Rapport d'activité SoFAB 2020
TelecomValley
 
Rapport d'activité Telecom Valley 2020
Rapport d'activité Telecom Valley 2020Rapport d'activité Telecom Valley 2020
Rapport d'activité Telecom Valley 2020
TelecomValley
 
Rapport d'activité SoFAB 2019
Rapport d'activité SoFAB 2019Rapport d'activité SoFAB 2019
Rapport d'activité SoFAB 2019
TelecomValley
 
Rapport d'activité Telecom Valley 2019
Rapport d'activité Telecom Valley 2019Rapport d'activité Telecom Valley 2019
Rapport d'activité Telecom Valley 2019
TelecomValley
 
Revue de presse Telecom Valley - Février 2020
Revue de presse Telecom Valley - Février 2020Revue de presse Telecom Valley - Février 2020
Revue de presse Telecom Valley - Février 2020
TelecomValley
 
Revue de presse Telecom Valley - Janvier 2020
Revue de presse Telecom Valley - Janvier 2020Revue de presse Telecom Valley - Janvier 2020
Revue de presse Telecom Valley - Janvier 2020
TelecomValley
 
Revue de presse Telecom Valley - Décembre 2019
Revue de presse Telecom Valley - Décembre 2019Revue de presse Telecom Valley - Décembre 2019
Revue de presse Telecom Valley - Décembre 2019
TelecomValley
 
Revue de presse Telecom Valley - Novembre 2019
Revue de presse Telecom Valley - Novembre 2019Revue de presse Telecom Valley - Novembre 2019
Revue de presse Telecom Valley - Novembre 2019
TelecomValley
 
Revue de presse Telecom Valley - Octobre 2019
Revue de presse Telecom Valley - Octobre 2019Revue de presse Telecom Valley - Octobre 2019
Revue de presse Telecom Valley - Octobre 2019
TelecomValley
 
Revue de presse Telecom Valley - Septembre 2019
Revue de presse Telecom Valley - Septembre 2019Revue de presse Telecom Valley - Septembre 2019
Revue de presse Telecom Valley - Septembre 2019
TelecomValley
 
Présentation Team France Export régionale - 29/11/19
Présentation Team France Export régionale - 29/11/19Présentation Team France Export régionale - 29/11/19
Présentation Team France Export régionale - 29/11/19
TelecomValley
 
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFEA la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
TelecomValley
 
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.12019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
TelecomValley
 
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
TelecomValley
 
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
TelecomValley
 
Tests d'intégration de micro-services : approche pilotée par les contrats - R...
Tests d'intégration de micro-services : approche pilotée par les contrats - R...Tests d'intégration de micro-services : approche pilotée par les contrats - R...
Tests d'intégration de micro-services : approche pilotée par les contrats - R...
TelecomValley
 

Plus de TelecomValley (20)

Rapport d'activité SoFAB 2022
Rapport d'activité SoFAB 2022Rapport d'activité SoFAB 2022
Rapport d'activité SoFAB 2022
 
Rapport d'activité 2022
Rapport d'activité 2022Rapport d'activité 2022
Rapport d'activité 2022
 
Rapport d'activité 2021 - Telecom Valley
Rapport d'activité 2021 - Telecom ValleyRapport d'activité 2021 - Telecom Valley
Rapport d'activité 2021 - Telecom Valley
 
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
Livre blanc "Les métamorphoses de l'entreprise face à l'imprévu - Tome 1 : la...
 
Rapport d'activité SoFAB 2020
Rapport d'activité SoFAB 2020Rapport d'activité SoFAB 2020
Rapport d'activité SoFAB 2020
 
Rapport d'activité Telecom Valley 2020
Rapport d'activité Telecom Valley 2020Rapport d'activité Telecom Valley 2020
Rapport d'activité Telecom Valley 2020
 
Rapport d'activité SoFAB 2019
Rapport d'activité SoFAB 2019Rapport d'activité SoFAB 2019
Rapport d'activité SoFAB 2019
 
Rapport d'activité Telecom Valley 2019
Rapport d'activité Telecom Valley 2019Rapport d'activité Telecom Valley 2019
Rapport d'activité Telecom Valley 2019
 
Revue de presse Telecom Valley - Février 2020
Revue de presse Telecom Valley - Février 2020Revue de presse Telecom Valley - Février 2020
Revue de presse Telecom Valley - Février 2020
 
Revue de presse Telecom Valley - Janvier 2020
Revue de presse Telecom Valley - Janvier 2020Revue de presse Telecom Valley - Janvier 2020
Revue de presse Telecom Valley - Janvier 2020
 
Revue de presse Telecom Valley - Décembre 2019
Revue de presse Telecom Valley - Décembre 2019Revue de presse Telecom Valley - Décembre 2019
Revue de presse Telecom Valley - Décembre 2019
 
Revue de presse Telecom Valley - Novembre 2019
Revue de presse Telecom Valley - Novembre 2019Revue de presse Telecom Valley - Novembre 2019
Revue de presse Telecom Valley - Novembre 2019
 
Revue de presse Telecom Valley - Octobre 2019
Revue de presse Telecom Valley - Octobre 2019Revue de presse Telecom Valley - Octobre 2019
Revue de presse Telecom Valley - Octobre 2019
 
Revue de presse Telecom Valley - Septembre 2019
Revue de presse Telecom Valley - Septembre 2019Revue de presse Telecom Valley - Septembre 2019
Revue de presse Telecom Valley - Septembre 2019
 
Présentation Team France Export régionale - 29/11/19
Présentation Team France Export régionale - 29/11/19Présentation Team France Export régionale - 29/11/19
Présentation Team France Export régionale - 29/11/19
 
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFEA la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
A la poursuite du bug perdu - 2019 - THEAULT - DI GIORGIO - ACPQUALIFE
 
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.12019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
2019 - HAGE CHAHINE - ALTRAN - Presentation-DecouverteMondeAgile_V1.1
 
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
Treat Your Unit Tests As Production Code - DARGO - Amadeus - Soirée du Test L...
 
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
Continuous testing - GUERLAIS ARGOT - Air France KLM Sogeti- Soirée du Test L...
 
Tests d'intégration de micro-services : approche pilotée par les contrats - R...
Tests d'intégration de micro-services : approche pilotée par les contrats - R...Tests d'intégration de micro-services : approche pilotée par les contrats - R...
Tests d'intégration de micro-services : approche pilotée par les contrats - R...
 

IA pour les tests logiciels - LEGEARD - Smartesting Université Franche Comté- Soirée du Test Logiciel Sophia 2019

  • 1. Bruno LEGEARD – IA pour les tests logiciels 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 1
  • 2. Merci aux Sponsors ! 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 2
  • 3. IA pour le test 1- Reprise et optimisation de tests manuels 2- Génération de tests à partir de traces d’exécution 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 3
  • 4. IA pour le test – Quel IA ? Apprentissage sur les données : Classification – Prédiction – Détection – Clustering 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 4
  • 5. IA pour le test – Quel IA ? Algorithmes de Clustering : Analyse des cas de tests et des traces d’exécution pour les regroupes par similarité 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 5
  • 6. IA pour le test – Quel IA ? Réseaux de neurones multicouches : Analyse du langage naturel pour le calcul de similarité et modèles prédictifs pour la génération de cas de test 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 6
  • 7. IA pour le test 1- Reprise et optimisation de tests manuels 2- Génération de tests à partir de traces d’exécution 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 7
  • 8. Reprise et optimisation de patrimoines de tests manuels Obsolescence des tests  Un problème fréquemment rencontré par les équipes de test 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 8 82 % des répondants à l’enquête CFTL 2019 indiquent avoir été confronté à un problème d’obsolescence de référentiels de tests Source – Enquête CFTL 2019
  • 9. Objectifs d’une reprise des tests manuels Exemples de contexte qui motivent une reprise et optimisation d’un patrimoine de tests en voie d’obsolescence : • Une migration technique de l’application (par exemple sur une nouvelle plateforme) • Un plan d’accroissement de l’automatisation pour répondre à une accélération des cycles d’évolutions et de mise en production • Un transfert des activités de maintenance vers un prestataire extérieur sous la forme d’un contrat de Tierce Maintenance Applicative (TMA) par exemple 17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 9
  • 10. Résultats attendus de la reprise • Corriger les tests • C’est l’objectif premier : il faut garantir que l’ensemble des cas de test sont alignés avec la version actuelle du système • Simplifier les tests et supprimer les redondances • L’ajout au fil de temps de nouveau cas de test crée des redondances entre tests • Des étapes de test peuvent aussi être factorisées en une seule de granularité plus forte et d’autres étapes supprimées car inutiles dans la documentation des tests • Homogénéiser et paramétrer les tests • Une même étape de test doit est décrite de façon identique, quel que soit le cas de test • Pour préparer l’automatisation, il est très utile de paramétrer les étapes de tests pour diminuer le nombre de keywords (mots d’action de test) à automatiser 17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 10
  • 11. Reprise assistée par l’IA 1. Refactoring des pas de test par analyse du langage naturel 2. Regroupement des cas de test par similarité 3. Visualisation des workflows de test 17/10/2019 JFTL 2019 - Reprise et optimisation de tests manuels 11
  • 12. Reprise assistée par l’IA 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 12 Regroupement des tests par proximité Clustering hiérarchique
  • 13. Reprise assistée par l’IA 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 13 Factorisation des pas de test NLP – Natural Language Processing
  • 14. Reprise assistée par l’IA 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 14 Affichage des parcours applicatifs couverts par les tests
  • 15. Reprise de tests assistée par l’IA 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 15
  • 16. IA pour le test 1- Reprise et optimisation de tests manuels 2- Génération de tests à partir de traces d’exécution 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 16
  • 17. Projet ANR PHILAE Génération de tests de non- régression automatisés à partir des traces d’exécution
  • 18. Test Scripts System Under Test TODAY TOMORROW WITH PHILAE Test Scripts Execution Traces System Under Test Automated trace selection Manual test design and implementation Automated test script generation
  • 19. Exemple – Bus system 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 19 • Mark Utting - USC
  • 20. Bus System - Architecture iPad Apprentissage traces Tests de non- régression ML Model Exécution des tests
  • 21. Bus system – Traces d’exécution USER187 .LPMA.A.i.i.ii.i.i.i.i.O.LPMA.I.o.o.o.o.oo.o.o.o. USER242 LPMA.C.i.i.i.i.i.i.i.i.i.O.LPMA.I.o.o.o.o.o.o.ooC.o. USER417 LPM.Ai.A.i.i.ii.i.i.i.i.A.O.LPM.AA.i.iii.iiAi.i.o.o.o.oo.oo. USER424 LPMAAA.A.i.i.i.i.i.A.i.i.i.iiO.LPMA.AA.I.oo.oo.o.o.o.o.o. USER465 LPMAA.A.i.i.i.i.i.i.i.O.LPMAAA.A.A.I.o.o.o.o.o. USER541 LPMAAA.A.i.i.i.i.iO.LPM.AAAA.I.o.o.o.o.o. USER550 LPM.A.i.i.i.i.i.Ai.i.i.i.O.LPMAA.AI.oo.o.o.o.o.o.o. USER670 LPMAA.i.i.i.i.i.i.i.O.LPMAAA.I.o.o.o.o.o.o. USER690 LPMA.A.i.AAA.ii.ii.i.i.i.i.i.O.LPM.A.AI.oo.o.o.o.o.oo.o.o. USER730 LPM.i.i.i.i.i.i.O.LPM.I.o.o.o.o.o.o. USER753 LPMA.i.iii.i.i.i.i.i.i.i.i.O.LPMAI.o.o.o.o.o.o.o.o.ooo.o. USER802 LP?M.ii.i.i.i.i.i.i.i.i.i.O.LPM.AA.I.o.o.o.o.o.o.o.o.o.o USER840 LPMAA.i.i.i.i.i.ii.i.LPMAA.I.o.o.o.o.o.oo.o. USER886 LPM.A.i.i.i.i.i.i.i.O.LPM.I.o.o.o.o.o.o. • Philae Bordeaux 2019: Bus System Case Study, Dr Mark Utting Key: . = GPS L = Login ? = LoginOptions C = GetContacts P = ConfirmPreCheck M = GetSchoolManifest A = MarkAbsent o = CheckOut i = CheckIn O = BulkCheckOut I = BulkCheckIn
  • 22. Clustering – Regroupement des traces ==== CLUSTER 1 ==== USER187 .LPMA.A.i.i.ii.i.i.i.i.O.LPMA.I.o.o.o.o.oo.o.o.o. USER424 LPMAAA.A.i.i.i.i.i.A.i.i.i.iiO.LPMA.AA.I.oo.oo.o.o.o.o.o.o. USER465 LPMAA.A.i.i.i.i.i.i.i.O.LPMAAA.A.A.I.o.o.o.o.o. USER541 LPMAAA.A.i.i.i.i.iO.LPM.AAAA.I.o.o.o.o.o. USER550 LPM.A.i.i.i.i.i.Ai.i.i.i.O.LPMAA.AI.oo.o.o.o.o.o.o. ==== CLUSTER 2 ==== USER417 LPM.Ai.A.i.i.ii.i.i.i.i.i.A.O.LPM.AA.i.iiii.iiiAi.i.o.o.o.o.oo.oo.o.o. ==== CLUSTER 3 ==== USER802 LP?M.ii.i.i.i.i.i.i.i.i.i.O.LPM.AA.I.o.o.o.o.o.o.o.o.o.o ==== CLUSTER 4 ==== USER242 LPMA.C.i.i.i.i.i.i.i.i.i.O.LPMA.I.o.o.o.o.o.o.ooC.o. • Philae Bordeaux 2019: Bus System Case Study, Dr Mark Utting Key: . = GPS L = Login ? = LoginOptions C = GetContacts P = ConfirmPreCheck M = GetSchoolManifest A = MarkAbsent o = CheckOut i = CheckIn O = BulkCheckOut I = BulkCheckIn Prendre 1 test/cluster:  4 cas de tests de non-régression
  • 23. Apprendre des traces pour générer des tests Tests pertinents Tests étranges – il faut apprendre sur un volume suffisant • Génération automatique de tests à partir d’un modèle IA prédicitif
  • 24. Projet ANR PHILAE • Regrouper les traces par similarité de comportement • Identifier les zones du logiciel insuffisement testée • Générer de nouveaux tests (y compris les données pertinentes)
  • 25. Conclusion - IA pour le test 1- Reprise et optimisation de tests manuels 2- Génération de tests à partir de traces d’exécution 17/10/19 3ème édition Soirée du Test Logiciel Sophia #STLS2019 25