Ces dernières années, on parle beaucoup de l'intelligence artificielle et comment cette dernière va révolutionner le monde. Nous avons donc décidé de nous pencher sur le sujet afin de voir de quelle manière notre domaine de l'assurance qualité logicielle serait impacté. Nous avons pensé qu'il serait pertinent de venir te présenter le fruit de nos recherches et d'échanger avec toi à propos de notre vision de ce sujet, car tu dois certainement avoir les mêmes questionnements que nous. Cette série d'événements sous forme d'atelier a pour but de créer un réel projet de modernisation de la pratique de l'assurance qualité à l'ère de l'intelligence artificielle. Ce projet se veut être inclusif et un réel travail de collaboration. Voici un aperçu des questions qui seront traitées au fil des événements qui se pencheront sur différents aspects du sujet de l'intelligence artificielle: - Un rappel sur les principes de l’IA. - Quel est l’impact de L’IA sur le métier des tests? - C’est quoi un RPA? - Quelles sont les pratiques prouvées? - Quelles sont les options qui restent à explorer? - Est-ce que l’avènement de l’IA implique réduction de testeurs dans les équipes? - Comment teste-t-on les outils IA eux mêmes? - De quoi sera fait l’avenir?

1. L’IA dans le métier des
tests
Introduction (2)
Meetup QA Hackathon - agile montréal
Par Samiha Salhi-Kacher
(salhisamiha@yahoo.fr)
09- 12- 2021

2. Bienvenue aux
nouveaux
membres
• Rappel des canaux de communication :
Groupe Linkedin (actif)
Channel slack (moins actif pour l’instant)
06/04/2022

3. Rappel de la vision
de la COP
4/6/2022

4. Prochain Meetup QA Hackathon: IA round 4
• https://www.agilemontreal.ca/evenement?id=1328
06/04/2022

5. Agenda • Qu’est ce que l’IA?
• Comment se servir de l’IA pour
optimiser les tests
• Atelier: Quel rôle tu peux jouer dans
un projet qui se sert de l’IA?
• Prochain sujet: Comment teste t-on
les modèles de l’IA?
06/04/2022

6. Les deux
grandes
préoccupations
• Comment utiliser l’IA pour
optimiser les processus de
tests?
• Comment tester l’IA?
06/04/2022

7. Avec des mots
simples: C’est quoi
l’IA?
• Apprendre à une machine
d’apprendre
• Apprendre à une machine
d’utiliser son
apprentissage pour prendre des
décisions
et des actions
06/04/2022

8. Le modèle conceptuel de l’IA
06/04/2022 8
Données
Programmes
Machine Résultat
Données
Programmes
Résultat
Machine
Classique
IA

9. Les modes d’apprentissage
• Apprentissage supervisé (souvent utilisé pour la classification)
• Apprentissage non-supervisé (Il n’y a aucune prédiction au départ de ce modèle)
• Apprentissage par renforcement (souvent celui utilisé dans le cadre de la robotique)
06/04/2022

10. Les disciplines
de l’IA
• https://openclassrooms.com/fr/courses/6417031-objectif-ia-initiez-
vous-a-lintelligence-artificielle/6822141-reperez-vous-dans-le-champ-
de-lintelligence-artificielle
06/04/2022

11. Les données : au cœur de l’IA
Pourquoi la science des données est au cœur de l’IA?
L’apprentissage se fait à travers les données
1) Récolte de données
2) La réconciliation des données
1) Nettoyage
2) Décomposition
3) Agrégation
4) Mise à l’échelle
3) L’enrichissement des données
06/04/2022

12. Les fausses idées de l’IA
• Les machines apprennent toutes seules
• Les machines font preuve d’objectivité
• L’IA est synonyme d’apprentissage automatique
• L’IA va supprimer des emplois
• L’IA, pas utile dans mon entreprise
• Des machines super-intelligentes vont dépasser les humains
12

13. Préoccupation 1
Comment bénéficier de l’IA pour optimiser nos processus de tests?
13

14. Les applications possibles de l’IA dans les processus
de test
• Génération de cas de tests automatiquement
• Génération de tests automatisés (Unitaires, API, UX)
• Génération de données synthétiques
• Analyse d'image sur les captures d'écran (reconnaissance d’image)
• Tests déclaratifs (traduction de pseudo-code en étapes de test)
• Suggestions automatiques de correction de bug
• Allocation dynamique de localisateurs
• Fonctionnalité de tests style Record
• L’analyse statique de code
14

15. Les applications possibles de l’IA dans les
processus de test
• Les options d’application seront démontrées par la pratique durant les prochain meetup
06/04/2022

16. Quelques outils de tests par l’IA
• Intelliji
• Appdiff
• Ponicode
• Parasoft SOAtest
• Conformiq | Next generation
• Appvance
• Applitool (tests expérience utilisateur)
16

17. Préoccupation 2
Comment se teste L’IA?
17

18. UNE
DÉMARCHE
POUR TESTER
UN PROJET IA
18
2022-04-06
Comprendre le modèle d’affaires
Tester le code
Tester les données
Tester le modèle
Tester à partir des ‘feedback’ des
utilisateurs
Tester à partir monitoring

19. COMPRENDRE LE MODÈLE
D’AFFAIRES
14
2022-04-06
1

20. TESTER LE CODE IA
15
1. Le besoin des tests unitaires (du code) demeure important
2. Ces tests unitaires continuent de constituer la base de la
pyramide
3. En revanche ils représentent le ratio le plus petit et moins
pertinents par rapport aux autres tests spécifiques aux projets
de l’IA
2022-04-06
2

21. PRÉPARER LES DONNÉES
16
L’apprentissage se fait à travers les données selon les étapes
suivantes :
1. Récolte de données
2. La réconciliation des données
• Nettoyage
• Décomposition
• Agrégation
• Mise à l’échelle
3. L’enrichissement des données
2022-04-06
3

22. 1.
Vérifier
syntaxiquement la
donnée (format,
encodage, taille)
2.
Valider que chaque nouvelle donnée générée
est bien représentée statistiquement dans
l’échantillon d’apprentissage
QUE VALIDER DANS LES DONNÉES?

23. TESTER LE MODÈLE
18
1. Valider la fiabilité du modèle
2. Valider si le modèle a généré d’autres nouvelles situations
d’apprentissage
3. Valider les performances du modèle d’apprentissage
4. Valider que le modèle ne génère pas de régressions par rapport
aux situations déjà apprises
2022-04-06
4

24. TESTER À PARTIR DES FEEDBACKS
DES UTILISATEURS
19
1. L’idée est d’intégrer dans le processus le moyen de traiter
automatiquement le feedback des utilisateurs afin d’améliorer le
modèle
2022-04-06
5

25. TESTER À PARTIR DU
MONITORING
20
Mettre en place et surveiller les KPI suivants :
1. Consommation (CPU/RAM)
2. Temps de réponse moyen des requêtes
3. Nombre de requêtes
4.
5. Temps de mise à jour du modèle
6. Temps de récupération de la donnée
7. Stockage
2022-04-06
6

26. 26
ILLUSTRATON ET VUE
D’ENSEMBLE
2022-04-06
Réalisation Exploitation en production
Test unitaire
Test de données
Test des feedbacks des utilisateurs
Mise en place des tests monitoring
Test du modèle

27. LES LANGUAGES
DE
PROGRAMMATIO
N LES PLUS
COURANTS DANS
L’IA
27
2022-04-06
Python : le plus utilisé, parmi ses forces il
offre plusieurs librairies, une grande
communauté
Le langage R : très utilisé par les
scientifiques de données, mais demeure
assez complexe
Java
Scala
Prolog
LISP

28. Est-ce que le métier du testeur est menacé par
l’IA selon vous?
• Oui et non:
• Que les testeurs focalisent leurs activités sur ce qui apporte le plus de valeur (les tests
exploratoires par exemple)
• De se servir de l’IA pour accélérer la prédictibilité
• De s’intéresser au domaine de la donnée
28

29. Préoccupation 1
Comment bénéficier de l’IA pour optimiser nos processus de tests? On approfondit
le sujet
29

30. Regardons quelques vidéos ensemble
• https://www.youtube.com/watch?v=tmfvqLFeR10 (Ponicode L’IA
pour les tests unitaires 1,20 - 5,20)
• https://applitools.com/blog/video-getting-started-with-automated-
visual/ (Eyes of applitool)
06/04/2022

31. L’automatisation par reconnaissance d’image
• https://www.youtube.com/watch?v=crcpft2rJeM
06/04/2022

32. L’application de l’IA sur les tests API
06/04/2022

33. Regardons cette démo
• https://www.youtube.com/watch?v=Ts52f51DeVM
06/04/2022

34. Libre Échange
06/04/2022

35. Base de recherche
• https://www.youtube.com/watch?v=drPJmvZZ0gs
• https://www.all4test.fr/blog-du-testeur/intelligence-artificielle-ia-appliquee-au-test-de-logiciel/
• https://blog.arcoptimizer.com/impact-de-lintelligence-artificielle-sur-les-tests-de-logiciels
• https://engineering.fb.com/2018/11/06/developer-tools/getafix-how-facebook-tools-learn-to-fix-bugs-automatically/
• https://tel.archives-ouvertes.fr/tel-00924485/document
• https://latavernedutesteur.fr/2018/03/26/test-et-ia-ou-allons-nous/
• https://www.cftl.fr/wp-content/uploads/2019/04/JFTL2019-EDF-Comment_tester_l_IA.pdf
• https://www.conformiq.com/products/
• https://www.microfocus.com/media/flyer/intelligent-automation-with-micro-focus-unified-functional-testing-flyer.pdf
• https://ichi.pro/fr/tendances-de-l-automatisation-des-processus-robotiques-de-l-intelligence-artificielle-et-de-l-apprentissage-automatique-25251987317109
• https://fr.parasoft.com/blog/what-is-artificial-intelligence-in-software-testing/
• https://www.youtube.com/watch?v=6kfLbVLJ7ZQ
• https://blog.osmova.com/intelligence-artificielle/
• https://www.spiria.com/fr/blogue/intelligence-artificielle/6-idees-fausses-sur-lintelligence-artificielle/
• https://www.cftl.fr/wp-content/uploads/2019/04/JFTL2019-Mon_IA_s_est_trompee.pdf
• https://www.youtube.com/watch?v=OBVWRgnnQbo
• https://www.spiria.com/fr/blogue/intelligence-artificielle/3-etapes-essentielles-apprentissage-automatique-machine-learning/
• https://fr.parasoft.com/blog/to-make-api-testing-easier-add-machine-learning-to-your-ai/
35