SlideShare une entreprise Scribd logo
Atelier – Grille évaluation des outils de gestion
du patrimoine de test
Club Qualité Logicielle – 31/01/2013
Club QL
Contexte et objectifs
• CONTEXTE :
– Mars 2011  Henix, en partenariat avec d’autres sociétés et laboratoires, lance
le projet R&D Squash sur l’industrialisation des tests fonctionnels.
– Sept. 2011  1ère version de Squash TM = outil open source de gestion de
patrimoine de test.
– Début 2012  L’outil est déployé en production chez quelques grands comptes.
– Mi 2012  A la demande d’un client, Henix lance une évaluation comparative
de Testlink vs. Squash.
– Fin 2012  Elargissement de l’étude à d’autres outils.
– Dec 2012  Présentation d’un draft de l’étude v0 au Club Utilisateur E-cume
– Debut 2013  Constitution d’un groupe de travail au sein du Club QL pour compléter/valider
l’étude (critères, outils, cas d’utilisation) et aboutir à une v1 diffusable.
• OBJECTIFS :
– Avoir un état des lieux objectifs des différents outils.
– Positionner Squash TM par rapport à la concurrence et proposer un outil d’aide à la décision en
fonction des besoins clients
– Proposer à la Communauté les résultats de l’étude et partager l’outil pour l’enrichir.
2Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - Outils évalués
• Dans un premier temps, 5 outils ont déjà été évalués :
3
• D’autres outils existent et pourront venir enrichir le comparatif, notamment via les
contributions de la communauté : RTMR, Testuff, Xstudio, Tarantula...
Outils open source
LA référence
open source
avant Squash
Outils propriétaires
ENTERPRISE EDITION (*)
(*) Version community limitée à 10 utilisateurs
déclarés et 1 seul projet  exclue de la démarche
Outil utilisé
par l’un de nos
clients
Outil cité sur
notre forum
Leader marché
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - Démarche
• DÉMARCHE MISE EN ŒUVRE :
1. Mise en place d’une v0 de la matrice d’évaluation :
a. Identification des différents critères d’évaluation.
b. Formalisation du questionnaire d’évaluation.
c. Construction de la matrice d’évaluation (outil Excel).
2. Évaluation des différents outils sélectionnés : par Henix et d’autres grands
comptes.
3. Consolidation des évaluations et analyse des divergences :
a. Ajustement de la matrice d’évaluation  reformulation de questions ambigües ou sujettes à
interprétation.
b. Correction des notes les plus discordantes  erreur d’interprétation ou d’évaluation.
4. Draft de Synthèse et restitution des résultats :
Sur la base des évaluations communes, Henix adapte la matrice (pondération,
axes de synthèse) pour obtenir une comparaison qui reflète les besoins de
chacun.
4Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - Extrait de la matrice – la grille d’évaluation
Fonctionnalité / Exigence Note Commentaires
01 - Adéquation fonctionnelle
01 - Exigence
Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description, Auteur 4
Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 3 Il existe un champ "Priorité"
Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée,
obsolète)
2
L'attribut n'est pas disponible de façon native. Il
peut être ajouté (fonctionnalité de custom°)
La nomenclature des Statuts (workflow) d'une exigence est-elle paramétrable ? 0
Existe-il un attribut 'Type' sur l'objet Exigence ? (eg : règle métier, exigence non fonctionnelle….) 2
L'attribut n'est pas disponible de façon native. Il
peut être ajouté (fonctionnalité de customisat°)
La nomenclature des 'Types' d'exigence est-elle paramétrable (préciser : renommage, création, voire
suppression) ?
0
Est-il possible d'ajouter des champs personnalisés ? Si oui, ces champs sont-ils typés ? 4
5
05 - Campagne
L'outil permet-il de créer/gérer des campagnes de test ? 3
Il n'existe pas d'objet spécifique 'Campagne'. A
la place Zephyr propose des EAS.
L'outil permet-il de stocker une planification et de la mettre en parallèle avec l'avancement effectif ?
(Dates début et fin prévisionnelles v/dates début et fin effectives)
4
Est-il possible d'ajouter des champs personnalisés ? Ces champs sont-ils typés ? 3
L'outil propose des champs à ajouter (case à
cocher pour les faire apparaitre)
02 - Ergonomie et Prise en main
01- Facilité d'utilisation
L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de
clics, écrans facilement lisibles) ?
4
L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis
(puces, liens hypertexte, polices, couleurs, images…) ?
1
Uniquement au niveau des exigences et les
possibilités de mises en forme sont très faibles
L'interface est-elle claire ? Les informations et message affichés sont clairement compréhensible ? La
terminologie employée est adaptée à l'utilisation qui devra en être faite ?
1
Interface complexe et peu intuitive.
Terminologie spécifique à Zephyr.
Note
Commentaire (si besoin)
Critère
Sous-critère
Une grille par outil
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - Notations et pondérations
• Chaque question est évaluée selon une note de 0 à 4 :
–   la fonctionnalité / l’exigence n’est pas du tout satisfaite
Exemple : pas de fonctionnalité d’export
–   la fonctionnalité proposée fait le « minimum »
Exemple : l’intégralité des champs « critiques » ne sont pas disponibles dans l’export.
–   la fonctionnalité répond partiellement au besoin
Exemple : tous les champs n’apparaissent pas dans l’export.
–   la fonctionnalité répond au besoin mais pourrait-être améliorée
Exemple : export possible et complet, mais l’export prend beaucoup de temps (1 à 2 minutes).
–   la fonctionnalité est pleinement satisfaite, de façon optimale
Exemple : fonctionnalité d’export de tout ou partie de la bibliothèque, avec l’exhaustivité des champs et dans différents formats cibles.
• Chaque question est pondérée :
– Pondération en base 4 :
● 64  Exigences critiques/bloquantes
● 16  Exigences importantes
● 4  Exigences mineures, de confort
● 1  Exigences mineures
– Pondération discriminante = notes globales plus
éclatées et mieux représentatives des exigences.
– Pondérations à faire varier en fonction de ses besoins.
6Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - L’outil d’évaluation
7
Graphique et
Synthèse
Fiche de
consolidation
Fiches d’évaluationFiche de référence
•Liste l’ensemble des
questions.
•Pondérations.
•1 fiche par outil.
•Note de chaque question
+ commentaire associé.
•Comparaisons des notes.
•Calcul des moyennes
•Kiviat de couverture des
différents critères
•Kiviat de couveture des
sous-critères fonctionnels
•Tableau de comparaison
Matrice Excel
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0 - Extrait de la matrice
8
Fonctionnalité / Exigence Poids
Note
SquashTM
1.4.0
Note
TestLink
1.9.3
Note
Zephyr4.0
Note
Refertest
1.0.9.g
01 - Adéquation fonctionnelle 3.49 2.94 3.02 3.71
01 - Exigence 3.85 3.11 3.08 3.67
Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description,
Auteur
64 4 4 4 3
Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 16 4 1 3 4
Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée,
obsolète)
16 4 4 2 4
06- Exécution 3.86 3.27 3.39 4.00
Le statut et l'horodatage sont-ils bien enregistrés pour chaque étape de l'exécution ? 16 4 0 4 4
Les attributs de base sont-ils bien disponibles : Résultat constaté, Statut (à exécuter, obsolète…),
Date, Utilisateur
64 4 4 4 4
Existe-t-il des champs (timestamp de début et de fin) permettant de tracer le temps passé par les
testeurs à l'exécution des tests ?
1 1 0 0 4
02 - Ergonomie et Prise en main 3.80 2.48 2.52 3.53
01- Facilité d'utilisation 3.73 2.76 2.80 3.73
L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de
clics, écrans facilement lisibles) ?
64 4 2 4 3
L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis
(puces, liens hypertexte, polices, couleurs, images…) ?
4 4 4 1 4
02- Facilité d'appropriation 3.96 1.83 1.87 3.06
La réalisation des actions de base est-elle suffisamment intuitive pour qu'un nouvel utilisateur puisse
se débrouiller seul ? (les actions de base sont : créer /consulter une exigence, créer/consulter un cas
de test / Exécuter des tests)
64 4 2 2 3
Un guide utilisateur complet est-il disponible en français ? 16 4 0 0 4
03 - Qualité technique 3.77 3.64 2.87 1.97
01- Implantation et portabilité 3.81 3.63 2.45 1.02
La configuration minimum pour le poste serveur est-elle faible ? 4 4 4 3 2
Les systèmes d'exploitations sur lesquels tournent le logiciel sont-il compatibles avec les prérequis
du client ? (préciser en commentaires les OS et leurs version)
16 4 3 3 1
Quel degré de compatibilité l'outil a-t-il avec les bases de données ? 16 4 1 1 1
La configuration minimum pour le poste client est-elle faible ? 16 4 4 3 3
L'outil supporte t-il les navigateurs les plus courants (IE, Firefox, Chrome). Si non, préciser les
restrictions
64 4 4 4 0
Pondération des questions
Notes des différents outils
Moyenne pondérée par sous-critère
Moyenne pondérée par critère
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Etude v0. Les familles de critères d’évaluation
I.  Adéquation fonctionnelle (122 QUESTIONS) :
– 10 critères :
II.  Ergonomie et prise en main (14 QUESTIONS) :
– L’outil est-il facile à utiliser ? A appréhender ?
– Le workflow de travail est-il efficace ? Favorise-t-il la productivité ?
– L’outil est-t-il internationalisé ? En français ? La doc également ?
III.  Qualité technique (11 QUESTIONS) :
– L’outil est-il facile à déployer ? A exploiter ?
– Est-il performant ? Stable ?
– Est-il facilement interfaçable avec des systèmes tiers ?
IV.  Pérennité (14 QUESTIONS) :
– La communauté des développeurs ou l’éditeur est-il actif ? Réactif ?
– L’outil est-il populaire ? La communauté des users est-elle importante ? Active ?
– Quel est le mode gouvernance ?
V.  Coûts (4 QUESTIONS) :
– Quel coût de licence ? De support/maintenance ?
– Quelle stratégies d’accès aux versions majeures ?
9
1.Exigences 2.Cas de test 3.Pas de Test 4.Scénarios 5.Campagnes
6.Exécutions 7.Anomalies 8.Transverse 9.Administration 10.Automatisat
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Avoir des fonctionnalités riches,
matures, et complètes...
Etude v0 - exemple de Synthèse, en fonction du besoin
10
Permettre un déploiement facile, rapide
et sans contraintes, notamment à des
utilisateurs externes à l’organisation...
Faciliter l’appropriation par les
futurs utilisateurs...
Réduire mes coûts, avec une
garantie de support/maintenance...
Pouvoir faire évoluer l’outil pour
couvrir mes besoins spécifiques...
Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
Club QL
Organisation du groupe de travail
• RÈGLES DE CONFIDENTIALITÉ
– Fourniture matrice détaillée v0 et du draft de notation des outils évalués au groupe de travail
uniquement
– Tant que les résultats ne sont pas validés par le groupe de travail, seuls des résultats macro
sont communicables à l’extérieur du groupe de travail
– Dès que la matrice est validée en v1 ainsi que la notation des outils, mise à disposition de l’outil
à tous les membres du club qualité logicielle (sur le site).
• PRÉSENTATION DES MEMBRES
• PRÉSENTATION DE L’ÉTUDE V0 DÉTAILLÉE
• DÉMARRAGE DES TRAVAUX
11Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013

Contenu connexe

Tendances

diagramme de séquence UML
diagramme de séquence UMLdiagramme de séquence UML
diagramme de séquence UML
Amir Souissi
 
Présentation cours UML.pptx
Présentation  cours UML.pptxPrésentation  cours UML.pptx
Présentation cours UML.pptx
PrinceLankoand
 
Manuel des TP : Atelier Web 2
Manuel des TP : Atelier Web 2Manuel des TP : Atelier Web 2
Manuel des TP : Atelier Web 2
Faycel Chaoua
 
Qualité logiciel - Generalités
Qualité logiciel - GeneralitésQualité logiciel - Generalités
Qualité logiciel - Generalités
Christophe Rochefolle
 
De l'expression de besoins vers spécifications de la solution
De l'expression de besoins vers spécifications de la solutionDe l'expression de besoins vers spécifications de la solution
De l'expression de besoins vers spécifications de la solution
COMPETENSIS
 
eServices-Chp1: Introduction
eServices-Chp1: IntroductioneServices-Chp1: Introduction
eServices-Chp1: Introduction
Lilia Sfaxi
 
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline SimonMémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Emeline Simon
 
Uml classes Par les exemples
Uml classes Par les exemplesUml classes Par les exemples
Uml classes Par les exemples
Mireille Blay-Fornarino
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logiciel
Jean-Paul CARMONA
 
Chp2 - Vers les Architectures Orientées Services
Chp2 - Vers les Architectures Orientées ServicesChp2 - Vers les Architectures Orientées Services
Chp2 - Vers les Architectures Orientées Services
Lilia Sfaxi
 
Jira Software : La Gestion des temps et activités, comment s'y prendre ?
Jira Software : La Gestion des temps et activités, comment s'y prendre ?Jira Software : La Gestion des temps et activités, comment s'y prendre ?
Jira Software : La Gestion des temps et activités, comment s'y prendre ?
DC CONSULTANTS
 
Chp2 - Cahier des Charges
Chp2 - Cahier des ChargesChp2 - Cahier des Charges
Chp2 - Cahier des Charges
Lilia Sfaxi
 
Diagrammes de classes
Diagrammes de classesDiagrammes de classes
Diagrammes de classes
Mireille Blay-Fornarino
 
Diagramme d'ishikawa Ansari Abdelali
Diagramme d'ishikawa Ansari AbdelaliDiagramme d'ishikawa Ansari Abdelali
Diagramme d'ishikawa Ansari Abdelali
Abido Ansari
 
Les systèmes de recommandations
Les systèmes de recommandationsLes systèmes de recommandations
Les systèmes de recommandations
Romain Picot-Clemente
 
Cv Moez HAMZAOUI JAVA J2EE FULL STACK
Cv Moez HAMZAOUI JAVA J2EE FULL STACKCv Moez HAMZAOUI JAVA J2EE FULL STACK
Cv Moez HAMZAOUI JAVA J2EE FULL STACK
Moez Hamzaoui
 
Conception et implémentation d'un nouveau langage de programmation
Conception et implémentation d'un nouveau langage de programmationConception et implémentation d'un nouveau langage de programmation
Conception et implémentation d'un nouveau langage de programmation
Aymen Bouein
 
Chp4 - Diagramme de Séquence
Chp4 - Diagramme de SéquenceChp4 - Diagramme de Séquence
Chp4 - Diagramme de Séquence
Lilia Sfaxi
 
diagramme des cas d'utilisation
diagramme des cas d'utilisationdiagramme des cas d'utilisation
diagramme des cas d'utilisation
Amir Souissi
 

Tendances (20)

diagramme de séquence UML
diagramme de séquence UMLdiagramme de séquence UML
diagramme de séquence UML
 
Présentation cours UML.pptx
Présentation  cours UML.pptxPrésentation  cours UML.pptx
Présentation cours UML.pptx
 
Td dw1
Td dw1Td dw1
Td dw1
 
Manuel des TP : Atelier Web 2
Manuel des TP : Atelier Web 2Manuel des TP : Atelier Web 2
Manuel des TP : Atelier Web 2
 
Qualité logiciel - Generalités
Qualité logiciel - GeneralitésQualité logiciel - Generalités
Qualité logiciel - Generalités
 
De l'expression de besoins vers spécifications de la solution
De l'expression de besoins vers spécifications de la solutionDe l'expression de besoins vers spécifications de la solution
De l'expression de besoins vers spécifications de la solution
 
eServices-Chp1: Introduction
eServices-Chp1: IntroductioneServices-Chp1: Introduction
eServices-Chp1: Introduction
 
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline SimonMémoire - L'automatisation des tests fonctionnels - Emeline Simon
Mémoire - L'automatisation des tests fonctionnels - Emeline Simon
 
Uml classes Par les exemples
Uml classes Par les exemplesUml classes Par les exemples
Uml classes Par les exemples
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logiciel
 
Chp2 - Vers les Architectures Orientées Services
Chp2 - Vers les Architectures Orientées ServicesChp2 - Vers les Architectures Orientées Services
Chp2 - Vers les Architectures Orientées Services
 
Jira Software : La Gestion des temps et activités, comment s'y prendre ?
Jira Software : La Gestion des temps et activités, comment s'y prendre ?Jira Software : La Gestion des temps et activités, comment s'y prendre ?
Jira Software : La Gestion des temps et activités, comment s'y prendre ?
 
Chp2 - Cahier des Charges
Chp2 - Cahier des ChargesChp2 - Cahier des Charges
Chp2 - Cahier des Charges
 
Diagrammes de classes
Diagrammes de classesDiagrammes de classes
Diagrammes de classes
 
Diagramme d'ishikawa Ansari Abdelali
Diagramme d'ishikawa Ansari AbdelaliDiagramme d'ishikawa Ansari Abdelali
Diagramme d'ishikawa Ansari Abdelali
 
Les systèmes de recommandations
Les systèmes de recommandationsLes systèmes de recommandations
Les systèmes de recommandations
 
Cv Moez HAMZAOUI JAVA J2EE FULL STACK
Cv Moez HAMZAOUI JAVA J2EE FULL STACKCv Moez HAMZAOUI JAVA J2EE FULL STACK
Cv Moez HAMZAOUI JAVA J2EE FULL STACK
 
Conception et implémentation d'un nouveau langage de programmation
Conception et implémentation d'un nouveau langage de programmationConception et implémentation d'un nouveau langage de programmation
Conception et implémentation d'un nouveau langage de programmation
 
Chp4 - Diagramme de Séquence
Chp4 - Diagramme de SéquenceChp4 - Diagramme de Séquence
Chp4 - Diagramme de Séquence
 
diagramme des cas d'utilisation
diagramme des cas d'utilisationdiagramme des cas d'utilisation
diagramme des cas d'utilisation
 

Similaire à 20130523 04 - Grille d'évaluation - Gestion du patrimoine de test

20140410 - Choisir et implanter un outil de test
20140410 - Choisir et implanter un outil de test20140410 - Choisir et implanter un outil de test
20140410 - Choisir et implanter un outil de test
LeClubQualiteLogicielle
 
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
Squash Test
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
Christophe HERAL
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
LeClubQualiteLogicielle
 
Field research and interaction design: course #6
Field research and interaction design: course #6Field research and interaction design: course #6
Field research and interaction design: course #6
nicolas nova
 
Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1
SQLI
 
20110125 04 - Présentation Squash
20110125 04 - Présentation Squash20110125 04 - Présentation Squash
20110125 04 - Présentation Squash
LeClubQualiteLogicielle
 
Automatisation des tests - objectifs et concepts - partie 2
Automatisation des tests  - objectifs et concepts - partie 2Automatisation des tests  - objectifs et concepts - partie 2
Automatisation des tests - objectifs et concepts - partie 2
Christophe Rochefolle
 
20111004 05 - Présentation Squash
20111004 05 - Présentation Squash20111004 05 - Présentation Squash
20111004 05 - Présentation Squash
LeClubQualiteLogicielle
 
Agilite togo jug_final
Agilite togo jug_finalAgilite togo jug_final
Agilite togo jug_final
agnes_crepet
 
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
LeClubQualiteLogicielle
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptx
testuser715939
 
Cerberus Testing
Cerberus TestingCerberus Testing
Cerberus Testing
CIVEL Benoit
 
Cycles de vie d'un logiciel
Cycles de vie d'un logicielCycles de vie d'un logiciel
Cycles de vie d'un logiciel
Rabia AZIZA
 
Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1
Jean-Emmanuel Houdu
 
Presentation Rex Methodes Agiles
Presentation Rex Methodes AgilesPresentation Rex Methodes Agiles
Presentation Rex Methodes Agiles
Ippon
 
20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD
LeClubQualiteLogicielle
 
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
Agile Montréal
 
Retour d'expérience TAA - 2011/03/29
Retour d'expérience TAA - 2011/03/29Retour d'expérience TAA - 2011/03/29
Retour d'expérience TAA - 2011/03/29
Elapse Technologies
 
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
Djamel Zouaoui
 

Similaire à 20130523 04 - Grille d'évaluation - Gestion du patrimoine de test (20)

20140410 - Choisir et implanter un outil de test
20140410 - Choisir et implanter un outil de test20140410 - Choisir et implanter un outil de test
20140410 - Choisir et implanter un outil de test
 
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
 
Field research and interaction design: course #6
Field research and interaction design: course #6Field research and interaction design: course #6
Field research and interaction design: course #6
 
Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1Tra optimiser preparation_tests_v1
Tra optimiser preparation_tests_v1
 
20110125 04 - Présentation Squash
20110125 04 - Présentation Squash20110125 04 - Présentation Squash
20110125 04 - Présentation Squash
 
Automatisation des tests - objectifs et concepts - partie 2
Automatisation des tests  - objectifs et concepts - partie 2Automatisation des tests  - objectifs et concepts - partie 2
Automatisation des tests - objectifs et concepts - partie 2
 
20111004 05 - Présentation Squash
20111004 05 - Présentation Squash20111004 05 - Présentation Squash
20111004 05 - Présentation Squash
 
Agilite togo jug_final
Agilite togo jug_finalAgilite togo jug_final
Agilite togo jug_final
 
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
20120124 04 - Retour d'expérience sur la mise en oeuvre de Squash
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptx
 
Cerberus Testing
Cerberus TestingCerberus Testing
Cerberus Testing
 
Cycles de vie d'un logiciel
Cycles de vie d'un logicielCycles de vie d'un logiciel
Cycles de vie d'un logiciel
 
Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1Presentation tests d'acceptations automatisés sug v1.1
Presentation tests d'acceptations automatisés sug v1.1
 
Presentation Rex Methodes Agiles
Presentation Rex Methodes AgilesPresentation Rex Methodes Agiles
Presentation Rex Methodes Agiles
 
20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD
 
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
CdP QA - QA hackathon - Intelligence artificielle - 27 janvier 2022
 
Retour d'expérience TAA - 2011/03/29
Retour d'expérience TAA - 2011/03/29Retour d'expérience TAA - 2011/03/29
Retour d'expérience TAA - 2011/03/29
 
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
Microsoft Tech days 2007 - Industrialisation des développements : Retours d'e...
 

Plus de LeClubQualiteLogicielle

20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps
LeClubQualiteLogicielle
 
20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications
LeClubQualiteLogicielle
 
20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie
LeClubQualiteLogicielle
 
20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices
LeClubQualiteLogicielle
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle
LeClubQualiteLogicielle
 
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
LeClubQualiteLogicielle
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development
LeClubQualiteLogicielle
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?
LeClubQualiteLogicielle
 
20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle 20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle
LeClubQualiteLogicielle
 
20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue
LeClubQualiteLogicielle
 
20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact
LeClubQualiteLogicielle
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
LeClubQualiteLogicielle
 
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
LeClubQualiteLogicielle
 
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
LeClubQualiteLogicielle
 
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
LeClubQualiteLogicielle
 
20130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 201320130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 2013
LeClubQualiteLogicielle
 
20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM
LeClubQualiteLogicielle
 
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
LeClubQualiteLogicielle
 
20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity
LeClubQualiteLogicielle
 
20130523 02 - BREDForge foundations - Gense et perspectives
20130523 02 - BREDForge foundations -  Gense et perspectives20130523 02 - BREDForge foundations -  Gense et perspectives
20130523 02 - BREDForge foundations - Gense et perspectives
LeClubQualiteLogicielle
 

Plus de LeClubQualiteLogicielle (20)

20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps
 
20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications
 
20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie
 
20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle
 
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?
 
20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle 20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle
 
20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue
 
20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
 
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
 
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
 
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
 
20130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 201320130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 2013
 
20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM
 
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
 
20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity
 
20130523 02 - BREDForge foundations - Gense et perspectives
20130523 02 - BREDForge foundations -  Gense et perspectives20130523 02 - BREDForge foundations -  Gense et perspectives
20130523 02 - BREDForge foundations - Gense et perspectives
 

20130523 04 - Grille d'évaluation - Gestion du patrimoine de test

  • 1. Atelier – Grille évaluation des outils de gestion du patrimoine de test Club Qualité Logicielle – 31/01/2013
  • 2. Club QL Contexte et objectifs • CONTEXTE : – Mars 2011  Henix, en partenariat avec d’autres sociétés et laboratoires, lance le projet R&D Squash sur l’industrialisation des tests fonctionnels. – Sept. 2011  1ère version de Squash TM = outil open source de gestion de patrimoine de test. – Début 2012  L’outil est déployé en production chez quelques grands comptes. – Mi 2012  A la demande d’un client, Henix lance une évaluation comparative de Testlink vs. Squash. – Fin 2012  Elargissement de l’étude à d’autres outils. – Dec 2012  Présentation d’un draft de l’étude v0 au Club Utilisateur E-cume – Debut 2013  Constitution d’un groupe de travail au sein du Club QL pour compléter/valider l’étude (critères, outils, cas d’utilisation) et aboutir à une v1 diffusable. • OBJECTIFS : – Avoir un état des lieux objectifs des différents outils. – Positionner Squash TM par rapport à la concurrence et proposer un outil d’aide à la décision en fonction des besoins clients – Proposer à la Communauté les résultats de l’étude et partager l’outil pour l’enrichir. 2Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 3. Club QL Etude v0 - Outils évalués • Dans un premier temps, 5 outils ont déjà été évalués : 3 • D’autres outils existent et pourront venir enrichir le comparatif, notamment via les contributions de la communauté : RTMR, Testuff, Xstudio, Tarantula... Outils open source LA référence open source avant Squash Outils propriétaires ENTERPRISE EDITION (*) (*) Version community limitée à 10 utilisateurs déclarés et 1 seul projet  exclue de la démarche Outil utilisé par l’un de nos clients Outil cité sur notre forum Leader marché Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 4. Club QL Etude v0 - Démarche • DÉMARCHE MISE EN ŒUVRE : 1. Mise en place d’une v0 de la matrice d’évaluation : a. Identification des différents critères d’évaluation. b. Formalisation du questionnaire d’évaluation. c. Construction de la matrice d’évaluation (outil Excel). 2. Évaluation des différents outils sélectionnés : par Henix et d’autres grands comptes. 3. Consolidation des évaluations et analyse des divergences : a. Ajustement de la matrice d’évaluation  reformulation de questions ambigües ou sujettes à interprétation. b. Correction des notes les plus discordantes  erreur d’interprétation ou d’évaluation. 4. Draft de Synthèse et restitution des résultats : Sur la base des évaluations communes, Henix adapte la matrice (pondération, axes de synthèse) pour obtenir une comparaison qui reflète les besoins de chacun. 4Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 5. Club QL Etude v0 - Extrait de la matrice – la grille d’évaluation Fonctionnalité / Exigence Note Commentaires 01 - Adéquation fonctionnelle 01 - Exigence Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description, Auteur 4 Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 3 Il existe un champ "Priorité" Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée, obsolète) 2 L'attribut n'est pas disponible de façon native. Il peut être ajouté (fonctionnalité de custom°) La nomenclature des Statuts (workflow) d'une exigence est-elle paramétrable ? 0 Existe-il un attribut 'Type' sur l'objet Exigence ? (eg : règle métier, exigence non fonctionnelle….) 2 L'attribut n'est pas disponible de façon native. Il peut être ajouté (fonctionnalité de customisat°) La nomenclature des 'Types' d'exigence est-elle paramétrable (préciser : renommage, création, voire suppression) ? 0 Est-il possible d'ajouter des champs personnalisés ? Si oui, ces champs sont-ils typés ? 4 5 05 - Campagne L'outil permet-il de créer/gérer des campagnes de test ? 3 Il n'existe pas d'objet spécifique 'Campagne'. A la place Zephyr propose des EAS. L'outil permet-il de stocker une planification et de la mettre en parallèle avec l'avancement effectif ? (Dates début et fin prévisionnelles v/dates début et fin effectives) 4 Est-il possible d'ajouter des champs personnalisés ? Ces champs sont-ils typés ? 3 L'outil propose des champs à ajouter (case à cocher pour les faire apparaitre) 02 - Ergonomie et Prise en main 01- Facilité d'utilisation L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de clics, écrans facilement lisibles) ? 4 L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis (puces, liens hypertexte, polices, couleurs, images…) ? 1 Uniquement au niveau des exigences et les possibilités de mises en forme sont très faibles L'interface est-elle claire ? Les informations et message affichés sont clairement compréhensible ? La terminologie employée est adaptée à l'utilisation qui devra en être faite ? 1 Interface complexe et peu intuitive. Terminologie spécifique à Zephyr. Note Commentaire (si besoin) Critère Sous-critère Une grille par outil Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 6. Club QL Etude v0 - Notations et pondérations • Chaque question est évaluée selon une note de 0 à 4 : –   la fonctionnalité / l’exigence n’est pas du tout satisfaite Exemple : pas de fonctionnalité d’export –   la fonctionnalité proposée fait le « minimum » Exemple : l’intégralité des champs « critiques » ne sont pas disponibles dans l’export. –   la fonctionnalité répond partiellement au besoin Exemple : tous les champs n’apparaissent pas dans l’export. –   la fonctionnalité répond au besoin mais pourrait-être améliorée Exemple : export possible et complet, mais l’export prend beaucoup de temps (1 à 2 minutes). –   la fonctionnalité est pleinement satisfaite, de façon optimale Exemple : fonctionnalité d’export de tout ou partie de la bibliothèque, avec l’exhaustivité des champs et dans différents formats cibles. • Chaque question est pondérée : – Pondération en base 4 : ● 64  Exigences critiques/bloquantes ● 16  Exigences importantes ● 4  Exigences mineures, de confort ● 1  Exigences mineures – Pondération discriminante = notes globales plus éclatées et mieux représentatives des exigences. – Pondérations à faire varier en fonction de ses besoins. 6Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 7. Club QL Etude v0 - L’outil d’évaluation 7 Graphique et Synthèse Fiche de consolidation Fiches d’évaluationFiche de référence •Liste l’ensemble des questions. •Pondérations. •1 fiche par outil. •Note de chaque question + commentaire associé. •Comparaisons des notes. •Calcul des moyennes •Kiviat de couverture des différents critères •Kiviat de couveture des sous-critères fonctionnels •Tableau de comparaison Matrice Excel Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 8. Club QL Etude v0 - Extrait de la matrice 8 Fonctionnalité / Exigence Poids Note SquashTM 1.4.0 Note TestLink 1.9.3 Note Zephyr4.0 Note Refertest 1.0.9.g 01 - Adéquation fonctionnelle 3.49 2.94 3.02 3.71 01 - Exigence 3.85 3.11 3.08 3.67 Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description, Auteur 64 4 4 4 3 Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 16 4 1 3 4 Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée, obsolète) 16 4 4 2 4 06- Exécution 3.86 3.27 3.39 4.00 Le statut et l'horodatage sont-ils bien enregistrés pour chaque étape de l'exécution ? 16 4 0 4 4 Les attributs de base sont-ils bien disponibles : Résultat constaté, Statut (à exécuter, obsolète…), Date, Utilisateur 64 4 4 4 4 Existe-t-il des champs (timestamp de début et de fin) permettant de tracer le temps passé par les testeurs à l'exécution des tests ? 1 1 0 0 4 02 - Ergonomie et Prise en main 3.80 2.48 2.52 3.53 01- Facilité d'utilisation 3.73 2.76 2.80 3.73 L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de clics, écrans facilement lisibles) ? 64 4 2 4 3 L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis (puces, liens hypertexte, polices, couleurs, images…) ? 4 4 4 1 4 02- Facilité d'appropriation 3.96 1.83 1.87 3.06 La réalisation des actions de base est-elle suffisamment intuitive pour qu'un nouvel utilisateur puisse se débrouiller seul ? (les actions de base sont : créer /consulter une exigence, créer/consulter un cas de test / Exécuter des tests) 64 4 2 2 3 Un guide utilisateur complet est-il disponible en français ? 16 4 0 0 4 03 - Qualité technique 3.77 3.64 2.87 1.97 01- Implantation et portabilité 3.81 3.63 2.45 1.02 La configuration minimum pour le poste serveur est-elle faible ? 4 4 4 3 2 Les systèmes d'exploitations sur lesquels tournent le logiciel sont-il compatibles avec les prérequis du client ? (préciser en commentaires les OS et leurs version) 16 4 3 3 1 Quel degré de compatibilité l'outil a-t-il avec les bases de données ? 16 4 1 1 1 La configuration minimum pour le poste client est-elle faible ? 16 4 4 3 3 L'outil supporte t-il les navigateurs les plus courants (IE, Firefox, Chrome). Si non, préciser les restrictions 64 4 4 4 0 Pondération des questions Notes des différents outils Moyenne pondérée par sous-critère Moyenne pondérée par critère Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 9. Club QL Etude v0. Les familles de critères d’évaluation I.  Adéquation fonctionnelle (122 QUESTIONS) : – 10 critères : II.  Ergonomie et prise en main (14 QUESTIONS) : – L’outil est-il facile à utiliser ? A appréhender ? – Le workflow de travail est-il efficace ? Favorise-t-il la productivité ? – L’outil est-t-il internationalisé ? En français ? La doc également ? III.  Qualité technique (11 QUESTIONS) : – L’outil est-il facile à déployer ? A exploiter ? – Est-il performant ? Stable ? – Est-il facilement interfaçable avec des systèmes tiers ? IV.  Pérennité (14 QUESTIONS) : – La communauté des développeurs ou l’éditeur est-il actif ? Réactif ? – L’outil est-il populaire ? La communauté des users est-elle importante ? Active ? – Quel est le mode gouvernance ? V.  Coûts (4 QUESTIONS) : – Quel coût de licence ? De support/maintenance ? – Quelle stratégies d’accès aux versions majeures ? 9 1.Exigences 2.Cas de test 3.Pas de Test 4.Scénarios 5.Campagnes 6.Exécutions 7.Anomalies 8.Transverse 9.Administration 10.Automatisat Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 10. Club QL Avoir des fonctionnalités riches, matures, et complètes... Etude v0 - exemple de Synthèse, en fonction du besoin 10 Permettre un déploiement facile, rapide et sans contraintes, notamment à des utilisateurs externes à l’organisation... Faciliter l’appropriation par les futurs utilisateurs... Réduire mes coûts, avec une garantie de support/maintenance... Pouvoir faire évoluer l’outil pour couvrir mes besoins spécifiques... Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013
  • 11. Club QL Organisation du groupe de travail • RÈGLES DE CONFIDENTIALITÉ – Fourniture matrice détaillée v0 et du draft de notation des outils évalués au groupe de travail uniquement – Tant que les résultats ne sont pas validés par le groupe de travail, seuls des résultats macro sont communicables à l’extérieur du groupe de travail – Dès que la matrice est validée en v1 ainsi que la notation des outils, mise à disposition de l’outil à tous les membres du club qualité logicielle (sur le site). • PRÉSENTATION DES MEMBRES • PRÉSENTATION DE L’ÉTUDE V0 DÉTAILLÉE • DÉMARRAGE DES TRAVAUX 11Atelier. Evaluation des outils de gestion du patrimoine de test 31/01/2013