SlideShare une entreprise Scribd logo
1  sur  33
Télécharger pour lire hors ligne
Auteurs:
Choisir et implanter un outil de test
Club Qualité Logicielle – 10/04/2014
Safi Virginius (svirginius@henix.fr)
SOMMAIRE
2Choisir et implanter un outil de de test 10/04/2014
• Etat des lieux du marché
• La démarche de choix et d’implantation
• La matrice d’évaluation
• Le dossier de choix d’outillage
• L’étude d’implantation
ETAT DES LIEUX DU MARCHÉ
• L’offre d’outillage de gestion des patrimoines de test est en pleine expansion et
propose de plus en plus de solutions : propriétaire ou open source, client lourd ou
léger, en mode client-serveur ou SaaS, avec un bugtracker natif ou interfacé, etc..
3
• Face à cette multiplication de l’offre, comment s’assurer que l’outil choisi permet une
gestion des exigences, des cas et pas de test, des exécutions et des anomalies et
répond à ses besoins spécifiques ?
Choisir et implanter un outil de de test
LA DÉMARCHE DE CHOIX ET D’IMPLANTATION
• OBJECTIFS :
– Présenter une méthodologie de choix et d’implantation d’outillage structurée,
factuelle, transposable.
• DÉMARCHE
– Identifier les besoins
– Choisir l’outillage adapté au moyen du dossier de choix
– Cadrer l’implantation de l’outil cible en réalisant une étude préalable
• LIVRABLES
– Matrice d’évaluation
– Dossier de choix d’outillage
– Check-list de l’étude d’implantation
410/04/2014
Identification
des besoins
Etude de
choix
d’outillage
Etude
d’implantation
d’outillage
POC POCPas de POC
Choisir et implanter un outil de de test
LES LIVRABLES EN MARQUE BLANCHE
• Trois livrables principaux sont donc proposés en marque blanche : une matrice
d’évaluation, un dossier de choix d’outillage et une check-list d’implantation.
5Choisir et implanter un outil de de test
Matrice
d’évaluation
Dossier de
choix
d’outillage
Etude
d’implantation
CHOIXDEL’OUTIL
IMPLEMENTATION
DUCHOIXDEL’OUTIL
La version 2014-1 de ces livrables sera
disponible en téléchargement libre sur le site
du Club Qualité Logicielle et à terme sur le
site du projet Squash au format .xls pour la
matrice d’évaluation et .ppt pour le dossier de
choix et la check-list d’implantation.
LA MATRICE D’ÉVALUATION
610/04/2014Choisir et implanter un outil de de test
LES AXES D’ÉVALUATION
L’évaluation réalisée pour chaque outil se base sur cinq axes répondant aux besoins
identifiés pour un gestionnaire de patrimoine de test:
I. Adéquation fonctionnelle :
– 10 critères :
II. Ergonomie et prise en main :
– L’outil est-il facile à utiliser ? A appréhender ?
– Le workflow de travail est-il efficace ? Favorise-t-il la productivité ?
III. Qualité technique :
– L’outil est-il facile à déployer ? A exploiter ?
– Est-il performant ? Stable ?
– Est-il facilement interfaçable avec des systèmes tiers ?
IV. Pérennité :
– La communauté des développeurs ou l’éditeur est-il actif ? Réactif ?
– L’outil est-il populaire ? La communauté des utilisateurs est-elle importante ? Active ?
– Quel est le mode gouvernance ?
V. Coûts :
– Quel coût de licence ? De support/maintenance ?
– Quelle stratégies d’accès aux versions majeures ?
7
1.Exigences 2.Cas de test 3.Pas de Test 4.Scénarios 5.Campagnes
6.Exécutions 7.Anomalies 8.Transverse 9.Administration 10.Automatisat°
10/04/2014Choisir et implanter un outil de de test
FOCUS : LA MATRICE D’ÉVALUATION
8
Fonctionnalité / Exigence Poids
Note
SquashTM
1.4.0
Note
TestLink
1.9.3
Note
Zephyr4.0
Note
Refertest
1.0.9.g
01 - Adéquation fonctionnelle 3.49 2.94 3.02 3.71
01 - Exigence 3.85 3.11 3.08 3.67
Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description,
Auteur
64 4 4 4 3
Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 16 4 1 3 4
Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée,
obsolète)
16 4 4 2 4
06- Exécution 3.86 3.27 3.39 4.00
Le statut et l'horodatage sont-ils bien enregistrés pour chaque étape de l'exécution ? 16 4 0 4 4
Les attributs de base sont-ils bien disponibles : Résultat constaté, Statut (à exécuter, obsolète…),
Date, Utilisateur
64 4 4 4 4
Existe-t-il des champs (timestamp de début et de fin) permettant de tracer le temps passé par les
testeurs à l'exécution des tests ?
1 1 0 0 4
02 - Ergonomie et Prise en main 3.80 2.48 2.52 3.53
01- Facilité d'utilisation 3.73 2.76 2.80 3.73
L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de
clics, écrans facilement lisibles) ?
64 4 2 4 3
L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis
(puces, liens hypertexte, polices, couleurs, images…) ?
4 4 4 1 4
02- Facilité d'appropriation 3.96 1.83 1.87 3.06
La réalisation des actions de base est-elle suffisamment intuitive pour qu'un nouvel utilisateur puisse
se débrouiller seul ? (les actions de base sont : créer /consulter une exigence, créer/consulter un cas
de test / Exécuter des tests)
64 4 2 2 3
Un guide utilisateur complet est-il disponible en français ? 16 4 0 0 4
03 - Qualité technique 3.77 3.64 2.87 1.97
01- Implantation et portabilité 3.81 3.63 2.45 1.02
La configuration minimum pour le poste serveur est-elle faible ? 4 4 4 3 2
Les systèmes d'exploitations sur lesquels tournent le logiciel sont-il compatibles avec les prérequis
du client ? (préciser en commentaires les OS et leurs version)
16 4 3 3 1
Quel degré de compatibilité l'outil a-t-il avec les bases de données ? 16 4 1 1 1
La configuration minimum pour le poste client est-elle faible ? 16 4 4 3 3
L'outil supporte t-il les navigateurs les plus courants (IE, Firefox, Chrome). Si non, préciser les
restrictions
64 4 4 4 0
Pondération des questions
Notes des différents outils
Moyenne pondérée par sous-critère
Moyenne pondérée par critère
10/04/2014Choisir et implanter un outil de de test
LE MÉCANISME DE CONTRIBUTION
910/04/2014
• BÉNÉFICES :
– Mise à disposition de grilles vierges d’évaluation
– Accès à l’ensemble des évaluations réalisées (panels d’outils, versions d’outils)
– Accès aux résultats intermédiaires consolidés
Ouverture d’un
compte Google
Docs
Evaluation Soumission Relecture
Consolidation
Choisir et implanter un outil de de test
LA NOTATION ET LES PONDÉRATIONS
• Chaque question est évaluée selon une note de 0 à 4 :
–   la fonctionnalité / l’exigence n’est pas du tout satisfaite
Exemple : pas de fonctionnalité d’export
–   la fonctionnalité proposée fait le « minimum »
Exemple : l’intégralité des champs « critiques » ne sont pas disponibles dans l’export.
–   la fonctionnalité répond partiellement au besoin
Exemple : tous les champs n’apparaissent pas dans l’export.
–   la fonctionnalité répond au besoin mais pourrait-être améliorée
Exemple : export possible et complet, mais l’export prend beaucoup de temps (1 à 2 minutes).
–   la fonctionnalité est pleinement satisfaite, de façon optimale
Exemple : fonctionnalité d’export de tout ou partie de la bibliothèque, avec l’exhaustivité des champs et dans différents formats
cibles.
• Chaque question est pondérée :
– Pondération en base 4 :
● 64  Exigences critiques/bloquantes
● 16  Exigences importantes
● 4  Exigences mineures, de confort
● 1  Exigences mineures
– Pondération discriminante = notes globales plus
éclatées et mieux représentatives des exigences.
– Pondérations à faire varier en fonction de ses besoins.
1010/04/2014Choisir et implanter un outil de de test
DOSSIER DE CHOIX
D’OUTILLAGE
1110/04/2014Choisir et implanter un outil de de test
PRÉSENTATION DU DOSSIER DE CHOIX
1210/04/2014
• OBJECTIFS :
– Rappeler les besoins
– Evaluer de manière objective les outils short-listés par rapport aux besoins
– Le cas échéant, cadre le POC pour vérifier l’adéquation de l’outil
– Identifier l’outil de test répondant aux besoins
– Arriver à un GO/ NO GO pour l’étude d’implantation
• OUTILS:
– Matrice des évaluations du CQL(et jeux de pondération associés)
• DÉMARCHE
– Adapter la grille d’évaluation aux besoins identifiés via le jeu des pondérations
– Ajuster, valider l’évaluation des outils des tests.
– Synthétiser et restituer les résultats adaptés à votre contexte
Choisir et implanter un outil de de test
LES ÉVALUATIONS D’HENIX
• DOCUMENTS DE RÉFÉRENCE :
– Matrice de synthèse des résultats des outils évalués par Henix pour le Club
Qualité Logicielle.
– Résultats bruts des évaluations (disponibles sur le Google Docs)
• OUTILS ÉVALUÉS
1310/04/2014
Outils open source
LA référence
open source
Outils propriétaires
ENTERPRISE EDITION (*)Outil utilisé
par l’un de nos
clients
Outil cité sur
notre forum
Leader marché
Choisir et implanter un outil de de test
ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
1410/04/2014
1989 (Mercury Interactive)
Propriétaire
ALM 11 (HP ALM 12 sortie en mars 2014)
HP
On-Premise ou SaaS
8k€ par an par utilisateur
18 à 20% du coût d’achat
Client semi-léger (Active X)
Pas de visibilité publique
FICHE D’OUTIL : HP ALM 11
De nombreuses extensions vers (produits HP (PPM, Sprinter), SAP..)
QTP / UFT





 
Une majorité de Grands Comptes (Banque, Assurances…)
Jusqu’à 2000 utilisateurs simultanés en Europe, 20 000 nommés
Choisir et implanter un outil de de test
LES RÉSULTATS : HP ALM 11
1510/04/2014
Un outil complet et
modulable
Un outil stable et performant
mais au déploiement
contraignant
Un outil intuitif mais
demandant un effort
initial à la prise en main
Un outil populaire,
mature et pérenne
Choisir et implanter un outil de de test
LES RÉSULTATS : HP ALM 11
POINTS FORTS :
 Richesse fonctionnelle, outil le plus complet
 Leader historique
 Reporting riche et personnalisable
LIMITES :
 Pas de gestion inter projets
 Gestion multi projets non native
 Coûts importants (licences et maintenance)
 « Faux » client léger (ActiveX)
 Socle technique vieillissant
 Faible qualité de service du support
POINTS DE VIGILANCE :
 Outil complexe avec un coût d’administration
1610/04/2014Choisir et implanter un outil de de test
ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
1710/04/2014
?
Propriétaire
1.0.9.g
Referty
On-Premise
17 430 € pour 10 utilisateurs (avec plugins)
20% du coût d’achat
Client lourd
Pas de visibilité publique
FICHE D’OUTIL : REFERTEST 1.0.G
Plugins vers des BBD commerciales
TestComplete, QTP, Sélénium…
JIRA, Mantis, Bugzilla





 
SSII
?
Choisir et implanter un outil de de test
LES RÉSULTATS : REFERTEST 1.0.G
1810/04/2014
Un outil complet et
avancé
Un outil de type ‘client lourd’,
contraignant dans son
déploiement
Un outil ergonomique
et intuitif
Un outil peu connu,
opaque et dont la
pérennité est sujette à
caution
Choisir et implanter un outil de de test
LES RÉSULTATS : REFERTEST 1.0.G
POINTS FORTS :
 Fonctionnel riche
 Bonne ergonomie
LIMITES :
 Technologie client lourd
 Pas de communauté utilisateur (pas de forum)
 Coûts élevés
POINTS DE VIGILANCE :
 Pérennité (développé par une petite structure (2p)
1910/04/2014Choisir et implanter un outil de de test
ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2010/04/2014
2007
Propriétaire
4.0 (version 4.5 sortie en juillet 2013)
Zephyr
On-Premise (SaaS annoncé)
960 $/an/utilisateur
Inclus
Client léger
Pas de visibilité
FICHE D’OUTIL : ZÉPHYR 4.0
QTP, Jenkins, Sélénium…
JIRA, Bugzilla





 
AOL, Barnes & Nobles, Dell
?
Choisir et implanter un outil de de test
LES RÉSULTATS : ZÉPHYR 4.0
2110/04/2014
Un outil incomplet sur
les fonctionnalités
critiques
Un outil full web, facilement
déployable et stable
Un outil demandant un
effort d’appropriation
conséquent (workflow
de travail peu intuitif)
Un outil mature, actif
mais encore peu connu
Choisir et implanter un outil de de test
LES RÉSULTATS : ZÉPHYR 4.0
POINTS FORTS :
 Module de reporting très riche
 Adapté aux méthodes agiles (gestion des sprints)
 Intégration native avec JIRA
LIMITES :
 IHM trop riche et confuse
 Technologie Flash©
POINTS DE VIGILANCE :
 Contrainte d’organisation du patrimoine de test autour de la
notion de version applicative
2210/04/2014Choisir et implanter un outil de de test
ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2310/04/2014
2005
Open Source
1.9.6 (version 1.9.9 sortie en novembre 2013)
Communauté
On-Premise
Gratuit
Pas de support / maintenance professionnel
Client léger
Pas de visibilité publique
FICHE D’OUTIL: TESTLINK 1.9.6
Jenkins (réalisé pour Testlink)
JIRA, Mantis, Bugzilla, Trac





 
Grands Comptes (Ministères, Banque, Assurance)
Quelques dizaines d’utilisateurs concurrents
Choisir et implanter un outil de de test
LES RÉSULTATS : TESTLINK 1.9.6
24
Des manques sur la
gestion transverse, des
exigences, des anomalies
et de l’automatisation
Un outil full web, facilement
déployable mais incertain sur
les perfs
Un outil peu intuitif,
avec quelques principes
ergonomiques mais peu
de doc.
Un outil populaire,
mature mais au mode
de gouvernance opaque
10/04/2014Choisir et implanter un outil de de test
LES RÉSULTATS : TESTLINK 1.9.6
POINTS FORTS :
 Communauté d’utilisateur importante (la plus active des
outils open source)
 Technologie full web
LIMITES :
 Workflow de travail déroutant, peu intuitif
 Projet peu actif (une release majeure tous les ~18 mois)
 Pas de support professionnel
POINTS DE VIGILANCE :
 Performance ? (modèle de données concentré sur une
table principale, mélange de code objet et non objet)
 Commiters sont peu nombreux et peu ouverts à
l’intégration de développements issus de sociétés tierces.
2510/04/2014Choisir et implanter un outil de de test
ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2610/04/2014
2011
Open source
1.9.0
Henix
On-Premise (version open source ou commerciale) ou SaaS
Gratuit sur open source ou 6 000 €/an (licence) ou 15 000€/an (SaaS)
Inclus avec licence et SaaS
Client léger
Visibilité jusqu’à fin 2014
FICHE D’OUTIL : SQUASH TM 1.9.0
Reporting (et LDAP, Wizard avec licence commerciale)
Natif avec Squash TA
JIRA, Mantis





 
Grands Comptes (Ministères, Banque, Assurances, Aviation…)
Une centaine d’utilisateurs concurrents
Choisir et implanter un outil de de test
LES RÉSULTATS : SQUASH TM 1.9.0
2710/04/2014
Des fonctionnalités
complètes et matures à
améliorer sur la gestion
transverse
Un outil full web, facilement
déployable et stable
Un outil intuitif, facile à
prendre en main et bien
documenté
Un outil actif, mature,
transparent mais plus
récent et moins
populaire
Choisir et implanter un outil de de test
LES RÉSULTATS : SQUASH TM 1.9.0
POINTS FORTS :
 Bonne couverture fonctionnelle
 Nativement multi et inter projets
 Technologie full web
 Ergonomique et intuitif
LIMITES :
 Peu d’API à ce jour
 Options basiques de reporting
POINTS DE VIGILANCE :
 Outil relativement récent (depuis septembre 2011)
2810/04/2014Choisir et implanter un outil de de test
LA SYNTHÈSE
2910/04/2014
Avoir des fonctionnalités riches,
matures, et complètes...
Permettre un déploiement facile, rapide
et sans contraintes, notamment à des
utilisateurs externes à l’organisation...
Faciliter l’appropriation par les
futurs utilisateurs...
Réduire mes coûts, avec une
garantie de support/maintenance...
Pouvoir faire évoluer l’outil pour
couvrir mes besoins spécifiques...
Choisir et implanter un outil de de test
LA CHECK-LIST
D’IMPLANTATION
3010/04/2014Choisir et implanter un outil de de test
LA DÉMARCHE
• OBJECTIFS :
– Cadrer les modalités de la mise en œuvre : Quelle architecture technique cible?
Quelle stratégie de migration ? Quel accompagnement du changement
• OUTILS:
– Check-lists d’implantation du choix d’outil
• DÉMARCHE
– Identifier, valider la faisabilité technique et (faire) chiffrer des éventuelles
évolutions fonctionnelles.
– Définir la stratégie de migration.
– Cadrer et chiffrer la phase d’accompagnement au déploiement.
3110/04/2014Choisir et implanter un outil de de test
LA CHECK-LIST D’IMPLANTATION
1/ STRATÉGIE DE DÉPLOIEMENT
– Quelle est l’architecture cible ?
– Quels sont les outils à intégrer dans la plateforme de recette (?
 Quels sont les flux entre les différents outils ? (référentiel de tests, de jeux de données, d’anomalies)
 Un lien avec la plateforme d’intégration continue doit-il être implémenté ? Un lien avec le gestionnaire
de configuration ?
– Quel dimensionnement des machines pour quelle utilisation cible ?
– Quelle architecture de déploiement ?
– Quelle procédures d’exploitation ? (monitoring, backup, reprise sur incident)
– Quel positionnement de l’outil par rapport aux projets ?
2/ STRATÉGIE DE MIGRATION
– Quelles sont les données à reprendre ? (exigences, cas de test, campagnes,
anomalies, utilisateurs, projets, paramétrages, etc...).
– Quel est le patrimoine existant ? (homogénéité, structuration, volumétrie)
– Quelles sont les contraintes? (planning, volumétrie, risques techniques)
– Quelles sont les modalités de récupération des données ? (migrateurs, import)
– Un support/maintenance a-t-il été mis à la disposition des utilisateurs ?
3210/04/2014Choisir et implanter un outil de de test
LA CHECK-LIST D’IMPLANTATION (SUITE)
3/ ACCOMPAGNEMENT DU CHANGEMENT
– Quelles sont les conventions d’utilisation de l’outil ?
– Quels sont les process cibles ?
– Quelles sont les normes et bonnes pratiques ?
– Des formations pour les utilisateurs ont-elles été planifiées ?
– Une assistance d’expertise fonctionnelle a-t-elle été mise à disposition des
utilisateurs ?
– Un accompagnement à la prise en main de l’outil a-t-il été mis en place ?
– Une cellule d’administration technique a-t-elle été mise à disposition ? Un
support (gestion des rôles et des droits) ?
– Quel process de mise à disposition de l’outil pour les projets ?
3310/04/2014Choisir et implanter un outil de de test

Contenu connexe

Tendances

Automatisation des tests
Automatisation des testsAutomatisation des tests
Automatisation des testsZhu Wei QI
 
Présentation Tests Fonctionnels
Présentation Tests FonctionnelsPrésentation Tests Fonctionnels
Présentation Tests FonctionnelsDATANYWARE.com
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logicielJean-Paul CARMONA
 
Xray for Jira - Overview
Xray for Jira - OverviewXray for Jira - Overview
Xray for Jira - OverviewXpand IT
 
Jira as a Test Management Tool
Jira as a Test Management ToolJira as a Test Management Tool
Jira as a Test Management ToolXpand IT
 
Jira as a Tool for Test Management
Jira as a Tool for Test ManagementJira as a Tool for Test Management
Jira as a Tool for Test ManagementMaija Laksa
 
Travaux de fin d exercice
Travaux de fin d exerciceTravaux de fin d exercice
Travaux de fin d exercicehassan1488
 
Agile Test Management Using Jira and Zephyr
Agile Test Management Using Jira and ZephyrAgile Test Management Using Jira and Zephyr
Agile Test Management Using Jira and ZephyrXBOSoft
 
Qualification Et Cycle De Vie Du Logiciel
Qualification Et Cycle De Vie Du LogicielQualification Et Cycle De Vie Du Logiciel
Qualification Et Cycle De Vie Du Logicieldanaobrest
 
Xray for Jira 3.0 - What's New?
Xray for Jira 3.0 - What's New?Xray for Jira 3.0 - What's New?
Xray for Jira 3.0 - What's New?Xpand IT
 
Support du cours : Programmation Web 2
Support du cours : Programmation Web 2Support du cours : Programmation Web 2
Support du cours : Programmation Web 2Faycel Chaoua
 
controle interne master.ppt
controle interne  master.pptcontrole interne  master.ppt
controle interne master.pptJabirArif
 
Module N°2 Manuel Qualité
Module N°2 Manuel QualitéModule N°2 Manuel Qualité
Module N°2 Manuel Qualitéguest966e53
 

Tendances (20)

Automatisation des tests
Automatisation des testsAutomatisation des tests
Automatisation des tests
 
XRAY for Jira
XRAY for JiraXRAY for Jira
XRAY for Jira
 
Présentation Tests Fonctionnels
Présentation Tests FonctionnelsPrésentation Tests Fonctionnels
Présentation Tests Fonctionnels
 
Qualite1
Qualite1Qualite1
Qualite1
 
Tests de performances
Tests de performancesTests de performances
Tests de performances
 
Introduction à la validation de logiciel
Introduction à la validation de logicielIntroduction à la validation de logiciel
Introduction à la validation de logiciel
 
Qualité logiciel - Generalités
Qualité logiciel - GeneralitésQualité logiciel - Generalités
Qualité logiciel - Generalités
 
QA Workflow
QA WorkflowQA Workflow
QA Workflow
 
Xray for Jira - Overview
Xray for Jira - OverviewXray for Jira - Overview
Xray for Jira - Overview
 
Jira as a Test Management Tool
Jira as a Test Management ToolJira as a Test Management Tool
Jira as a Test Management Tool
 
Jira as a Tool for Test Management
Jira as a Tool for Test ManagementJira as a Tool for Test Management
Jira as a Tool for Test Management
 
Travaux de fin d exercice
Travaux de fin d exerciceTravaux de fin d exercice
Travaux de fin d exercice
 
Agile Test Management Using Jira and Zephyr
Agile Test Management Using Jira and ZephyrAgile Test Management Using Jira and Zephyr
Agile Test Management Using Jira and Zephyr
 
Tests Logiciel
Tests LogicielTests Logiciel
Tests Logiciel
 
Methodes agiles
Methodes agilesMethodes agiles
Methodes agiles
 
Qualification Et Cycle De Vie Du Logiciel
Qualification Et Cycle De Vie Du LogicielQualification Et Cycle De Vie Du Logiciel
Qualification Et Cycle De Vie Du Logiciel
 
Xray for Jira 3.0 - What's New?
Xray for Jira 3.0 - What's New?Xray for Jira 3.0 - What's New?
Xray for Jira 3.0 - What's New?
 
Support du cours : Programmation Web 2
Support du cours : Programmation Web 2Support du cours : Programmation Web 2
Support du cours : Programmation Web 2
 
controle interne master.ppt
controle interne  master.pptcontrole interne  master.ppt
controle interne master.ppt
 
Module N°2 Manuel Qualité
Module N°2 Manuel QualitéModule N°2 Manuel Qualité
Module N°2 Manuel Qualité
 

Similaire à 20140410 - Choisir et implanter un outil de test

20130523 04 - Grille d'évaluation - Gestion du patrimoine de test
20130523 04 - Grille d'évaluation - Gestion du patrimoine de test20130523 04 - Grille d'évaluation - Gestion du patrimoine de test
20130523 04 - Grille d'évaluation - Gestion du patrimoine de testLeClubQualiteLogicielle
 
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...Squash Test
 
qualimétrie logiciel - Entreprise Software Analytic - nov 2015
qualimétrie logiciel -  Entreprise Software Analytic - nov 2015qualimétrie logiciel -  Entreprise Software Analytic - nov 2015
qualimétrie logiciel - Entreprise Software Analytic - nov 2015Julien Vq
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement MicrosoftChristophe HERAL
 
Tests utilisateurs mon amour (a11y)
Tests utilisateurs mon amour (a11y)Tests utilisateurs mon amour (a11y)
Tests utilisateurs mon amour (a11y)vincent aniort
 
Automatisation des tests - objectifs et concepts - partie 2
Automatisation des tests  - objectifs et concepts - partie 2Automatisation des tests  - objectifs et concepts - partie 2
Automatisation des tests - objectifs et concepts - partie 2Christophe Rochefolle
 
Accessibilité numérique et Industrialisation @Orange
Accessibilité numérique et Industrialisation @Orange Accessibilité numérique et Industrialisation @Orange
Accessibilité numérique et Industrialisation @Orange vincent aniort
 
Présentation QSOS aux RMLL 2007
Présentation QSOS aux RMLL 2007Présentation QSOS aux RMLL 2007
Présentation QSOS aux RMLL 2007Raphaël Semeteys
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxtestuser715939
 
Accéder au développement Dot.Net et Asp.Net
Accéder au développement Dot.Net et Asp.NetAccéder au développement Dot.Net et Asp.Net
Accéder au développement Dot.Net et Asp.NetFrédéric Vandenbriele
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)LeClubQualiteLogicielle
 
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365Benoit Jester
 
Boostez le ROI de vos dispositifs digitaux
Boostez le ROI de vos dispositifs digitauxBoostez le ROI de vos dispositifs digitaux
Boostez le ROI de vos dispositifs digitauxIdean France
 
NightClazz Build Tools & Continuous Delivery
NightClazz Build Tools & Continuous DeliveryNightClazz Build Tools & Continuous Delivery
NightClazz Build Tools & Continuous DeliveryZenika
 
Field research and interaction design: course #6
Field research and interaction design: course #6Field research and interaction design: course #6
Field research and interaction design: course #6nicolas nova
 
Fin de support Windows Server 2003, quelles options ?
Fin de support Windows Server 2003, quelles options ?Fin de support Windows Server 2003, quelles options ?
Fin de support Windows Server 2003, quelles options ?Microsoft Décideurs IT
 

Similaire à 20140410 - Choisir et implanter un outil de test (20)

20130523 04 - Grille d'évaluation - Gestion du patrimoine de test
20130523 04 - Grille d'évaluation - Gestion du patrimoine de test20130523 04 - Grille d'évaluation - Gestion du patrimoine de test
20130523 04 - Grille d'évaluation - Gestion du patrimoine de test
 
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
JFTL 2015 : Choix et déploiement d’un outil de test : Retours d’expérience su...
 
qualimétrie logiciel - Entreprise Software Analytic - nov 2015
qualimétrie logiciel -  Entreprise Software Analytic - nov 2015qualimétrie logiciel -  Entreprise Software Analytic - nov 2015
qualimétrie logiciel - Entreprise Software Analytic - nov 2015
 
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
[Scrum Day 2011] Outillage Agile dans un environnement Microsoft
 
Tests utilisateurs mon amour (a11y)
Tests utilisateurs mon amour (a11y)Tests utilisateurs mon amour (a11y)
Tests utilisateurs mon amour (a11y)
 
Automatisation des tests - objectifs et concepts - partie 2
Automatisation des tests  - objectifs et concepts - partie 2Automatisation des tests  - objectifs et concepts - partie 2
Automatisation des tests - objectifs et concepts - partie 2
 
20111004 05 - Présentation Squash
20111004 05 - Présentation Squash20111004 05 - Présentation Squash
20111004 05 - Présentation Squash
 
Accessibilité numérique et Industrialisation @Orange
Accessibilité numérique et Industrialisation @Orange Accessibilité numérique et Industrialisation @Orange
Accessibilité numérique et Industrialisation @Orange
 
Présentation QSOS aux RMLL 2007
Présentation QSOS aux RMLL 2007Présentation QSOS aux RMLL 2007
Présentation QSOS aux RMLL 2007
 
20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD20111004 04 - Présentation ATDD
20111004 04 - Présentation ATDD
 
Cerberus Testing
Cerberus TestingCerberus Testing
Cerberus Testing
 
RA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptxRA et CCDS - Séance 1.pptx
RA et CCDS - Séance 1.pptx
 
20110125 04 - Présentation Squash
20110125 04 - Présentation Squash20110125 04 - Présentation Squash
20110125 04 - Présentation Squash
 
Accéder au développement Dot.Net et Asp.Net
Accéder au développement Dot.Net et Asp.NetAccéder au développement Dot.Net et Asp.Net
Accéder au développement Dot.Net et Asp.Net
 
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)20120124 05 - Le Model-based Testing aujourd'hui (Inria)
20120124 05 - Le Model-based Testing aujourd'hui (Inria)
 
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365
SharePoint Days Casablanca 2016 - Migration vers SharePoint 2016 et office 365
 
Boostez le ROI de vos dispositifs digitaux
Boostez le ROI de vos dispositifs digitauxBoostez le ROI de vos dispositifs digitaux
Boostez le ROI de vos dispositifs digitaux
 
NightClazz Build Tools & Continuous Delivery
NightClazz Build Tools & Continuous DeliveryNightClazz Build Tools & Continuous Delivery
NightClazz Build Tools & Continuous Delivery
 
Field research and interaction design: course #6
Field research and interaction design: course #6Field research and interaction design: course #6
Field research and interaction design: course #6
 
Fin de support Windows Server 2003, quelles options ?
Fin de support Windows Server 2003, quelles options ?Fin de support Windows Server 2003, quelles options ?
Fin de support Windows Server 2003, quelles options ?
 

Plus de LeClubQualiteLogicielle

20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOpsLeClubQualiteLogicielle
 
20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certificationsLeClubQualiteLogicielle
 
20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez EngieLeClubQualiteLogicielle
 
20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practicesLeClubQualiteLogicielle
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle LeClubQualiteLogicielle
 
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...LeClubQualiteLogicielle
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven developmentLeClubQualiteLogicielle
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?LeClubQualiteLogicielle
 
20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle 20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle LeClubQualiteLogicielle
 
20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continueLeClubQualiteLogicielle
 
20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impactLeClubQualiteLogicielle
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologieLeClubQualiteLogicielle
 
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...LeClubQualiteLogicielle
 
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...LeClubQualiteLogicielle
 
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...LeClubQualiteLogicielle
 
20130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 201320130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 2013LeClubQualiteLogicielle
 
20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBMLeClubQualiteLogicielle
 
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...LeClubQualiteLogicielle
 
20130523 02 - BREDForge foundations - Gense et perspectives
20130523 02 - BREDForge foundations -  Gense et perspectives20130523 02 - BREDForge foundations -  Gense et perspectives
20130523 02 - BREDForge foundations - Gense et perspectivesLeClubQualiteLogicielle
 

Plus de LeClubQualiteLogicielle (20)

20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps20171122 03 - Les tests de performance en environnement DevOps
20171122 03 - Les tests de performance en environnement DevOps
 
20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications20171122 04 - Automatisation - formation et certifications
20171122 04 - Automatisation - formation et certifications
 
20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie20171122 01 - REX : Intégration et déploiement continu chez Engie
20171122 01 - REX : Intégration et déploiement continu chez Engie
 
20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices20171122 02 - Engage developers to use better coding practices
20171122 02 - Engage developers to use better coding practices
 
20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle 20171122 - Accueil Club Qualité Logicielle
20171122 - Accueil Club Qualité Logicielle
 
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
20151013 - Crédit Mutuel ARKEA : mise en place d'une traçabilité outillée des...
 
20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development20151013 - Agirc arrco : Behavior driven development
20151013 - Agirc arrco : Behavior driven development
 
20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?20151013 - Réduire les coûts des tests de performance ?
20151013 - Réduire les coûts des tests de performance ?
 
20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle 20151013 - Accueil Club Qualité Logicielle
20151013 - Accueil Club Qualité Logicielle
 
20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue20151013 - DevOps et qualification continue
20151013 - DevOps et qualification continue
 
20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact20140410 - Cartographie applicative multi-technologies et analyse d'impact
20140410 - Cartographie applicative multi-technologies et analyse d'impact
 
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
20140410 - Implémentation de squash TM-TA - Architecture et méthodologie
 
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
20140410 - Gestion des identités, traçabilité des accés - Analogie avec la qu...
 
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
20130113 02 - TMMI, un modèle pour rentabiliser une organisation de test et a...
 
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
20130113 06 - Travaux de recherche sur la corrélation entre qualité du code e...
 
20130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 201320130113 05 - Inspection continue et roadmap 2013
20130113 05 - Inspection continue et roadmap 2013
 
20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM20130113 04 - Tests d'integration et virtualisation - La vision IBM
20130113 04 - Tests d'integration et virtualisation - La vision IBM
 
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...20130523 06 - The mathematics the way algorithms think / the mathematics the ...
20130523 06 - The mathematics the way algorithms think / the mathematics the ...
 
20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity20130523 05 - Cyclomatic complexity
20130523 05 - Cyclomatic complexity
 
20130523 02 - BREDForge foundations - Gense et perspectives
20130523 02 - BREDForge foundations -  Gense et perspectives20130523 02 - BREDForge foundations -  Gense et perspectives
20130523 02 - BREDForge foundations - Gense et perspectives
 

20140410 - Choisir et implanter un outil de test

  • 1. Auteurs: Choisir et implanter un outil de test Club Qualité Logicielle – 10/04/2014 Safi Virginius (svirginius@henix.fr)
  • 2. SOMMAIRE 2Choisir et implanter un outil de de test 10/04/2014 • Etat des lieux du marché • La démarche de choix et d’implantation • La matrice d’évaluation • Le dossier de choix d’outillage • L’étude d’implantation
  • 3. ETAT DES LIEUX DU MARCHÉ • L’offre d’outillage de gestion des patrimoines de test est en pleine expansion et propose de plus en plus de solutions : propriétaire ou open source, client lourd ou léger, en mode client-serveur ou SaaS, avec un bugtracker natif ou interfacé, etc.. 3 • Face à cette multiplication de l’offre, comment s’assurer que l’outil choisi permet une gestion des exigences, des cas et pas de test, des exécutions et des anomalies et répond à ses besoins spécifiques ? Choisir et implanter un outil de de test
  • 4. LA DÉMARCHE DE CHOIX ET D’IMPLANTATION • OBJECTIFS : – Présenter une méthodologie de choix et d’implantation d’outillage structurée, factuelle, transposable. • DÉMARCHE – Identifier les besoins – Choisir l’outillage adapté au moyen du dossier de choix – Cadrer l’implantation de l’outil cible en réalisant une étude préalable • LIVRABLES – Matrice d’évaluation – Dossier de choix d’outillage – Check-list de l’étude d’implantation 410/04/2014 Identification des besoins Etude de choix d’outillage Etude d’implantation d’outillage POC POCPas de POC Choisir et implanter un outil de de test
  • 5. LES LIVRABLES EN MARQUE BLANCHE • Trois livrables principaux sont donc proposés en marque blanche : une matrice d’évaluation, un dossier de choix d’outillage et une check-list d’implantation. 5Choisir et implanter un outil de de test Matrice d’évaluation Dossier de choix d’outillage Etude d’implantation CHOIXDEL’OUTIL IMPLEMENTATION DUCHOIXDEL’OUTIL La version 2014-1 de ces livrables sera disponible en téléchargement libre sur le site du Club Qualité Logicielle et à terme sur le site du projet Squash au format .xls pour la matrice d’évaluation et .ppt pour le dossier de choix et la check-list d’implantation.
  • 6. LA MATRICE D’ÉVALUATION 610/04/2014Choisir et implanter un outil de de test
  • 7. LES AXES D’ÉVALUATION L’évaluation réalisée pour chaque outil se base sur cinq axes répondant aux besoins identifiés pour un gestionnaire de patrimoine de test: I. Adéquation fonctionnelle : – 10 critères : II. Ergonomie et prise en main : – L’outil est-il facile à utiliser ? A appréhender ? – Le workflow de travail est-il efficace ? Favorise-t-il la productivité ? III. Qualité technique : – L’outil est-il facile à déployer ? A exploiter ? – Est-il performant ? Stable ? – Est-il facilement interfaçable avec des systèmes tiers ? IV. Pérennité : – La communauté des développeurs ou l’éditeur est-il actif ? Réactif ? – L’outil est-il populaire ? La communauté des utilisateurs est-elle importante ? Active ? – Quel est le mode gouvernance ? V. Coûts : – Quel coût de licence ? De support/maintenance ? – Quelle stratégies d’accès aux versions majeures ? 7 1.Exigences 2.Cas de test 3.Pas de Test 4.Scénarios 5.Campagnes 6.Exécutions 7.Anomalies 8.Transverse 9.Administration 10.Automatisat° 10/04/2014Choisir et implanter un outil de de test
  • 8. FOCUS : LA MATRICE D’ÉVALUATION 8 Fonctionnalité / Exigence Poids Note SquashTM 1.4.0 Note TestLink 1.9.3 Note Zephyr4.0 Note Refertest 1.0.9.g 01 - Adéquation fonctionnelle 3.49 2.94 3.02 3.71 01 - Exigence 3.85 3.11 3.08 3.67 Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description, Auteur 64 4 4 4 3 Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 16 4 1 3 4 Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée, obsolète) 16 4 4 2 4 06- Exécution 3.86 3.27 3.39 4.00 Le statut et l'horodatage sont-ils bien enregistrés pour chaque étape de l'exécution ? 16 4 0 4 4 Les attributs de base sont-ils bien disponibles : Résultat constaté, Statut (à exécuter, obsolète…), Date, Utilisateur 64 4 4 4 4 Existe-t-il des champs (timestamp de début et de fin) permettant de tracer le temps passé par les testeurs à l'exécution des tests ? 1 1 0 0 4 02 - Ergonomie et Prise en main 3.80 2.48 2.52 3.53 01- Facilité d'utilisation 3.73 2.76 2.80 3.73 L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de clics, écrans facilement lisibles) ? 64 4 2 4 3 L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis (puces, liens hypertexte, polices, couleurs, images…) ? 4 4 4 1 4 02- Facilité d'appropriation 3.96 1.83 1.87 3.06 La réalisation des actions de base est-elle suffisamment intuitive pour qu'un nouvel utilisateur puisse se débrouiller seul ? (les actions de base sont : créer /consulter une exigence, créer/consulter un cas de test / Exécuter des tests) 64 4 2 2 3 Un guide utilisateur complet est-il disponible en français ? 16 4 0 0 4 03 - Qualité technique 3.77 3.64 2.87 1.97 01- Implantation et portabilité 3.81 3.63 2.45 1.02 La configuration minimum pour le poste serveur est-elle faible ? 4 4 4 3 2 Les systèmes d'exploitations sur lesquels tournent le logiciel sont-il compatibles avec les prérequis du client ? (préciser en commentaires les OS et leurs version) 16 4 3 3 1 Quel degré de compatibilité l'outil a-t-il avec les bases de données ? 16 4 1 1 1 La configuration minimum pour le poste client est-elle faible ? 16 4 4 3 3 L'outil supporte t-il les navigateurs les plus courants (IE, Firefox, Chrome). Si non, préciser les restrictions 64 4 4 4 0 Pondération des questions Notes des différents outils Moyenne pondérée par sous-critère Moyenne pondérée par critère 10/04/2014Choisir et implanter un outil de de test
  • 9. LE MÉCANISME DE CONTRIBUTION 910/04/2014 • BÉNÉFICES : – Mise à disposition de grilles vierges d’évaluation – Accès à l’ensemble des évaluations réalisées (panels d’outils, versions d’outils) – Accès aux résultats intermédiaires consolidés Ouverture d’un compte Google Docs Evaluation Soumission Relecture Consolidation Choisir et implanter un outil de de test
  • 10. LA NOTATION ET LES PONDÉRATIONS • Chaque question est évaluée selon une note de 0 à 4 : –   la fonctionnalité / l’exigence n’est pas du tout satisfaite Exemple : pas de fonctionnalité d’export –   la fonctionnalité proposée fait le « minimum » Exemple : l’intégralité des champs « critiques » ne sont pas disponibles dans l’export. –   la fonctionnalité répond partiellement au besoin Exemple : tous les champs n’apparaissent pas dans l’export. –   la fonctionnalité répond au besoin mais pourrait-être améliorée Exemple : export possible et complet, mais l’export prend beaucoup de temps (1 à 2 minutes). –   la fonctionnalité est pleinement satisfaite, de façon optimale Exemple : fonctionnalité d’export de tout ou partie de la bibliothèque, avec l’exhaustivité des champs et dans différents formats cibles. • Chaque question est pondérée : – Pondération en base 4 : ● 64  Exigences critiques/bloquantes ● 16  Exigences importantes ● 4  Exigences mineures, de confort ● 1  Exigences mineures – Pondération discriminante = notes globales plus éclatées et mieux représentatives des exigences. – Pondérations à faire varier en fonction de ses besoins. 1010/04/2014Choisir et implanter un outil de de test
  • 11. DOSSIER DE CHOIX D’OUTILLAGE 1110/04/2014Choisir et implanter un outil de de test
  • 12. PRÉSENTATION DU DOSSIER DE CHOIX 1210/04/2014 • OBJECTIFS : – Rappeler les besoins – Evaluer de manière objective les outils short-listés par rapport aux besoins – Le cas échéant, cadre le POC pour vérifier l’adéquation de l’outil – Identifier l’outil de test répondant aux besoins – Arriver à un GO/ NO GO pour l’étude d’implantation • OUTILS: – Matrice des évaluations du CQL(et jeux de pondération associés) • DÉMARCHE – Adapter la grille d’évaluation aux besoins identifiés via le jeu des pondérations – Ajuster, valider l’évaluation des outils des tests. – Synthétiser et restituer les résultats adaptés à votre contexte Choisir et implanter un outil de de test
  • 13. LES ÉVALUATIONS D’HENIX • DOCUMENTS DE RÉFÉRENCE : – Matrice de synthèse des résultats des outils évalués par Henix pour le Club Qualité Logicielle. – Résultats bruts des évaluations (disponibles sur le Google Docs) • OUTILS ÉVALUÉS 1310/04/2014 Outils open source LA référence open source Outils propriétaires ENTERPRISE EDITION (*)Outil utilisé par l’un de nos clients Outil cité sur notre forum Leader marché Choisir et implanter un outil de de test
  • 14. ANNÉE DE CRÉATION MODÈLE VERSION EDITEUR COMMERCIALISATION COÛTS D’ACHAT SUPPORT / MAINTENANCE DÉPLOIEMENT ROADMAP RÉFÉRENCES PLATEFORMES EN PRODUCTION Informations GESTION DU PATRIMOINE Exigences Cas de test Campagnes GESTION DES ANOMALIES Intégré Interfacé GESTION DE L’AUTOMATISATION Intégré Interfacé PLUGINS / EXTENSIONS Périmètre 1410/04/2014 1989 (Mercury Interactive) Propriétaire ALM 11 (HP ALM 12 sortie en mars 2014) HP On-Premise ou SaaS 8k€ par an par utilisateur 18 à 20% du coût d’achat Client semi-léger (Active X) Pas de visibilité publique FICHE D’OUTIL : HP ALM 11 De nombreuses extensions vers (produits HP (PPM, Sprinter), SAP..) QTP / UFT        Une majorité de Grands Comptes (Banque, Assurances…) Jusqu’à 2000 utilisateurs simultanés en Europe, 20 000 nommés Choisir et implanter un outil de de test
  • 15. LES RÉSULTATS : HP ALM 11 1510/04/2014 Un outil complet et modulable Un outil stable et performant mais au déploiement contraignant Un outil intuitif mais demandant un effort initial à la prise en main Un outil populaire, mature et pérenne Choisir et implanter un outil de de test
  • 16. LES RÉSULTATS : HP ALM 11 POINTS FORTS :  Richesse fonctionnelle, outil le plus complet  Leader historique  Reporting riche et personnalisable LIMITES :  Pas de gestion inter projets  Gestion multi projets non native  Coûts importants (licences et maintenance)  « Faux » client léger (ActiveX)  Socle technique vieillissant  Faible qualité de service du support POINTS DE VIGILANCE :  Outil complexe avec un coût d’administration 1610/04/2014Choisir et implanter un outil de de test
  • 17. ANNÉE DE CRÉATION MODÈLE VERSION EDITEUR COMMERCIALISATION COÛTS D’ACHAT SUPPORT / MAINTENANCE DÉPLOIEMENT ROADMAP RÉFÉRENCES PLATEFORMES EN PRODUCTION Informations GESTION DU PATRIMOINE Exigences Cas de test Campagnes GESTION DES ANOMALIES Intégré Interfacé GESTION DE L’AUTOMATISATION Intégré Interfacé PLUGINS / EXTENSIONS Périmètre 1710/04/2014 ? Propriétaire 1.0.9.g Referty On-Premise 17 430 € pour 10 utilisateurs (avec plugins) 20% du coût d’achat Client lourd Pas de visibilité publique FICHE D’OUTIL : REFERTEST 1.0.G Plugins vers des BBD commerciales TestComplete, QTP, Sélénium… JIRA, Mantis, Bugzilla        SSII ? Choisir et implanter un outil de de test
  • 18. LES RÉSULTATS : REFERTEST 1.0.G 1810/04/2014 Un outil complet et avancé Un outil de type ‘client lourd’, contraignant dans son déploiement Un outil ergonomique et intuitif Un outil peu connu, opaque et dont la pérennité est sujette à caution Choisir et implanter un outil de de test
  • 19. LES RÉSULTATS : REFERTEST 1.0.G POINTS FORTS :  Fonctionnel riche  Bonne ergonomie LIMITES :  Technologie client lourd  Pas de communauté utilisateur (pas de forum)  Coûts élevés POINTS DE VIGILANCE :  Pérennité (développé par une petite structure (2p) 1910/04/2014Choisir et implanter un outil de de test
  • 20. ANNÉE DE CRÉATION MODÈLE VERSION EDITEUR COMMERCIALISATION COÛTS D’ACHAT SUPPORT / MAINTENANCE DÉPLOIEMENT ROADMAP RÉFÉRENCES PLATEFORMES EN PRODUCTION Informations GESTION DU PATRIMOINE Exigences Cas de test Campagnes GESTION DES ANOMALIES Intégré Interfacé GESTION DE L’AUTOMATISATION Intégré Interfacé PLUGINS / EXTENSIONS Périmètre 2010/04/2014 2007 Propriétaire 4.0 (version 4.5 sortie en juillet 2013) Zephyr On-Premise (SaaS annoncé) 960 $/an/utilisateur Inclus Client léger Pas de visibilité FICHE D’OUTIL : ZÉPHYR 4.0 QTP, Jenkins, Sélénium… JIRA, Bugzilla        AOL, Barnes & Nobles, Dell ? Choisir et implanter un outil de de test
  • 21. LES RÉSULTATS : ZÉPHYR 4.0 2110/04/2014 Un outil incomplet sur les fonctionnalités critiques Un outil full web, facilement déployable et stable Un outil demandant un effort d’appropriation conséquent (workflow de travail peu intuitif) Un outil mature, actif mais encore peu connu Choisir et implanter un outil de de test
  • 22. LES RÉSULTATS : ZÉPHYR 4.0 POINTS FORTS :  Module de reporting très riche  Adapté aux méthodes agiles (gestion des sprints)  Intégration native avec JIRA LIMITES :  IHM trop riche et confuse  Technologie Flash© POINTS DE VIGILANCE :  Contrainte d’organisation du patrimoine de test autour de la notion de version applicative 2210/04/2014Choisir et implanter un outil de de test
  • 23. ANNÉE DE CRÉATION MODÈLE VERSION EDITEUR COMMERCIALISATION COÛTS D’ACHAT SUPPORT / MAINTENANCE DÉPLOIEMENT ROADMAP RÉFÉRENCES PLATEFORMES EN PRODUCTION Informations GESTION DU PATRIMOINE Exigences Cas de test Campagnes GESTION DES ANOMALIES Intégré Interfacé GESTION DE L’AUTOMATISATION Intégré Interfacé PLUGINS / EXTENSIONS Périmètre 2310/04/2014 2005 Open Source 1.9.6 (version 1.9.9 sortie en novembre 2013) Communauté On-Premise Gratuit Pas de support / maintenance professionnel Client léger Pas de visibilité publique FICHE D’OUTIL: TESTLINK 1.9.6 Jenkins (réalisé pour Testlink) JIRA, Mantis, Bugzilla, Trac        Grands Comptes (Ministères, Banque, Assurance) Quelques dizaines d’utilisateurs concurrents Choisir et implanter un outil de de test
  • 24. LES RÉSULTATS : TESTLINK 1.9.6 24 Des manques sur la gestion transverse, des exigences, des anomalies et de l’automatisation Un outil full web, facilement déployable mais incertain sur les perfs Un outil peu intuitif, avec quelques principes ergonomiques mais peu de doc. Un outil populaire, mature mais au mode de gouvernance opaque 10/04/2014Choisir et implanter un outil de de test
  • 25. LES RÉSULTATS : TESTLINK 1.9.6 POINTS FORTS :  Communauté d’utilisateur importante (la plus active des outils open source)  Technologie full web LIMITES :  Workflow de travail déroutant, peu intuitif  Projet peu actif (une release majeure tous les ~18 mois)  Pas de support professionnel POINTS DE VIGILANCE :  Performance ? (modèle de données concentré sur une table principale, mélange de code objet et non objet)  Commiters sont peu nombreux et peu ouverts à l’intégration de développements issus de sociétés tierces. 2510/04/2014Choisir et implanter un outil de de test
  • 26. ANNÉE DE CRÉATION MODÈLE VERSION EDITEUR COMMERCIALISATION COÛTS D’ACHAT SUPPORT / MAINTENANCE DÉPLOIEMENT ROADMAP RÉFÉRENCES PLATEFORMES EN PRODUCTION Informations GESTION DU PATRIMOINE Exigences Cas de test Campagnes GESTION DES ANOMALIES Intégré Interfacé GESTION DE L’AUTOMATISATION Intégré Interfacé PLUGINS / EXTENSIONS Périmètre 2610/04/2014 2011 Open source 1.9.0 Henix On-Premise (version open source ou commerciale) ou SaaS Gratuit sur open source ou 6 000 €/an (licence) ou 15 000€/an (SaaS) Inclus avec licence et SaaS Client léger Visibilité jusqu’à fin 2014 FICHE D’OUTIL : SQUASH TM 1.9.0 Reporting (et LDAP, Wizard avec licence commerciale) Natif avec Squash TA JIRA, Mantis        Grands Comptes (Ministères, Banque, Assurances, Aviation…) Une centaine d’utilisateurs concurrents Choisir et implanter un outil de de test
  • 27. LES RÉSULTATS : SQUASH TM 1.9.0 2710/04/2014 Des fonctionnalités complètes et matures à améliorer sur la gestion transverse Un outil full web, facilement déployable et stable Un outil intuitif, facile à prendre en main et bien documenté Un outil actif, mature, transparent mais plus récent et moins populaire Choisir et implanter un outil de de test
  • 28. LES RÉSULTATS : SQUASH TM 1.9.0 POINTS FORTS :  Bonne couverture fonctionnelle  Nativement multi et inter projets  Technologie full web  Ergonomique et intuitif LIMITES :  Peu d’API à ce jour  Options basiques de reporting POINTS DE VIGILANCE :  Outil relativement récent (depuis septembre 2011) 2810/04/2014Choisir et implanter un outil de de test
  • 29. LA SYNTHÈSE 2910/04/2014 Avoir des fonctionnalités riches, matures, et complètes... Permettre un déploiement facile, rapide et sans contraintes, notamment à des utilisateurs externes à l’organisation... Faciliter l’appropriation par les futurs utilisateurs... Réduire mes coûts, avec une garantie de support/maintenance... Pouvoir faire évoluer l’outil pour couvrir mes besoins spécifiques... Choisir et implanter un outil de de test
  • 31. LA DÉMARCHE • OBJECTIFS : – Cadrer les modalités de la mise en œuvre : Quelle architecture technique cible? Quelle stratégie de migration ? Quel accompagnement du changement • OUTILS: – Check-lists d’implantation du choix d’outil • DÉMARCHE – Identifier, valider la faisabilité technique et (faire) chiffrer des éventuelles évolutions fonctionnelles. – Définir la stratégie de migration. – Cadrer et chiffrer la phase d’accompagnement au déploiement. 3110/04/2014Choisir et implanter un outil de de test
  • 32. LA CHECK-LIST D’IMPLANTATION 1/ STRATÉGIE DE DÉPLOIEMENT – Quelle est l’architecture cible ? – Quels sont les outils à intégrer dans la plateforme de recette (?  Quels sont les flux entre les différents outils ? (référentiel de tests, de jeux de données, d’anomalies)  Un lien avec la plateforme d’intégration continue doit-il être implémenté ? Un lien avec le gestionnaire de configuration ? – Quel dimensionnement des machines pour quelle utilisation cible ? – Quelle architecture de déploiement ? – Quelle procédures d’exploitation ? (monitoring, backup, reprise sur incident) – Quel positionnement de l’outil par rapport aux projets ? 2/ STRATÉGIE DE MIGRATION – Quelles sont les données à reprendre ? (exigences, cas de test, campagnes, anomalies, utilisateurs, projets, paramétrages, etc...). – Quel est le patrimoine existant ? (homogénéité, structuration, volumétrie) – Quelles sont les contraintes? (planning, volumétrie, risques techniques) – Quelles sont les modalités de récupération des données ? (migrateurs, import) – Un support/maintenance a-t-il été mis à la disposition des utilisateurs ? 3210/04/2014Choisir et implanter un outil de de test
  • 33. LA CHECK-LIST D’IMPLANTATION (SUITE) 3/ ACCOMPAGNEMENT DU CHANGEMENT – Quelles sont les conventions d’utilisation de l’outil ? – Quels sont les process cibles ? – Quelles sont les normes et bonnes pratiques ? – Des formations pour les utilisateurs ont-elles été planifiées ? – Une assistance d’expertise fonctionnelle a-t-elle été mise à disposition des utilisateurs ? – Un accompagnement à la prise en main de l’outil a-t-il été mis en place ? – Une cellule d’administration technique a-t-elle été mise à disposition ? Un support (gestion des rôles et des droits) ? – Quel process de mise à disposition de l’outil pour les projets ? 3310/04/2014Choisir et implanter un outil de de test