Résultats 2013 de l'Observatoire CFTL des pratiques du test logiciel

1. Résultats 2013 de l’Observatoire CFTL des
pratiques du test logiciel
Bruno LEGEARD – SMARTESTING
Animateur du groupe de travail Observatoire du CFTL
Jeudi 23 mai 2013

2. L’Observatoire CFTL des Pratiques du Test
Logiciel
Objectifs:
– Cartographier les pratiques sur les différents
aspects du processus et des organisations de
test
– Permettre à chacun de se situer
– Suivre les évolutions et les tendances d’un
domaine en pleine mutation
Plus de 500 professionnels du test logiciel
ont répondu au 1er sondage

3. Marché du test : Tendances majeures
3
• La dépense liée au activités de test en France représente 3,3 Mds €.
• 40% de cette dépense reste internalisée.
• 50% de volume des dépenses externalisées est réalisé en mode projet/conseil et
l’autre moitié est allouée au fonctionnement des centres de services.
5,9%
5,6%
-1,7%
0,0%
-3,0%
-2,0%
-1,0%
0,0%
1,0%
2,0%
3,0%
4,0%
5,0%
6,0%
7,0%
11/12 12/13
Evolu on des croissances de marché
Marché des
services Tes ng
Marché des
services IT
Source PAC : Etude du marché Testing – 2012 – Présentation JFTL13
TCAM
15/11 :
+5%

4. Le Test répond aux challenges de la DSI
• Mise en perspective du test dans le contexte DSI :
• Une meilleure gestion du risque et de la conformité,
• Une standardisation des processus
• Un alignement métier optimisé.
4
Quel est le niveau
d’importance des
challenges IT ?
Sur une échelle allant de 1
à 5 où 1 = Pas du tout
important, 5 = Très
important
3,3
3,4
3,4
3,5
3,5
3,6
3,6
3,7
4,0
0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0 4,5
Alignement métier
Dématérialisation
Consolidation / Virtualisation d’infrastructures
Standardisation
Innovation en matière de process/produits/services
Gestion des données et stockage
Flexibilité
Gestion du risque et de la conformité
Réduction de coût
Source PAC : Etude DSI 350 – 2012 - Présentation JFTL13

5. Qui sont les sondés (1/2)
Dont 57 % en interne à leur société et 43 % en
prestation
0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 30,0% 35,0% 40,0% 45,0%
Testeur
Analyste de test
Analyste technique de test
Consultant de test
Gestionnaire d'environnements de test
Chef de projet de test / Responsable d'équipe
Responsable Processus, Méthodes et Outils

6. Qui sont les sondés (2/2)
Répartition par rôle entre interne et externe
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
80,00%
90,00%
Interne
Externe

7. Organisation des activités de test
• A 93 %, les sondés indiquent
que des testeurs dédiés sont
impliqués dans le projet
• Dans 58 % des cas, ils sont
dans une équipe de test
spécifique pour tout ou partie
des tests

8. • Un processus de test
documenté est disponible dans
72% des cas
• 75% des sondés indiquent
qu’un plan de test est mis en
œuvre (« toujours » ou
« souvent »)
Processus et plan de test

9. Techniques de conception des tests
0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%
A partir de spécifications ou d'exigences
formalisées
Test exploratoire, aléatoire ou statistique
A partir du code (en mode boite blanche)
Basé sur l'expérience, l'usage ou l'analyse
des défauts
Test négatifs ou d'attaque
A partir d'interviews et d'échanges oraux

10. Conception des tests
• Des spécifications formalisées sont
« toujours » ou « souvent »
présentes à plus de 80%
• A 57%, un niveau de risque
(criticité) est associé aux
exigences de test et utilisé pour
concevoir ou exécuter les tests

11. Bilan des activités de test
• Un bilan des activités de test
est « toujours » ou « souvent »
réalisé dans plus de 56% des
cas

12. Traçabilité bidirectionnelle
Quels liens de traçabilité bidirectionnelle sont mis en place ?
Besoins Exigences
Tests Code
Anomalies
51%
69%
22%
84% 30%

13. Outillage de test
0,0%
10,0%
20,0%
30,0%
40,0%
50,0%
60,0%
Gestion
des
exigences
Gestion
des tests Environn.
de test Gestion
des
données
de test
Disposez vous de solutions outillées ?
Solution éditeur
Solution open source ou dév.
interne
Ensemble de solutions
éditeurs, open source ou dév.
interne, selon projets
Aucune solution outillé

14. % d’automatisation
Moins de 10%
Entre 10 et 25%
Entre 25 et 50%
Entre 50 et 75%
Au delà de 75%
0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 30,0% 35,0% 40,0% 45,0% 50,0%

15. Les deux principales motivations citées pour
l’automatisation de l’exécution des tests
1. L’optimisation de la couverture
des tests de non-régression
2. La réduction de la durée des
campagnes de test

16. Facteurs de succès des projets de test
1. L’anticipation et la planification
des étapes de test en amont du
projet
2. Une stratégie de test identifiée et
partagée par tous les acteurs
3. L’existence d’une équipe
indépendante pour réaliser les
tests

17. Valorisation des métiers du test
Le test logiciel est choisi par plus 74% des sondés comme
orientation professionnelle
Considérez-vous votre
positionnement sur ce poste
comme une évolution de carrière
(promotion) ?

18. Vos commentaires (63)
Bonjour et merci pour la reconnaissance que vous
portez aux métiers du test logiciel encore mal connus
et mal perçus et pour la valeur ajoutée qui vous y
apportez. Consulter les personnes pour qui le test
logiciel est leur lot quotidien est la meilleure façon de
se rapprocher de notre dure réalité qu'est le bout de la
chaine alimentaire d'un logiciel. Cordialement.
Le test logiciel est aujourd’hui une Profession en voie
de reconnaissance, mais aussi une Communauté en
cours de structuration.

19. Observatoire du test logiciel : prochaine action ?
 Une édition tout les deux ans : permettre de mesurer les
évolutions
 En alternance, une mesure de la perception des enjeux et
pratiques de la qualité logicielle par les parties-prenantes
(DSI, Développeurs, Métiers) :
– Vision de l’extérieure sur les pratiques du test
– Identification des points positifs et d’amélioration du test logiciel
du point de vue des “bénéficiaires”
– 1ère édition du sondage réalisée fin 2013 / début 2014 pour une
présentation des résultats lors de la JFTL 2014
– Le Club Qualité Logicielle sera sollicité
19

20. Merci
Questions / Réponses
Les résultats complets sont fournis
sur le site www.cftl.fr
observatoire@cftl.fr
Fondé en 2004, le CFTL – Comité Français
des Tests Logiciels – est le chapitre français
de l’ISTQB – International Software Testing
Qualification Board.
Le CFTL gère les certifications ISTQB et
REQB.
Il mène aussi des actions pour le
développement de la communauté du test
logiciel en France :
• Fiches sur les Métiers du Test
• Observatoire des pratiques
• Journée JFTL (2013 – Plus de 450
personnes)
Plus d'informations sur www.cftl.fr
A propos du CFTL