1.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 2
Eric RIOU du COSQUER
TMMI: un modèle pour
rentabiliser une
organisation de test et
afficher son niveau

2.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 3
Pour l’utiliser de façon rentable
Connaître TMMi
Pourquoi investir sur le test? (Et son amélioration?)
Pour quelles raisons choisir TMMi?
En quoi consiste TMMi?
A quoi correspondent les 5 niveaux de TMMi?
Quelles sont les différentes façons d’utiliser TMMi?
Quel est votre niveau TMMi?
Quelle est la valeur ajoutée de TMMi?

3.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 4
Et son amélioration?
Pourquoi investir sur le
test?

4.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 5
Et rentabiliser leur développement
• Qualité = ?
• Utilisateurs finaux satisfaits par
o les caractéristiques fonctionnelles et non fonctionnelles
o l’absence de défaillances
• Coûts maîtrisés pour
o le développement
o la maintenance évolutive et corrective
• Garanties et risques limités
o de façon démontrable
• Quel est le coût du test?
• « 30 à 50% du coût de développement »
Pour augmenter la qualité des Logiciels ou
Systèmes d’Information

5.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 6
Et augmenter son efficacité
Pour optimiser son retour sur
investissement
Specification
& Design
Development
& Defect
correction
(coding)
Unitary
Testing
30 35 10
100 = total cost for one component, part of a release
Planification (
Strategy & Test
Plan creation)
Test Environment &
Installations
Creation of the Test
Cases
Execution of the
Test Cases
Follow-up meetings
& Reporting
7
100 = total cost for
integration
18
33
35
7
Planification (
Strategy & Test
Plan creation)
Test Environment &
Installations
Creation of the Test
Cases
Execution of the
Test Cases
Follow-up meetings
& Reporting
8
100 = total cost for UAT
22
30
32
8
Specification
& Design
55 25 20
100 = total cost for one major release including several systems
Component Level
Integration Level (Installation,
by blocks, End2End) UAT Level
2 by 2
(and
more)
Testing
15
Development
& Defect
correction
(coding)
Unitary
Testing
2 by 2
Testing
Support
to INT &
UAT
10

6.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 7
Plutôt qu’un autre modèle
Pour quelles raisons
choisir TMMi?

7.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 8
Qui se caractérise par
• Des normes et standards
• Ex: IEEE 830, IEEE 829, IEEE 1028, ISO 9126, ISO 29119…
• Des organismes de définition et certification des compétences
des métiers du test
• Ex: ISTQB, CFTL, REQB
• Des ouvrages ou publications sur le test
• Des outils de test (Editeur ou Open Source)
• Des échanges sur ce qui se fait sur le terrain
• Ex: club ECUME, club Qualimétrie/Qualité Logicielle
• Des pratiques spécifiques par métier et technologie
• Des modèles d’industrialisation et d’évaluation
• Ex: TPI, CTP, STEP, CMMi et…TMMi
Car il fait partie de l’« état de l’art »

8.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 9
Pour plusieurs raisons
• Il est indépendant de toute société
• Il est structuré et facilement reproductible
• Similarités par rapport à CMMi
• Il s’applique à tous les cycles de développement
• Il est disponible pour tous, ainsi que ses composants et ses
résultats
Car il se distingue des autres modèles

9.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 10
Les éléments à votre disposition
En quoi consiste TMMi?

10.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 11
Disponibles sur www.tmmi.org
1. TMMi : « Test Maturity Model integration » = le modèle
2. TAMAR: « TMMi Assessment Method Application
Requirements » = les exigences que doit satisfaire une
méthode d’évaluation
3. DSR: « Data Submission Requirements » = les éléments à
fournir à la Fondation TMMi pour
• Valider et publier une certification officielle
• Comptabiliser la participations des évaluateurs
3 éléments principaux

11.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 12
La Fondation publie la liste des organismes accrédités, des
évaluateurs et des organisations certifiées
des parties prenantes et des résultats

12.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 13
Avec des exemples
A quoi correspondent les
5 niveaux de TMMi?

13.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 14
De façon comparable au modèle CMMI
Un modèle structuré
Niveau de maturité
Efficacité du
Processus de
Test
Un But
Mise en
oeuvre
Indique Contient
Illustrent
Réalise Contient
Domaines de processus
Pratiques Génériques
et Spécifiques

14.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 15
Exemple pour le Domaine « Politique et Stratégie de Test »
Contenant des pratiques détaillées
SP 1.1 Définir les objectifs du test
Définir et maintenir les objectifs du test à partir des besoins et
objectifs métier.
Exemple de livrable
1. Objectifs de test
Sous-pratiques
1. Etudier les besoins et objectifs métier
Exemples de besoins et objectifs métier à étudier:
• Définition des objectifs
• Besoins métier et utilisateurs par rapport aux produits

15.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 16
Et leurs domaines de processus
Les 5 niveaux TMMi
(1) Initial
(
(4) Mesuré
Mesure du test
Evaluation de la qualité logicielle
Revues avancées
(3) Défini
Organisation de test
Programme de formation au test
Intégration du test dans le cycle de
développement
Test non-fonctionnel
(5) En Optimisation
Prévention des défauts Prevention
Optimisation du processus de test
Contrôle de la qualité
(2) Géré
Politique et Stratégie de test
Gestion du test et des risques
Suivi et Contrôle du test
Conception et Exécution des tests
Environnement de test

16.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 17
Selon vous
Quel est votre niveau
TMMi?

17.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 18
Dans votre organisation
Sur un périmètre particulier
(1) Initial
(
(4) Mesuré
Mesure du test
Evaluation de la qualité logicielle
Revues avancées
(3) Défini
Organisation de test
Programme de formation au test
Intégration du test dans le cycle de
développement
Test non-fonctionnel
(5) En Optimisation
Prévention des défauts Prevention
Optimisation du processus de test
Contrôle de la qualité
(2) Géré
Politique et Stratégie de test
Gestion du test et des risques
Suivi et Contrôle du test
Conception et Exécution des tests
Environnement de test

18.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 19
Enquête annuelle TMMI
Et « les autres » ?
Source: www.tmmi.org/pdf/TMMISurvey2012.pdf

19.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 20
Officielles ou informelles
Quelles sont les
différentes façons
d’utiliser TMMi?

20.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 21
Sans méthode ni évaluateur agréé
Totalement informelle

21.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 22
Avec une méthode et un évaluateur agréés
Informelle
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
3.1-Test Organisation
3.2-Test Training Programme
3.3-Test Life Cycle and Integration
3.4-Non-functional Testing
3.5-Peer Reviews
Level 3 Average Achievement 92%
Fully Achieved Largely Achieved Partially/Not Achieved Not Applicable/Not Rateable
85
%

22.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 23
Des résultats précis et exploitables pour une amélioration
Informelle
96% de réalisation du
niveau 2
92% de réalisation du
niveau 3 (à l’exclustion du
domaine de processus Test
Non-Fonctionnel)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
2.1-Test Policy and Strategy
2.2-Test Planning
2.3-Test Monitoring and Control
2.4-Test Design and Execution
2.5-Test Environments
3.1-Test Organisation
3.2-Test Training Programme
3.3-Test Life Cycle and Integration
3.4-Non-functional Testing
3.5-Peer Reviews
4.1-Test Measurement
4.2-Product Quality Evaluation
4.3-Advanced Reviews
Consolidated Average Achievement 94%

23.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 24
Avec une méthode, un évaluateur et un évaluateur directeur
agréés
Formelle
Les résultats sont
vérifiés et le niveau
est publié par la
fondation TMMI

24.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 25
En fonction de votre profil
Quelle est la valeur
ajoutée de TMMi?

25.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 26
Différents intérêts
• DSI, Responsable Qualité, Directeurs de projets
1. Améliorer ses pratiques avec des objectifs précis
2. Sélectionner un Fournisseur de TRA ou Offre de test
3. Fixer des objectifs lors de la création d’une organisation en test
• SSII proposant TRA /Offres de test
1. Améliorer ses pratiques avec des objectifs précis
2. Gagner des marchés de TRA/Offre de test grâce au niveau de
maturité affiché
Selon votre profil

26.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 27
Sur votre organisation en test et son amélioration
Et pour en savoir plus?

27.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 28
Pour estimer votre niveau de maturité
Evaluez-vous en ligne
https://fr.surveymonkey.com/s/Certilog_Evaluation_TMMi

28.
5, rue de Broglie, 22300 Lannion, France
+33 (0) 675 134 312
erdc@certilogtest.com
www.certilogtest.com 31/01/2013 29
Renseignez-vous
En anglais et en français!
• www.tmmi.org
• Certilog, Eric RIOU du COSQUER
• erdc@certilogtest.com
• www.certilogtest.com
• +33 (0) 675 134 312