Le document présente une réunion sur la gestion des tests et la qualité logicielle, proposant des retours d'expérience de clients ayant utilisé l'outil Xstudio dans des projets agiles. Il aborde des problématiques telles que l'efficacité des tests, la réduction des coûts et le time to market, tout en détaillant les méthodologies et outils utilisés. La nécessité d'une intégration continue et d'une automatisation des tests est soulignée, ainsi que l'importance de métriques de performance pour la gestion de la qualité.

1. DateBusiness Lunch
A la recherche d’un outil de Test
Management - Episode 1 - XStudio
18/01/2017
Commission Test Et Qualité Logicielle
Animateurs:
julien Van Quackebeke / CEO ALL4TEST

2. DateBusiness Lunch
Meetup:
https://www.meetup.com/fr-FR/Meetup-
Software-Testers-Club-Test-et-Qualite-
Logiciel/events/236116401/
Hub Linkedin:
https://www.linkedin.com/groups/8460876
Liens utiles

3. DateBusiness Lunch
Problématiques des entreprises
XStudio par Eric Gavaldo
Retours d’expérience clients
Projet agile, en cours d’agilité, autres
Tendances
Ordre du jour

4. DateBusiness Lunch
Problématique des entreprises
Time to Market
Expérience utilisateur
Qualité
Réduction Coût

5. DateBusiness Lunch
Comment rendre les tests efficaces ?
Qualité
Valeurs / principes
•Confiance / Innovation
•Collaboration et
Communication
•Testeurs dans l’équipe
de développement
Méthode
•Analyse de risques
(RRBT)
•Stratégie de test
•Pyramide de tests
Outils
•Test Management
•Intégration continue
•Automatisation

6. DateBusiness Lunch
• WHERE WE COME FROM
• WHERE WE STAND
– The project wheel
– KPIs
– Manual Testing
– Automated Testing
– Connectivity
– What About Agile?
• WHERE WE GO

7. DateBusiness Lunch
WHERE WE COME FROM

8. DateBusiness Lunch
Latest Stable Release
Under Development Release
2008 2009 2010 2011 2012 2013
0.3
0.4 0.5
0.6
0.7 1.0
1.1
1.2 1.3
1.4
1.5
1.6
1.7
1.9
2.0
1.8
2014
2.1
2.2
First stable
version
Beta Phase
2.4
2015
3.0
2016
2.3
3.1

9. DateBusiness Lunch
WHERE WE STAND

10. DateBusiness Lunch
SUTs/Releases
Requirements
Tests
Campaigns
Bugs
Specifications

11. DateBusiness Lunch

12. DateBusiness Lunch
AGILITY

13. DateBusiness Lunch
3 MAJOR METRICS WITH NO CLICK

14. DateBusiness Lunch
3 MAJOR METRICS WITH NO CLICK

15. AND MANY OTHERS…

16. MANUAL TESTING: DO IT THE WAY YOU PREFER

17. EXAMPLE – Tree Step Manual

18. EXAMPLE – Tabular Step Manual

19. AUTOMATION: BE SUPPORTED… ANYTIME
70+ Launchers

20. CONNECTIVITY
Orchestration
Access &
Rights
Management
Defects
Management
Requirements
Specifications
User Stories
Management
XSTUDIO
Integrates with your continuous
integration and deployment solution
DevOps
Integrates with your Access and
SSO
Security
Integrates with your
Requirements
Integrates with your
Issues

21. WHAT ELSE?
Automation
Continuous Integration / Scheduling
Tests Scanner / VC Integration
Distributed Execution
On-The-Spot Testing / Playground
Real-Time Reporting (Dashboard)
Sprints Managements

22. LIFE CHANGERS…
Exploratory Testing / PDNL
Smart Filters
Residual Campaigns
Merge Campaigns

23. PDNL (Procedure Description Natural Language)

24. …select tests covering a SUT
SMART FILTERS
i.e. Full Regression test campaigns
…select tests covering a set of Requirements i.e. Per-Features test campaigns
…select tests covering High-Risk Requirements i.e. Risk-Based test campaigns
…select tests per Priority i.e. Priority-Oriented test campaigns
…select tests per Attributes i.e. Custom Attributes filtered test
campaigns
…select tests covering a set of Bugs i.e. Bug-Closure test campaigns
A few examples of smart filters allowing to automatically…
Test campaigns can be designed Quickly and Reliably
Huge saving for Quality Managers

25. Carry on performing 1K tests throughout ALL cycles
VERY COSTLY WITH MANUAL TESTING
Initial
Campaign
(i.e. 1K tests)
Session 1 Session 2 Session 3 Session 4 Session 5
WITHOUT RESIDUAL CAMPAIGN

26. Initial
Camp.
1000
tests
Session 1 Session 2 Session 3 Session 4 Session 5
WITH RESIDUAL CAMPAIGN
450
tests
250
tests
80
tests
1000
tests

27. FOCUSONSPECIFICS(I.E.RISKS)
C1
Focused
on
module A
(100
tests)
C2
Focused
on
Module B
(80 tests)
C3
Focused
on
Module C
(160
tests)
C4
Full
system
(300
tests)
MERGED CAMPAIGNS
Session 1 Session 2
Session 3
Session 4 Session 5 Session 6

28. C1
Focused
on
module
A
(100
tests)
C2
Focused
on
Module B
(50 tests)
C3
Focused
on
Module
C
(110
tests)
RESIDUAL+MERGED CAMPAIGNS
Session
1
Session
2
Session
3
Session
4
Session
5
Session
6
C4
Focuse
d on
module
A+B
(130
tests)
C5
Full
System
(220
tests)

29. WHERE WE GO
• XStudio 3.1 delivered Yesterday
• Improved Performances
• XStudio.web
• REST API Extension
• XStudio 3.2 to be released Mid-June
• Integration of the Project Management Module
• Introduce Planning and Predictivity in all Existing
metrics
• Light-users Licensing
• Improved Usability/Ergonomy
• Automatic QC Importer
• Faster Report Generation

30. HPS Confidential - 30
A la recherche d’un outil de tests Management
XStudio
Retours d’expérience Clients
Docapost – Infogreffe
Docapost - Maileva

31. RETOUR D’EXPERIENCE : DOCAPOST - INFOGREFFE
Contexte :
• Site du GIE regroupant tous les greffes
• Projets de refonte: > 200 j/h
• Projets d’évolutions: 10j/h < Charge < 20j/h
• 6536 tests, manuels et automatisés
• 4100 exigences, 6536 cas de tests décrits
• 3 à 5 testeurs impliqués dans les processus de
validation

32. RETOUR D’EXPERIENCE : DOCAPOST - INFOGREFFE
Approche:
Projets Refonte: Cycle en V
• Description des exigences à partir des specifications
fonctionnelles
• Conception des cas de tests générés à partir des
exigences.
• Campagnes  sessions
• Gestions des anomalies via mantis
• Générations des campagnes résiduelles
• Merge des sessions pour consolidation - Rapports
• Campagnes de regression automatisées (UFT,
Selenium SoapUI) pilotées par Xstudio

33. RETOUR D’EXPERIENCE : DOCAPOST - INFOGREFFE
Approche :
Projets d’évolutions: Méthode “semi-Agile”
• Description des exigences (user story)
• Création des sessions exploratoires (liées aux
exigences)
• Génération des plans de tests à partir des sessions
exploratoires
• Reintégration de ces tests dans les campagnes de
régression
Projets d’évolutions: 10j/h < Charge < 20j/h

34. RETOUR D’EXPERIENCE: DOCAPOST - INFOGREFFE
Avantage de la solution
“XStudio”:
• Apporter une vision consolidée
des activités de tests
• Pilotage de nos applications
grâce à la qualité des métriques
• Fort gain de temps grâce : Test
Exploratoires, Campagnes
résiduelle + Merge session
• Utilisabilité : Agile / Cycle en V

35. RETOUR D’EXPERIENCE: DOCAPOST – Maileva - Paris
Contexte:
Solution de gestion et d’envois de documents
professionnels
• Multicanal - fax/mail/sms/e-mail
• Multi accés – Web, API, impr virtuelles, FTP, …
• Une version stable SiclV1
• Une version SiclV2 nouvelles technlogies
• Deux types de projets :
• Mode Agile – Maileva Pop, Services, …
• Mode MCO – évolutions du produit «SiclV2 » -
livraison (2 /mois)
• Testé avec Excel
• Industrialiser le processus de tests sur la
nouvelle version et les nouveaux projets
Méthode
Outils
Coach
agiles

36. RETOUR D’EXPERIENCE: DOCAPOST – Maileva - Paris
L’approche :
• Professionnaliser le test – 4 testeurs
• Développer les valeurs agiles
• Stratégie de tests
• Mettre en place Scrum au sein des
projets
Outiller les tests
• Test management
• Automatisation
Challenge
• Plusieurs projets en parralèle
• Agile et warterfall
Simplicité
Suivi
des
tests
• Sprints
• MCO
Rapports
• De Qualité
• Adaptés aux
différents
cycles
Agilité

37. RETOUR D’EXPERIENCE: DOCAPOST – Maileva - Paris
Tests
2393
Manuels
Automatisés
81,90%
40%
Intégration
Continue
Choix de l’outil Xstudio
• Facilité d’utilisation
• Connectivité – launcher SoapUI
• Intégration Continue
• Reporting instantané
• Rapports
Solution mise en place

38. RETOUR D’EXPERIENCE: DOCAPOST – Maileva - Paris
SUTs
(API REST/SOAP, IHM Web,
IHM Swing, Mobile.)
Requirements
(user story dans le cas des
projets Agile.)
Tests - 2393
(Manuels,
Automatiques)
Campagnes
/Sessions
(Cycles, Runs etc.)
Rapports
Import

39. HPS Confidential - 39
Exemple compagnes de tests
Exemple Tests Manuels (SiclV2 - projet Lettre Verte)
Exemple Tests Auto SOAP UI (Maileva Pop - projet Envoi)

40. Tendances - Test de Logiciels – Analyse
Analyse
35% du
CA de l’IT
+10%
en 2014
Automatisation
+28% à 45%
Tendance
Accélération
2016-2018
Importance
de la sécurité
Virtualisation
et Cloud
Agile et
Devops
From Gualtiero Bazzana – ISTQB® President – Paris April 2016
Source : Technavio Reports «Global Software Testing Service Market»
Source : VersionOne 10th Annual State of Agile Report
agile ?

41. http://www.xqual.com
For information, demo requests etc.
eric@xqual.com
Merci

42. DateBusiness Lunch
www.telecom-valley.fr