Automatisation des tests: le mythe du ROI

3 792 vues

Publié le

Presentation done at Agile France 2011

Publié dans : Technologie
  • Soyez le premier à commenter

Automatisation des tests: le mythe du ROI

  1. 1. Automatisation des tests Le mythe du ROI <ul><li>Gilles Mantel </li></ul><ul><li>Agile France 2011 </li></ul>
  2. 2. Notion de base: types de tests <ul><li>Tests unitaires </li></ul><ul><li>Tests d’intégration </li></ul><ul><li>Tests fonctionnels </li></ul><ul><ul><li>Bout en bout </li></ul></ul><ul><ul><li>GUI </li></ul></ul><ul><ul><li>Exploratoires </li></ul></ul><ul><li>Tests de charge, performance, etc </li></ul><ul><li>Tests d’ergonomie, utilisabilité, etc </li></ul>
  3. 3. De quoi parle-t-on ? <ul><li>Tests unitaires </li></ul><ul><li>Tests d’intégration </li></ul><ul><li>Tests fonctionnels </li></ul><ul><ul><li>Bout en bout </li></ul></ul><ul><ul><li>GUI </li></ul></ul><ul><ul><li>Exploratoires </li></ul></ul><ul><li>Tests de charge, performance, etc </li></ul><ul><li>Tests d’ergonomie, utilisabilité, etc </li></ul>Forcément automatisés Forcément automatisés Forcément automatisés Non automatisable Non automatisable
  4. 4. De quoi parle-t-on ? <ul><li>Tests unitaires </li></ul><ul><li>Tests d’intégration </li></ul><ul><li>Tests fonctionnels </li></ul><ul><ul><li>Bout en bout </li></ul></ul><ul><ul><li>GUI </li></ul></ul><ul><ul><li>Exploratoires </li></ul></ul><ul><li>Tests de charge, performance, etc </li></ul><ul><li>Tests d’ergonomie, utilisabilité, etc </li></ul>Automatisable avec des robots
  5. 5. Formules de ROI <ul><li>ROI = Coût manuel – coût auto </li></ul><ul><li>Coût manuel: exécution des tests </li></ul><ul><li>Coût automatisé: license robots de test, fabrication des scripts, exécution et analyse des résultats, maintenance des scripts </li></ul>
  6. 6. ROI calculators
  7. 7. Courbes de coûts cumulés 2 1 3
  8. 8. En résumé <ul><li>Complexes / Fastidieuses </li></ul><ul><li>Beaucoup d’inconnues </li></ul><ul><ul><li>Prendre des décisions arbitraires </li></ul></ul><ul><li>Résultats peu enthousiasmants </li></ul><ul><li>Que manque-t-il ? </li></ul>
  9. 9. Coût d’une anomalie 1/3
  10. 10. Coût d’une anomalie 2/3
  11. 11. Coût d’une anomalie 3/3
  12. 12. <ul><li>Comment réintégrer la notion de coût d’une anomalie ? </li></ul><ul><li>Probabilité ? </li></ul><ul><li>Coût moyen ? </li></ul>
  13. 13. Option d’achat (call) <ul><li>Droit d’acheter un actif (sous-jacent) à un prix donné (strike) à une date donnée (maturité) </li></ul><ul><li>Paiement d’une prime pour acquérir ce droit </li></ul><ul><li>Je paye 10€ le droit d’acheter une action Google en Juillet 2011 au prix de 530$ </li></ul>
  14. 14. Modèle de gain Out of Money In the Money
  15. 15. Valeur d’une option
  16. 16. Coût d’une anomalie
  17. 17. Modèle de gain ROI
  18. 18. Modèle de gain ROI Coût des anomalies découvertes
  19. 19. Modèle de gain ROI Coût des anomalies découvertes Investissement consenti Coût des anomalies à ce jour
  20. 20. Investissement à consentir ? <ul><li>Dans une banque de finance: une anomalie en production coûte en moyenne 300 000 € </li></ul><ul><li>Chez un voyagiste: une indisponibilité de 1mn du site web coûte 20 000€ </li></ul><ul><li> Mesurez-vous ! </li></ul>
  21. 21. Investissement à consentir ? <ul><li>Et chez vous, combien coûte: </li></ul><ul><ul><li>un retard de livraison / mise en marché ? Voir le marketing </li></ul></ul><ul><ul><li>Coût des équipes de maintenance ? Voir le DSI </li></ul></ul><ul><ul><li>Perte opérationnelle sèche ? Voir le contrôleur de gestion </li></ul></ul><ul><ul><li>Impact négatif sur l’image ? Voir les commerciaux </li></ul></ul>www.xebia.fr / blog.xebia.fr
  22. 22. Investissement à consentir ?
  23. 23. Investissement à consentir ?
  24. 24. Pyramide de tests (Mike Cohn)
  25. 25. Quel ROI pour une équipe agile ?
  26. 26. Quel ROI pour une équipe agile ?
  27. 27. Où investir ? D’abord ici Puis là Et enfin un peu là
  28. 28. Investissement à consentir ?
  29. 29. Pyramide waterfall
  30. 30. Quel ROI pour un legacy ?
  31. 31. Quel ROI pour un legacy ?
  32. 32. Où investir ? D’abord ici Puis là Et enfin là
  33. 33. Conclusions <ul><li>Le ROI n’est pas une fonction directe du temps </li></ul><ul><li>Le ROI est fonction du coût de la non-qualité </li></ul><ul><li>Les pratiques agiles de tests tendent à réduire l’investissement nécessaire </li></ul><ul><li>Mesurez votre investissement par rapport à la non-qualité </li></ul>
  34. 34. Pour aller plus loin <ul><li>Auteurs: </li></ul><ul><li>F. Dubois </li></ul><ul><li>S. Le Mesle </li></ul>http://blog.xebia.fr/wp-content/uploads/2010/12/Livre-blanc-qualit%C3%A9-logicielle.pdf
  35. 35. MERCI <ul><li>Twitter: @gmantel </li></ul><ul><li>E-mail: gmantel@xebia.com </li></ul>This work is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 2.0 France License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-sa/2.0/fr/

×