Presentación realizada en CIBSE 2015 (Lima, Perú) sobre las experiencias en la Industria del software respecto a la Certificación del Producto con ISO/IEC 25000 a partir de las evaluaciones de la calidad del producto realizadas por AQC Lab.
2. 2
Presentación
Moisés Rodríguez Monje
Ingeniero Superior en Informática y Máster en Tecnologías
Informáticas Avanzadas por la UCLM
Auditor CISA por ISACA
Auditor Jefe por AENOR (ISO/IEC 15504 - 12207)
Socio-Director de Alarcos Quality Center, spin-off de la UCLM
Director de AQC Lab, primer laboratorio acreditado para la
evaluación de la calidad del producto software
Correo: moises.rodriguez@alarcosqualitycenter.com
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
3. Índice
3
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
4. Índice
4
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
6. Situación Actual
6
Demanda de
desarrollos software
Externalización del
desarrollo software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
7. Situación Actual
7
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
8. Situación Actual
8CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
9. Situación Actual
9CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
10. Situación Actual
10CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Solo en
España hay
60 empresas
certificadas
en ISO/IEC
15504
Fuente www.iso15504.es
11. Situación Actual
11CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
¿Es suficiente la calidad de
los procesos de desarrollo
para asegurar la calidad
del producto software?
12. Situación Actual
12
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
13. Situación Actual
13
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
Preocupación
centrada en la calidad
del producto
Necesidad de normas
y estándares, que
definan modelos y
procesos para la
evaluación de la
calidad del producto
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
14. Situación Actual
14
Demanda de
desarrollos software
Externalización del
desarrollo software
Necesidad de
controlar la calidad
software
Preocupación
centrada en la calidad
del producto
Necesidad de normas
y estándares, que
definan modelos y
procesos para la
evaluación de la
calidad del producto
software
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
15. Situación Actual
15
Familia de normas ISO/IEC 25000
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
16. Índice
16
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
17. Elementos Necesarios para la Evaluación del Producto
17
Resultados Revisión Sistemática
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
FUENTE: Rodríguez, M. and M. Piattini, Systematic review of software product certification, in CISTI
2012: 7th Iberian Conference on Information Systems and Technologies. 2012: Madrid. p. 631-636.
18. Elementos Necesarios para la Evaluación del Producto
18CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de
Evaluación
Herramientas de
Soporte
Modelo de
Calidad
19. Elementos Necesarios para la Evaluación del Producto
19CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Modelo de Calidad
Modelo
de
Calidad
OBJETIVO: Determinar las características del producto
software que se pueden evaluar
Funcionalidad, Usabilidad, Seguridad, Mantenibilidad…
Concretar las subcaracterísticas y las métricas de calidad
Identificar las relaciones entre características y subcaracterísticas
Concretar qué partes del producto software son objeto de la
medición y evaluación
Dificultad: definir los umbrales que determinan el nivel de calidad del
producto software
20. Elementos Necesarios para la Evaluación del Producto
20CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Modelo de Calidad ISO/IEC 25010
21. Elementos Necesarios para la Evaluación del Producto
21CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de Evaluación
OBJETIVO: Determinar las actividades a realizar para
evaluar la calidad del producto softwareProceso de
Evaluación
Seleccionar qué partes del producto software se evalúan
Identificar las características del modelo que se quieren evaluar
Describir los pasos a realizar para medir el producto software
Concretar las herramientas y configuración necesarias para realizar
la medición
Identificar las personas que participan en el proceso
Generar un informe de evaluación completo y entendible para el
público objetivo
22. Elementos Necesarios para la Evaluación del Producto
22CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Proceso de Evaluación ISO/IEC 25040
23. Elementos Necesarios para la Evaluación del Producto
23CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Herramientas de Soporte
OBJETIVO: Dar soporte a la medición y evaluación de
la calidad del producto softwareHerramientas
de Soporte
Facilitan las actividades adquisición de datos, medición del producto
y presentación de resultados
Permiten asegurar la repetibilidad de la evaluación
Reducen los tiempos necesarios para evaluar el producto software
Análisis estático vs. Análisis dinámico
Medición vs. Evaluación
Importancia de la configuración y personalización para la
visualización de resultados
24. Índice
24
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del
Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
25. Ecosistema para la Evaluación y Certificación del Producto
25CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
26. Ecosistema para la Evaluación y Certificación del Producto
26CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
27. Ecosistema para la Evaluación y Certificación del Producto
27CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000FUENTE: Rodríguez, M., Fernández, C.M., Piattini, M., ISO/IEC 25000 Calidad del Producto Software. AENOR.
Revista de la Normalización y la Certificación, 2013(288): p. 30-35.
28. Ecosistema para la Evaluación y Certificación del Producto
28CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación
29. Ecosistema para la Evaluación y Certificación del Producto
29CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación
30. 30CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
31. 31
Rango propio de
cada métrica
Rango de calidad de
0 a 100
Rango de calidad de
0 a 100
Niveles 1 a 5 Característica de
Calidad
Subcaracterística
1
Propiedad
1
Métrica 1 Métrica 2
Propiedad
2
Métrica 3
Subcaracterística
N
Propiedad
N
Métrica N
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
FUENTE: Rodríguez, M. and Piattini, M. (2014). Entorno para la Evaluación y Certificación de la Calidad del
Producto Software. XIX Jornadas de Ingeniería del Software y Bases de Datos JISBD’2014. Cadiz: 163-176.
32. 32CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
33. 33CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con
ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
34. 34
1er Laboratorio de Ensayo Acreditado por ENAC para Evaluación de la
Calidad del Producto Software
Disponer del personal cualificado y con experiencia.
Contar con el equipamiento y de las infraestructuras necesarias.
Aplicar métodos y procedimientos de trabajo validados y apropiados.
Emplear técnicas de evaluación de la calidad de los resultados.
Emitir informes de evaluación claros y precisos.
Poseer un sistema de aseguramiento de la calidad
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Ecosistema para la Evaluación y Certificación del Producto
AQC Lab: Laboratorio Acreditado de Evaluación
35. Ecosistema para la Evaluación y Certificación del Producto
35CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
AQC Lab: Laboratorio Acreditado de Evaluación
36. Índice
36
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y
Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
37. Proceso de Evaluación y Certificación
37
Ciclo Completo de Certificación
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
38. CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
Certificación del Producto Software
Productos Certificados
39. Proceso de Evaluación y Certificación
39
Resultados de los Primeros Productos Certificados
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
P1V1 P1V2 P2V1 P2V2 P3V1 P3V2 P4V1 P4V2
Mantenibilidad 2 5 2 4 2 4 2 3
Analizabilidad 41.67 98.44 18.75 80.36 37.5 85.71 41.67 68.75
Modularidad 43.75 100.0 37.5 81.25 43.75 85.42 68.75 68.75
Capacidad de Ser
Modificado
43.75 100.0 37.5 92.5 37.5 100.0 43.75 97.5
Capacidad de Ser
Reutilizado
46.88 100.0 37.5 82.5 16.67 97.5 46.88 62.5
Capacidad de Ser
Probado
43.75 100.0 20.0 82.14 37.5 85.71 43.75 68.75
40. Proceso de Evaluación y Certificación
40
Primeros Testimonios
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000
41. Índice
41
• Situación Actual1
• Elementos Necesarios2
• Ecosistema para Calidad del Producto3
• Proceso de Evaluación y Certificación4
• Conclusiones5
CIBSE 2015: Experiencias en la Industria del Software - Certificación del Producto con ISO/IEC 25000