Charla ofrecida por Sebastián Vázquez en el marco de los Talleres durante la 3ra edición de Argentesting
¿Cuánto es el promedio que tardo yo o mi equipo en completar el proceso de pruebas? ¿Cuántas pruebas ejecuté, re ejecuté, u omití en los últimos x proyectos? ¿Cómo mido el tiempo desperdiciado para poder mejorar? ¿Le puedo hacer el control de calidad a mi proceso de pruebas?
Si tu respuesta es “no se” o “y… más o menos…” tenés que estar en esta presentación.
Voy a contarte cómo, construyendo un tablero de control que tome datos de tus herramientas de gestión de incidencias, podés medir fácilmente el esfuerzo de tu proceso y podés tener información para optimizar y mejorar continuamente tu actividad.
La presentación será realizada con soporte de Power Point, comentando sobre las métricas que se pueden utilizar para armar un dashboard o tablero de control en una herramienta de BI que toma como fuente de datos, los introducidos en las herramientas de gestión de incidentes y definición de casos de pruebas.
Este conocimiento puede ser orientado a los gerentes de calidad, encargados de pruebas, dueños de startups o incluso a testers que quieran profesionalizar su trabajo y quienes tengan una real preocupación por medir y conocer en detalle su proceso de pruebas, con el objetivo en mente de optimizar el proceso de inicio a fin.
El esquema de la presentación contiene una parte de introducción a la problemática (tal vez aceptada, postergada o desconocida pero existente) de no medir el proceso de pruebas o no tener datos históricos de proyectos anteriores, y los beneficios (y desventajas o impedimentos) de realizar esta actividad.
Otra parte de la presentación es la exposición de un caso real en el que se crea un tablero con información siempre actual, de los indicadores de los proyectos históricos y en ejecución del área de pruebas. En esta parte se comenta cuáles son las métricas que se consideran representativas y por qué.
Luego se dan las conclusiones del trabajo volviendo a enfatizar en los beneficios del mismo.
La expectativa del expositor es que la audiencia se lleve la motivación de aplicar (dándole mejor provecho a la infraestructura existente) en su ambiente, departamento o empresa estas iniciativas, con la idea de mejorar su proceso o generar la cultura de mejora continua en la organización.
Sebastián Vázquez
https://www.linkedin.com/in/sebastianvazquez/
Explorando la historia y funcionamiento de la memoria ram
Argentesting 2018 - Cómo medir el esfuerzo de Testing...sin mucho esfuerzo
1.
2. Experiencia laboral (Más de 15 años):
Alcatel – Telecomunicaciones (Stuttgart
Alemania)
X-Treme Soft (Empresa propia)
Vates – (Certificación CMMI5)
Claro - Telecomunicaciones
Intel – Servicios de Calidad del Producto
Cargill – Mejora Continua
Áreas de Conocimiento:
Estrategias de Verificación y Validación.
Auditorías y análisis de procesos.
Diplomado en Calidad de Software.
Diplomado en Gestión de Proyectos.
Metodologías de Calidad y Mejora Continua
sebavazquez@gmail.com
3.
4. Un método para:
• Medir la productividad del equipo de pruebas.
• Estimar el esfuerzo de pruebas de software.
5.
6.
7.
8.
9.
10. • ¿Qué se quiere medir, cómo (el método) y para qué?
• ¿Qué puedo medir con lo que tengo hoy?
• ¿Qué me falta para medir lo que quiero medir?
11. • ¿Qué es (para la empresa) un producto/servicio de calidad?
• ¿Agrega valor al producto o servicio??
• ¿Cuánto esfuerzo requiere obtener las mediciones?
12. • Defectos: Cantidad de defectos por severidad.
• Re trabajos: Cantidad de re trabajos.
• Casos de pruebas: Diseñados y Ejecutados.
• Calidad de producto: “Este es un indicador que tal vez no
sea numérico”. Es la percepción de lo realizado.
13.
14. Casos de Prueba
• Diseñados (ET) (Dis)
• Ejecutados (ET) (Ejec)
• Re-Ejecutados (ET, CD)
• Exitosos (ET)
• Fallidos (ET, CD)
• No Ejecutados (CD)
• Reportados (ET) (Ejec)
• Por Criticidad (C,A,M,B)
• Rep x Cliente (CT)
• Falsos positivos (CT)
• No Defectos
• Duplicados
MI nombre es Sebastián Vázquez. Soy ingeniero en sistemas (un apasionado de la tecnología e innovación) y excepto por un corto tiempo al principio de mi carrera donde fui desarrollador, me dediqué a la calidad de software. Testing, Gestión de Pruebas, Aseguramiento de Calidad y Procesos, y ahora Mejora Contínua.
3
Historia y qué quería el cliente. ¿Cómo se me ocurrió hablar de este tema?
Hace un año atrás, un cliente de la empresa en dónde trabajaba, nos pidió alguna manera de controlar de una manera rápida el trabajo y el esfuerzo que estábamos haciendo.
El cliente quería apretar un botón y ver cosas como por ejemplo, cuántas pruebas hicimos en tal o cual proyecto, el retrabajo, cuánto esfuerzo se dedicó a tal o cual proyecto.
Información en Test Link y Mantis.
* Falta de información inmediata y confiable para estimar y tomar decisiones.
Teníamos un problema porque toda la información que quería ver el cliente estaba distribuída en varias aplicaciones.
* Información distribuída en diferentes herramientas
Método 1 - Copiar y pegar manual.
Y la manera de mostrar lo que quería era, exportar la información de las herramientas de gestión de incidencias y gestión de pruebas, y copiar y pegar esa información en un excel, hacer los gráficos en forma manual y así ir manteniendo ese excel mes a mes o cuando lo pidiera.
UN proceso cualquiera de pruebas… Qué podemos medir?
Detectar y definir las métricas.
Así que con un compañero lo empezamos a pensar.
Detectar y definir las métricas.
- ¿Qué se quiere medir, cómo (el método) y para qué?
- ¿Qué puedo medir con lo que tengo hoy?
- ¿Qué necesito para empezar a medir lo que quiero medir?
Identificamos cuáles eras las métricas que el quería contra aquellas que le sugerimos que debía medir..
Preguntas que me tengo que hacer?
¿Qué es para la empresa un producto o servicio de calidad?
¿Las métricas utilizadas permiten agregar valor al producto o servicio?
¿Cuánto esfuerzo requiere obtener los indicadores establecidos?
¿Qué medir en los productos/servicios?
¿Qué pidió el cliente?
Defectos: Cantidad de defectos por severidad.
Re trabajos: Cantidad de re trabajos.
Casos de pruebas: Diseñados y Ejecutados.
Calidad de producto: “Este es un indicador que tal vez no sea numérico”. Es la percepción de lo realizado.
La idea es tener una rápida visualización de cómo se desarrollan los proyectos y no su detalle.
QUE MEDIR
Las métricas de pruebas son las que se producen durante la etapa de pruebas de un producto de software.
Existen dos tipos de métricas de pruebas de software:
- Las métricas del proceso: Permiten medir las actividades que comprenden el proceso de pruebas y su objetivo principal es monitorear el progreso de las pruebas.
- Las métricas del producto: Tienen por objetivo medir el estado o la calidad del producto bajo pruebas.
(Ejemplos)
COMO
PARA QUE?
- Mejora de proceso
- Realizar estimaciones (Presupuestación)
- Tomar decisiones (Recursos)
A QUIEN VA LA INFORMACIÓN
- Indicadores de bajo y alto nivel.
* Defectos
Cant defectos reportados x Testing (DRT) x Criticidad (Crítico, Alto, Medio, Bajo) (Calidad Desarrollo/Producto)
Horas Reporte
Cant defectos reportados x el Cliente (DRC) (Calidad Testing)
Cant Falsos Positivos (Calidad Testing)
- Cant de Defectos del Ambiente y/o Datos
- Cant de Defectos Duplicados
-
Tiempo promedio de resolución de defectos (Calidad Desarrollo)
* Casos de Pruebas
Casos Diseñados (Esfuerzo Testing)
Horas de Diseño
Casos Ejecutados (Esfuerzo Testing)
Horas de Ejecución
Casos Re Ejecutados (Fails hasta el Pass) (Calidad Desarrollo, Esfuerzo Testing)
Horas de Re-ejecución
Casos de Pruebas Exitosos
Casos de Pruebas Fallidos
Casos No Ejecutados (Bloqueados/Postergados) (Calidad Desarrollo)
CP Activados (CPA)
CP Diseñados (CPT)
CP Ejecutados (CPE)
CP No Ejecutados (CNE)
Casos de Prueba CPE+CNE
CP Pasó (CPP)
CP Falló (CPF)
CP Bloq (CPB)
Cobertura (CPE/CPA)
Progreso (CPP/CPA)
* Defectos
Cant defectos reportados x Testing (DRT) x Criticidad (Crítico, Alto, Medio, Bajo) (Calidad Desarrollo/Producto)
Horas Reporte
Cant defectos reportados x el Cliente (DRC) (Calidad Testing)
Cant Falsos Positivos (Calidad Testing)
- Cant de Defectos del Ambiente y/o Datos
- Cant de Defectos Duplicados
-
Tiempo promedio de resolución de defectos (Calidad Desarrollo)
* Casos de Pruebas
Casos Diseñados (Esfuerzo Testing)
Horas de Diseño
Casos Ejecutados (Esfuerzo Testing)
Horas de Ejecución
Casos Re Ejecutados (Fails hasta el Pass) (Calidad Desarrollo, Esfuerzo Testing)
Horas de Re-ejecución
Casos de Pruebas Exitosos
Casos de Pruebas Fallidos
Casos No Ejecutados (Bloqueados/Postergados) (Calidad Desarrollo)
CP Activados (CPA)
CP Diseñados (CPT)
CP Ejecutados (CPE)
CP No Ejecutados (CNE)
Casos de Prueba CPE+CNE
CP Pasó (CPP)
CP Falló (CPF)
CP Bloq (CPB)
Cobertura (CPE/CPA)
Progreso (CPP/CPA)
¿Qué quiero resolver y qué quiero evitar?
Pero cómo hacer para que el cliente pueda ver las métricas cuando quiera, sin necesidad de solicitarlas y que las tengamos que estar construyendo mes a mes.
Realizar mediciones del esfuerzo de testing a través de "métricas de pruebas". No agregar a mi trabajo una actividad extra de recolección de métricas. Hacer la recolección de métricas cargando mi trabajo en las herramientas. En el ejemplo: Test Link y Mantis
Se decidió, crear un tablero de control (mediante la herramienta Power BI) que muestre el avance de los proyectos de pruebas que estén abiertos (o en curso) y las métricas de los proyectos terminados.
[Filmina 17 Conclusiones]
¿Por qué tenemos que tener métricas? Pienso que es muy importante tenerlas. Las métricas nos conectan con el rendimiento de la empresa. Así de simple.
Estamos afirmando "Así hacemos las cosas que hacemos", y podemos ver si nos estamos acercando a nuestros objetivos.
Tener la información de los indicadores permite fijar una línea base (o línea de referencia) para conocer el estado de la calidad de los procesos y productos en la organización y nos da ese marco para poder monitorear el rendimiento y el progreso, para saber qué hacer, qué mejorar, saber en qué trabajar, ajustándonos al propósito de la empresa.
No existe organización mundial de primera clase que consiga un alto rendimiento sin métricas.
Y tenemos el derecho de aspirar a una Organización de primera línea. Y la verdad que me entusiasma!
Conozcan sus métricas !! Conozcan como medirse y cómo mejorar.
Muchas gracias!