Modelo sistemático de testeo con usuarios para startups

1. Modelo sistemático para testeo con usuarios en Startups Juan Paulo Madriaza & Gustavo Soto Miño

2. Hola! Somos Gustavo y Juan Paulo

3. ¿Quién le puede sacar mas provecho a esta charla? Pstt, no es para todos..

4. Startups que no acostumbran a validar con usuarios 01 ¿Quién le puede sacar más provecho?

5. Startups que no usan métodos ágiles de diseño y desarrollo 02 ¿Quién le puede sacar más provecho?

6. Interesados en realizar tests con usuarios de manera rápida y económica 03 ¿Quién le puede sacar más provecho?

7. ¿Para qué sirve esta charla? Objetivos

8. Reconocer una manera de incorporar la validación de usuarios como herramienta recurrente en la vida de una Startup 01 ¿Para qué sirve esta charla?

9. Revisar buenas prácticas de testeo con usuarios en ambientes de escasos recursos económicos y tiempo 02 ¿Para qué sirve esta charla?

10. Proponer un modelo metodológico que se alinee con la realidad de una parte importante de las Startups latinoamericanas 03 ¿Para qué sirve esta charla?

11. ¿Cómo se diseñan hoy muchas de las Startups? Realidades diferentes

12. La radiografía S+D+BP

13. Suposición S Debate D BP Buena práctica La realidad

14. S Suposición Necesita tener buenas suposiciones Todos los CEOs tienen excelentes ideas. ¿no?

15. D Debates cerrados Necesita personas idóneas para el debate Sostener múltiples conversaciones sin las personas (y conocimientos) adecuados

16. BP Buenas prácticas Requiere conocimiento sobre qué buena práctica es la adecuada Mirar al mercado Ver qué está haciendo la competencia Usar herramientas validadas

17. Los usuarios No entienden / No disfrutan / No compran S D BP ¿El problema?

18. En vez de suponer > Conocer En vez de conversaciones cerradas > Debatir con los usuarios En vez de copiar modelos > Entender la lógica del usuario S D BP Lo que proponemos

19. ¿Cómo entonces podemos validar nuestros prototipos? User Testing para Startups

20. Buenas prácticas User Testing para Startups

21. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Testea temprano (Para que no te enamores de tus prototipos)

22. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Testea seguido (Los errores se pueden cometer en cualquier etapa)

23. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Haz tu app usable lo antes posible App de prototipado rápido App de prototipado rápido App de prototipado rápido App de prototipado rápido

24. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación 05 usuarios es suficiente para una ronda Encontrarás cerca del 85% de los errores

25. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Prepara un guión para evitar el sesgo (Si improvisas, puedes estar ayudando )

26. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Complementa tu estudio con otras fuentes Inspectlet Métricas de visita Screen Capturing Heat Maps A/B Testings

27. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Elabora hipótesis con las zonas que te generen dudas (Pero también déjate sorprender)

28. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Usa la creatividad para definir los incentivos (¿Y si le invitas un café?)

29. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Busca buenos testers (No todos entregan los mismos resultados) •Tan “reales” como sea posible •Tan variados como permita la representatividad •Suspicaces •Habladores pero enfocados •Claros •Evidentes

30. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación No puedes volver a testear con los mismos usuarios (Las tareas les resultarán más simples aunque sean iguales)

31. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Comportamiento mata opinión (Ver para creer)

32. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación ¿Y cómo se detecta un error? (Pistas para detectar un problema) •El usuario hace una pausa al tratar de completar una tarea •El usuario deshace una acción •El usuario expresa frustración •El usuario toma una ruta diferente a la ideal •El usuario falla al ejecutar una tarea

33. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Que tu dispositivo se vea genérico (Evita las modificaciones de interfaz)

34. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación El facilitador debe conocer el prototipo al revés y al derecho (Para saber cuando el usuario se pierde)

35. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Oculta la app mientras estás entregando las instrucciones (Evitarás que el usuario comience antes de tiempo)

36. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Antes de cada sesión, elimina la caché (También puedes usar la navegación privada)

37. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Cuida la luz y el audio (para asegurar un buen registro)

38. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Desactiva las notificaciones del dispositivo (excepto las que formen parte de la interacción a testear)

39. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Sé un buen facilitador (No cualquiera puede hacerlo bien) •Curioso •Atento •Amable •Profesional •Estimulante •Claro •Abierto •Objetivo •No juzga (aún) •Cuida el tiempo •Resume y sistematiza •Prioriza •Informa

40. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Puedes medir la satisfacción luego de cada tarea (TLX / Likert)

41. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Puedes / debes mezclar el orden de las tareas (Cuando el orden tenga un impacto en su facilidad de ejecución)

42. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Puedes armar un Hangouts para tu equipo (Compartiendo pantalla, para que vayan analizando sobre la marcha)

43. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Tener los ojos abiertos es mejor que tomar notas todo el tiempo

44. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Captura para poder recordar luego Silverback Captura en móviles Captura en Desktop (Mac) Captura en Desktop (PC)

45. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Intenta que el usuario se sienta cómodo (iOS / Android | Mac / PC)

46. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Cuida el tiempo de tu usuario (evita los tests no agendados de más de 30 minutos)

47. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Puedes hacer preguntas post testing (Para conocer la opinión general – cuidado con la representatividad)

48. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Toma acción cuanto antes (Debriefing session)

49. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Se deben priorizar las modificaciones (Críticas | Medias | Leves)

50. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Aplica criterios para aislar tus hallazgos (culpa usuario? Culpa prototipo? Culpa OS?)

51. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación Escribe un mail durante el debriefing (Para enviarlo luego como minuta a los involucrados)

52. Startup User Testing Recomendaciones HallazgosAplicaciónReclutamientoPlanificación El Debrief requiere tener en la mesa a CEO + diseñador + desarrollador

53. El testeo como proceso sistemático La matriz de testeo

54. Matriz Documentos descargables desde: http://goo.gl/tP0Qe3 Buenas Prácticas

55. Sketch Prototype Interactive Wireframe Interactive visual design Producto ¿Qué probaremos? ¿Dónde lo probaremos? ¿Quién lo probará? ¿Cómo lo probaremos? ¿Qué haremos con los resultados?

56. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 A1 Probaremos los elementos de la interacción, la lógica general de la navegación y la comprensión general del modelo de interacción. ¿Se entiende la app en general? ¿Se percibe su valor? ¿Es esta es la secuencia de las pantallas adecuada para ejecutar esta tarea? ¿Estos son los contenidos que debería tener esta pantalla?

57. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 A2 Sobre un prototipo dibujado en papel que luego se pasó a una app como POP para colocar links entre las pantallas (puede ser análogo también)

58. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 A3 Usuarios que no conocen la plataforma, pero tienen cierta cercanía al proceso de diseño usando sketches. El objetivo es eliminar cuanto sea posible la confusión generada por maquetas en estado tan inicial

59. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 A4 Sesión informal de testeo con un prototipo funcional general de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Se tendrán sesiones de debriefieng al terminar cada ronda de testing

60. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 A5 Se crearán nuevos sketches de manera rápida y se testeará cuanto antes con nuevos usuarios hasta validar los objetivos principales de esta etapa y poder continuar a la siguiente

61. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 B1 Probaremos las jerarquías relativas de los elementos, la lógica detallada de los patrones de interacción propuestos y la comprensión detallada de la arquitectura de información ¿Cuál es la secuencia en que se consumen los elementos de la pantalla? ¿Los contenidos de la pantalla han sido correctamente diseñados? ¿La efectividad con que se usa esta página es la adecuada?

62. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 B2 Lo probaremos sobre un prototipo ( creado por ejemplo en Axure) que permite navegar entre las pantallas. Haciendo posible de hacer navegables las pantallas y algunas de sus microinteracciones.

63. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 B3 Usuarios potenciales de la plataforma que han tenido la oportunidad de interactuar con wireframes entendiéndolos como parte de un proceso de diseño de aumento de fidelidad

64. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 B4 Sesión informal de testeo con un prototipo funcional detallado de la lógica de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable. Siempre es posible que ciertas interacciones regresen a estados previos (Sketching) Se tendrán sesiones de debriefieng al terminar cada ronda de testing.

65. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 B5 Se decidirá si la lógica actual soporta mejoras o requiere de volver a etapas de diseño anteriores. Se procede a ejecutar las mejoras (o a retroceder) para volver a testear con nuevos usuarios para eventualmente proceder al siguiente estado.

66. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 C1 Los colores, las imágenes, la tipografía, las formas, la gráfica de los elementos de la interfaz, la persuasión que provoca, las emociones que evoca, la personalidad de la plataforma, su diferenciación visual con otras, su usabilidad percibida. ¿El diseño es atractivo para mis usuarios? ¿Contribuye el diseño a mejorar la usabilidad de la plataforma? ¿Evoca las emociones proyectadas? ¿Se diferencia visualmente de otras plataformas? ¿Convence al usuario de ejecutar la tarea proyectada?

67. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 C2 Sobre el diseño visual navegable generado con las imágenes y contenidos más actualizados (Invision, Marvel, etc.). Debe ser probado sobre el dispositivo que los usuarios usan (Smartphone/Laptop)

68. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 C3 Usuarios potenciales de la plataforma que sean capaces de imaginarse la plataforma en su estado final al ver representaciones menos acabadas de la plataforma

69. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 C4 Sesión informal de testeo con un prototipo funcional general de la definición visual de la plataforma, se requieren 5 usuarios y rondas iterativas hasta llegar a una versión estable que cumpla con los requerimientos expuestos en etapas anteriores más los propios de esta etapa. Se tendrán sesiones de debriefieng al terminar la ronda de testing

70. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 C5 Se seleccionarán y aislarán los elementos de interfaz que no aporten al objetivo planteado y se iterarán hasta conseguir los resultados esperados.

71. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 D1 La solución final, el despliegue real de información, el performance de uso, la pulcritud de la interacción, los detalles de interfaz de la solución final ¿Está el producto en su estado de publicación requerido? ¿Funciona a la velocidad adecuada? ¿Está alineado con la propuesta diseñada? ¿las microinteracciones aportan a la experiencia general?

72. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 D2 Sobre la versión final de la plataforma, ya programada, ya sea en estado beta o release público.

73. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 D3 Usuarios potenciales de la plataforma

74. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 D4 Sesión informal de testeo con la versión programada funcional de la plataforma, se requieren 5 usuarios y rondas iterativas hasta eliminar los principales errores y aprovechar las oportunidades de mejora. Se debe velar por validar también todos los objetivos de etapas anteriores. Se tendrán sesiones de debriefieng al terminar la ronda de testing

75. Sketch Prototype Interactive Wireframe Interactive Visual Design Producto ¿Qué probaremos? A1 B1 C1 D1 ¿Dónde lo probaremos? A2 B2 C2 D2 ¿Quién lo probará? A3 B3 C3 D3 ¿Cómo lo probaremos? A4 B4 C4 D4 ¿Qué haremos con los resultados? A5 B5 C5 D5 D5 Se identificarán los principales problemas y se decidirá la mejor manera de atacarlo ( ¿es necesario volver a etapas tempranas o se puede iterar directamente sobre esta interacción?)

76. ¿Y luego qué? Conclusiones

77. Creemos que una vez que las Startups valoren el testear con usuarios recurrentemente, estarán más dispuestas a involucrarlo como parte central del método de diseño y así actualizar paulatinamente sus metodologías

78. Más información… http://thenextweb.com/dd/2013/08/10/13-ways-to-master-ux-testing-for- your-startup/ https://www.usertesting.com/blog/2015/06/15/5-ways-to-improve-your- startups-user-experience/ http://www.designforfounders.com/usability-testing/ http://www.gv.com/wp-content/uploads/2013/02/User-Research- Workshop_Google-Ventures_Feb2013.pdf

79. GraciasEsta presentación ya está publicada en Slideshare http://goo.gl/Kb18Je Juan Paulo Madriaza | Gustavo Soto @mad_uxd . @gusoto

80. No dejes de completar nuestra encuesta online isa.ixda.org/2015/encuesta ¡Muchas gracias! Modelo sistemático para testeo con usuarios en Startups Juan Paulo Madriaza & Gustavo Soto Miño