Какие основания есть для классификации, в чем отличия и когда что применить. Вводная

1. Юзабилити-тестирование: типология, часть 1 72 вебинар UX Russia АндрейСикорский 29 апреля 2010 года

2. История вопроса Мы уже говорили о немодерируемых удаленных исследованиях Повышается интерес к пользовательской оценке Периодически возникают вопросы «какие тестирования бывают» или «какой тип нам выбрать»

3. Дисклеймер Типизаций много (в зависимости от основания) Есть много методов, которые часть специалистов формально относят к тестированиям, но эти методы таковым по факту не являются Например, эвристическая оценка или Critical Incident Technique Analysis (CIT) В конечном счете вопрос не в типах, а в том, чтобы все-таки провести оценку 

4. Что такое юзабилити-тестирование? Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию и направленный на выяснение того, как пользователи используют продукт. 4

5. Метрики тестирования На основе ISO 9241-11 Эффективность Продуктивность Удовлетворенность На основе деятельностного подхода Эффективность деятельности (результаты) Экономичность деятельности (затраты и ресурсы) Надежность и безопасность деятельности (устойчивость, риски, негативные последствия) Удовлетворенность деятельностью (отношение пользователя) 5

6. Виды тестирования 6

7. Два подхода к тестированию 7

8. Методы тестирования Эвристическая оценка (Heuristic Evaluation) Удаленное (модерируемое) тестирование (Remote Testing) Совместное обучение (Co-discovery Learning) Коучинг (Coaching Method) Измерение производительности (Performance Measurement) Вопрос-ответ (Question-asking Protocol) Ретроспективное тестирование (Retrospective Testing) С комментатором (Shadowing Method) Обучение (Teaching Method) «Поток сознания» (Thinking Aloud Protocol) 8

9. Remote Testing (moderated) Цель: Получить обратную связь при отсутствии прямого доступа к пользователям Способ Тестирующий и пользователь работают раздельно (в разных местах и/или в разное время) Необходимые технологии: Журналирование действий пользователя Видеокамеры и голосовая связь или запись Средства удаленного воспроизведения экрана пользователя 9

10. Performance Measurement Цель Получить метрические характеристики качества приложения (для сравнения между версиями, продуктами) Алгоритм Определить цели тестирования в терминах критериев Usability Выбрать наиболее важные показатели Определить как эти показатели будут оцениваться количественно

11. Метрики для performance measurement Время, затраченное на выполнение задачи Количество задач разного типа, которые можно выполнить в ограниченное время Отношение успешных и ошибочных действий Время, потраченное на восстановление после ошибки Количество пользовательских ошибок и т. д.

12. Thinking Aloud Protocol Цель Получить представление о том, что пользователь думает и переживает в процессе работы Способы Critical response — пользователь должен озвучивать выполнение только заранее определенных задач Periodic report — в случае, если задача трудна сама по себе, пользователь рассказывает о её выполнении после окончания. 12

13. Question-asking Protocol Цель Собрать конкретную информацию по интересующим вопросам Способ Помимо того, что пользователи озвучивают свою работу, им задаются заранее подготовленные вопросы о продукте Например, «Как Вы могли бы послать email из этой программы?» 13

14. Shadowing Method Цель Не пропустить специфичные для предметной области проблемы Не заставлять пользователя говорить Способ Один пользователь выполняет задания Второй (эксперт в предметной области) комментирует usability-тестеру его работу. 14

15. Retrospective Testing Цель Получить максимум обратной связи, изучить поведение – при этом не оказывать влияния на производительность Способ Пользователи обсуждают с usability-тестером видеозапись тестирования Отвечают на вопросы, возникшие у тестера во время тестирования Пользователь объясняет, что он делал, чего пытался добиться по видеозаписи 15

16. Co-discovery Learning Цель Проверить, насколько просто научиться использовать продукт Способ Задания выполняют сразу два пользователя, помогающие друг другу Пользователи должны быть знакомы и иметь предварительный опыт совместной работы 16

17. Teaching Method Цель Проверить, насколько понятны примененные модели и насколько легко можно обучиться продукту Способ Один пользователь осваивает продукт А потом объясняет новичку, как им пользоваться 17

18. Coaching Methods Цель выявить трудности обучения продукту и проблемы документации Выявить, какая информация необходима пользователям Способ Один тестер выступает в роли тренера, обучающего пользователя Второй тестер наблюдает за общениемпользователя и первого тестера 18

19. Вопросы определителя Есть пользователи для проведения тестирования? Доступны ли пользователи непосредственно? Оцениваем производительность, а не впечатления людей? Могут ли пользователи говорить (комментировать свою работу)? Может ли другой пользователь комментировать работу пользователя, выполняющего тестовые задания? Является ли юзабилити-специалист экспертом в предметной области? 19

20. Определитель (1/3) Heuristic Evaluation Есть пользователи для проведения тестирования ? Доступны ли пользователи ДА НЕТ непосредственно ? ДА НЕТ Оцениваем производительность , Remote Testing а не впечатления ? ДА НЕТ Performance Measurement Могут ли пользователи говорить ( комментировать свою работу ) ? 20

21. Определитель (2/3) Могут ли пользователи говорить ( комментировать свою работу ) ? Thinking Aloud НЕТ Protocol ДА Может ли другой пользователь комментировать работу Question - asking пользователя , выполняющего Protocol тестовые задания ? Shadowing ДА НЕТ Method Retrospective Является ли тестер экспертом в Testing предметной области ? 21

22. Определитель (3/3) Является ли тестер экспертом в предметной области ? Co - discovery ДА НЕТ Learning Coaching Method Teaching Method 22

23. Материалы для освоения Rubin, Jeffrey (1994) Handbook of Usability Testing. John Wiley and Sons, New York, NY Dumas, JS, and Redish, Janice, A. (1999) Practical Guide to Usability Testing, Intellect Books. http://www.usabilitynet.org/ http://otal.umd.edu/guse/testing.html http://www.usabilityhome.com/FramedLi.htm

24. Спасибо за внимание