SlideShare une entreprise Scribd logo
1  sur  19
Выбирай 
или 
проиграй 
Сравнительное юзабилити тестирование
Сравнение — великая движущая сила, 
которая побуждает нас к соревнованию и 
самосовершенствованию. 
Александр Вертинский
Зачем? 
• Сравнить себя нового с 
собой в прошлом 
• Выбрать между 
несколькими 
вариантами 
• Сравнить себя с 
другими
Что сравниваем? 
• Новый интерфейс со 
старым 
• Разные варианты 
прототипов одного 
интерфейса 
• Сравнение интерфейса 
с конкурентами
Кого тестируем? 
Несколько групп: 
• Существующие 
пользователи 
• Новые пользователи 
• Лояльные и не лояльные 
• Опытные/неопытные
Особенности 
тестирования? 
• 1 сценарий на 2 интерфейса 
• Рекомендую 2 интерфейса 
на 1 пользователя 
• Если сравнивается более 2 
интерфейсов или 
тестирование длинное, то 1 
человек – 1 интерфейс 
Миленько
Сколько человек? 
• Чем больше тем лучше, но не меньше 8 человек на 
один интерфейс
Если 1 пользователь 2 интерфейса 
Чередуем интерфейсы 
АВ ВА АВ ВА АВ ВА 
(контрбалансировка)
Критерии сравнения? 
• Успешность выполнений заданий 
• Количество ошибок юзабилити 
• Количество непонятных формулировок 
• Время выполнения заданий 
• Удовлетворенность 
• Семантический дифференциал 
*Можно спросить конечно, какой интерфейс больше понравился, но одного 
этого вопроса недостаточно
Успешность выполнения заданий 
= сколько человек выполнили задание в 
интерфейсе 1 и в интерфейсе 2 
Если разница велика, то это знак
Количество ошибок интерфейса 
Фиксируем проблемы. Ранжируем по критичности. 
Ошибке присваиваем вес: 
• 1 – незначительная 
• 2 – значительная 
• 3 – критичная, приведшая к невыполнению задания
Время выполнения заданий 
• Параметр измеряется там, где 
важна скорость выполнения 
заданий. Чем быстрее, тем лучше 
• На развлекательных сайтах 
ситуация может быть обратной. 
Чем дольше остается на сайте тем 
лучше. Здесь время не измеряем.
Удовлетворенность 
• После каждого задания 
• В конце тестирования 
Оцените удобство по 5-балльной шкале 
Оцените достаточность информации по 5- 
балльной шкале 
Оцените сложность интерфейса по 5-балльной 
шкале и др.
Семантический дифференциал? 
Удобный Неудобный 
Современный Устаревший 
Простой Сложный 
Дружелюбный Безразличный 
* Рекомендуется к применению на большой выборке пользователей
Живой пример: 
Сайт знакомств. 
Какой вариант профиля лучше?
vs 
1 2
vs ЛУЧШЕ 
1 2
«…Мы имеем право 
сравнивать себя 
лишь с собою 
вчерашним, 
соперничать с самим 
собою…»
Мария Чайкина mchaykina@gmail.com 
http://www.slideshare.net/fayona 
Зима близко… 
Группа UX-единомышленников, увлеченных своим делом 
UXIFY.IT 
www.uxify.it

Contenu connexe

Similaire à Сравнительное юзабилити-тестирование - Выбирай или проиграй

Оценка сроков IT проектов
Оценка сроков IT проектовОценка сроков IT проектов
Оценка сроков IT проектовAlexander Kalinichev
 
Шагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщикаШагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщикаSQALab
 
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLabМастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLabInternet-Burzhui Andrei Ryabykh
 
Опыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryОпыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryNikita Efimov
 
Product discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехиProduct discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехиNikita Efimov
 
Почему достаточно 10 пользователей
Почему достаточно 10 пользователейПочему достаточно 10 пользователей
Почему достаточно 10 пользователейDmitry Satin
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеqasib
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеTatyana Pischasova
 
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?SQALab
 
JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1sgdread
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7student_kai
 
Проведение юзабилити-тестирования Final
Проведение юзабилити-тестирования FinalПроведение юзабилити-тестирования Final
Проведение юзабилити-тестирования FinalI2B 2011
 
Дмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложенияДмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложения404fest
 
больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2Фарида Абдуллина
 
больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1Фарида Абдуллина
 
Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7Technopark
 
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14slav-i
 
Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Alexey Lyanguzov
 
Lyanguzov preso sqadays8
Lyanguzov preso sqadays8Lyanguzov preso sqadays8
Lyanguzov preso sqadays8Alexei Lupan
 

Similaire à Сравнительное юзабилити-тестирование - Выбирай или проиграй (20)

Оценка сроков IT проектов
Оценка сроков IT проектовОценка сроков IT проектов
Оценка сроков IT проектов
 
Шагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщикаШагнуть на встречу тестированию требований. Советы тестировщика
Шагнуть на встречу тестированию требований. Советы тестировщика
 
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLabМастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
Мастер-класс в Сколково: "Юзабилити для стартапа", Суворова Юлия, UsabilityLab
 
Опыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product DiscoveryОпыт выстраивания процесса Product Discovery
Опыт выстраивания процесса Product Discovery
 
Product discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехиProduct discovery. Наши шишки и успехи
Product discovery. Наши шишки и успехи
 
9.1 Usability testing
9.1 Usability testing9.1 Usability testing
9.1 Usability testing
 
Почему достаточно 10 пользователей
Почему достаточно 10 пользователейПочему достаточно 10 пользователей
Почему достаточно 10 пользователей
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
 
Дмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестированиеДмитрий Пиликов - Юзабилити тестирование
Дмитрий Пиликов - Юзабилити тестирование
 
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
 
JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1JavaTalks.Unit Testing.Part 1
JavaTalks.Unit Testing.Part 1
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7
 
Проведение юзабилити-тестирования Final
Проведение юзабилити-тестирования FinalПроведение юзабилити-тестирования Final
Проведение юзабилити-тестирования Final
 
Дмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложенияДмитрий Басалкин – 3 кейса повышения метрик приложения
Дмитрий Басалкин – 3 кейса повышения метрик приложения
 
больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2больше тестов, хороших и разных! часть 2
больше тестов, хороших и разных! часть 2
 
больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1больше тестов, хороших и разных! часть 1
больше тестов, хороших и разных! часть 1
 
Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7Проектирование интерфейсов весна 2014 занятие 7
Проектирование интерфейсов весна 2014 занятие 7
 
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
Оценка первого впечатления от дизайна - Вячеслав Иванов, UXRussia'14
 
Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?
 
Lyanguzov preso sqadays8
Lyanguzov preso sqadays8Lyanguzov preso sqadays8
Lyanguzov preso sqadays8
 

Plus de SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировкуSQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаSQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиSQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияSQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testingSQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженSQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииSQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовSQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовSQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsSQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеSQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеSQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестированиеSQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовSQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных системSQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросSQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...SQALab
 

Plus de SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Сравнительное юзабилити-тестирование - Выбирай или проиграй

  • 1. Выбирай или проиграй Сравнительное юзабилити тестирование
  • 2. Сравнение — великая движущая сила, которая побуждает нас к соревнованию и самосовершенствованию. Александр Вертинский
  • 3. Зачем? • Сравнить себя нового с собой в прошлом • Выбрать между несколькими вариантами • Сравнить себя с другими
  • 4. Что сравниваем? • Новый интерфейс со старым • Разные варианты прототипов одного интерфейса • Сравнение интерфейса с конкурентами
  • 5. Кого тестируем? Несколько групп: • Существующие пользователи • Новые пользователи • Лояльные и не лояльные • Опытные/неопытные
  • 6. Особенности тестирования? • 1 сценарий на 2 интерфейса • Рекомендую 2 интерфейса на 1 пользователя • Если сравнивается более 2 интерфейсов или тестирование длинное, то 1 человек – 1 интерфейс Миленько
  • 7. Сколько человек? • Чем больше тем лучше, но не меньше 8 человек на один интерфейс
  • 8. Если 1 пользователь 2 интерфейса Чередуем интерфейсы АВ ВА АВ ВА АВ ВА (контрбалансировка)
  • 9. Критерии сравнения? • Успешность выполнений заданий • Количество ошибок юзабилити • Количество непонятных формулировок • Время выполнения заданий • Удовлетворенность • Семантический дифференциал *Можно спросить конечно, какой интерфейс больше понравился, но одного этого вопроса недостаточно
  • 10. Успешность выполнения заданий = сколько человек выполнили задание в интерфейсе 1 и в интерфейсе 2 Если разница велика, то это знак
  • 11. Количество ошибок интерфейса Фиксируем проблемы. Ранжируем по критичности. Ошибке присваиваем вес: • 1 – незначительная • 2 – значительная • 3 – критичная, приведшая к невыполнению задания
  • 12. Время выполнения заданий • Параметр измеряется там, где важна скорость выполнения заданий. Чем быстрее, тем лучше • На развлекательных сайтах ситуация может быть обратной. Чем дольше остается на сайте тем лучше. Здесь время не измеряем.
  • 13. Удовлетворенность • После каждого задания • В конце тестирования Оцените удобство по 5-балльной шкале Оцените достаточность информации по 5- балльной шкале Оцените сложность интерфейса по 5-балльной шкале и др.
  • 14. Семантический дифференциал? Удобный Неудобный Современный Устаревший Простой Сложный Дружелюбный Безразличный * Рекомендуется к применению на большой выборке пользователей
  • 15. Живой пример: Сайт знакомств. Какой вариант профиля лучше?
  • 18. «…Мы имеем право сравнивать себя лишь с собою вчерашним, соперничать с самим собою…»
  • 19. Мария Чайкина mchaykina@gmail.com http://www.slideshare.net/fayona Зима близко… Группа UX-единомышленников, увлеченных своим делом UXIFY.IT www.uxify.it

Notes de l'éditeur

  1. Сравни ее характер и мой бюст: мой круче!
  2. При наличии «сбалансированных» и «обычных» групп пользователей, исследователи могут проводить два круга тестов и оценивать влияние описанных выше факторов на их результаты. Например, если разделить группы на подгруппы из более опытных пользователей и менее опытных или тех, кто позитивно относится к бренду и не любит его, то можно четко увидеть разницу в выходных данных. Имея такие показатели, полученные в ходе работы с подгруппами, возможно составление взвешенного композитного показателя. Например, если исследователи точно знают, что 50% пользователей обладают более чем пятилетним опытом использования тестируемого продукта, но в текущей выборки таких всего 44%, результатам можно придать соответствующий вес.