Por Victor Nassar, Mestrando em Design-UFPR. Referência do artigo: Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240

1. Heuristic evaluation:
Comparing ways of finding and
x reporting usability problems
Ebba Thora Hvannberg
Effie Lai-Chong Law
Marta Kristín Lárusdóttir
2007

x
Victor Nassar
Mestrando em Design – UFPR
victornassar07@hotmail.com

2. Introdução
Objetivo:
Aperfeiçoar um relatório de pesquisa para comparar e contrastar os
métodos de avaliação heurística.
Método Empírico:
Compara dois conjuntos de heurísticas (heurísticas de Nielsen e os
princípios de Gerhardt-Powalse) e dois meios de relatar problemas de
usabilidade (software ou papel).
Resultados comparados com testes de usuários.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 1/22

3. Introdução

x
X

x
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 2/22

4. Heurísticas de Nielsen (1993)
1 – Visibilidade do status do sistema
2 – Compatibilidade do sistema com o mundo real
3 – Controle do usuário e liberdade
 4 – Consistência e padrões
5 – Prevenção de erros
x 6 – Reconhecimento ao invés de relembrança
7 – Flexibilidade e eficiência de uso
8 – Estética e design minimalista
9 – Gestão de erros
10 – Help e documentação
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 3/22

5. Princípios cognitivos de Gerhardt-Powalse (1996)
1 – Automatizar carga de trabalho não desejada;
2 – Reduzir incertezas;
3 – Reduzir carga cognitiva combinando dados de baixo-nível
em uma adição de alto-nível
 4 – Agrupar dados de constantes modos significativos para
diminuir tempo de procura;
x 5 – Nomes utilizados devem estar relacionados para funcionar
conceitualmente;
6 – Dados presentes permitem aliviar o tempo de processo;
7 – Inclua só a informação que um usuário precisa em um
determinado momento.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 4/22

6. Avaliação heurística
Fatores podem influenciar o desempenho da avaliação heurística:

x x • A formação do avaliador;
• O conhecimento do avaliador sobre a aplicação;
• Dificuldades de descrição, fusão dos dados, etc.
Métodos misturam tipos de avaliação:
• Protótipos de papel.
• Avaliação heurística.
• Avaliações de especialistas.
• Testes com usuários.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 5/22

7. Papel x Software
 • Estudos empíricos anteriores constatam que relatos em
papel eram complexos e demorados.
x
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 6/22

8. Papel x Software
• Facilita a pesquisa, revisão, modificação das descrições de
problemas e link para assuntos relevantes (Gladwell, 2002).
 x • Entrada mais rápida dos problemas de usabilidade.
• Fusão de conjuntos de problemas de diferentes
avaliadores para obter um único conjunto de problemas.
• Priorizar os problemas de usabilidade de acordo com o
impacto, por ex. gravidade e custo da remoção.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 7/22

9. Questões levantadas
• A utilização de um software para os registros dos testes de
x usabilidade é superior ao uso de registros em papel em
 relação à descoberta de reais problemas, em um curto
x intervalo de tempo?
• Seriam os princípios de Gerhardt-Powals mais eficientes
do que as heurísticas de usabilidade de Nielsen para
possibilitar aos avaliadores identificarem um maior nº de
problemas de usabilidade em um intervalo menor de
tempo?
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 8/22

10. Materiais e Métodos
• 2 experimentos
• Avaliação do e-learning EducaNext.org
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 9/22

11. EducaNext 2011
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 10/22

12. Materiais e Métodos
 x
Experimento 1 x
• 19 são estudantes de Ciências da A C
Computação e 1 formado.
Todos tem bom conhecimento em
avaliação de usabilidade, mas
pouca prática. B D
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 11/22

13. Materiais e Métodos
 x
x
Receberam um questionário pré-avaliação,
um questionário de pós-avaliação e um
material de introdução com:
A C
(a) Orientações do processo de avaliação;
(b) Introdução da avaliação heurística;
(c) Introdução ao sistema EducaNext ;
(d) Introdução para o relato dos problemas
de usabilidade. B D
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 12/22

14. Materiais e Métodos  x
x
A B C D
Relatório estruturado adaptado de Cockton e Woolrych (2001) para relatar
7 atributos de cada problema:
1. Um identificador numérico do problema.
2. Uma breve descrição do problema.
3. Provavelmente dificuldades p/ o usuário.
4. Contexto específico (o local do problema na interface).
5. As possíveis causas do problema (o que está errado no projeto).
6. A heurística utilizada.
7. A taxa de gravidade, contendo três níveis: grave, moderado e leve.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 13/22

15. Materiais e Métodos
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 14/22

16. Materiais e Métodos
 x
x
No questionário de pós-avaliação
deveriam relatar o tempo despendido e A C
uma lista de facilidades e dificuldades
do método de avaliação heurística que
eles tinham aplicado.
B D
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 15/22

17. Materiais e Métodos
Especialista em usabilidade (E1), altamente conhecedor do sistema
testado, examinou os problemas relatados e definiu 8 tarefas.
Após isso, outro especialista (E2) avaliou as tarefas propostas em
relação aos problemas relatados.
Tarefa 1: Criar uma conta de usuário EducaNext.
Tarefa 2: Fazer login e editar as preferências do usuário.
Tarefa 3: Navegar no Catálogo do EducaNext.
Tarefa 4: Busca Básica.
Tarefa 5: Pesquisa Avançada.
Tarefa 6: Verificar o histórico de busca.
Tarefa 7: Criar e participar de uma comunidade EducaNext.
Tarefa 8: Fornecer e oferecer material educativo.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 16/22

18. Materiais e Métodos
Experimento 2
• 10 participantes para realizar as tarefas.
• Funcionários da universidade, profs ou adm.
• cinco homens e cinco mulheres.
• Bom contato com softwares de e-learning.
Objetivo: descobrir se muitos dos problemas previstos
pelos avaliadores utilizando a avaliação heurística foram
relatados pelos usuários.
Este método foi adotado para aumentar a validade dos
problemas de usabilidade previstos no experimento 1.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 17/22

19. Resultados
Experimento 1
x A utilização do software teve uma pequena vantagem
sobre a utilização de papel na quantidade de problemas
detectados.
Sem diferença na quantidade de problemas, nem na
gravidade desses problemas, entre as heurísticas de
Nielsen e os princípios de Gerhardt-Powals.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 18/22

20. Resultados
Experimento 1
No entanto, um participante (software e Gerhardt) não
havia relatado nenhum problema na avaliação. Quando
foi retirado da amostra, observou-se uma diferença
significativa na média da quantidade de problemas que
indicou uma vantagem a Gerhardt-Powals.
Sem diferença no tempo gasto para a avaliação entre
Nielsen e Gerhardt.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 19/22

21. Resultados
Experimento 2
Cruzando os problemas apontados pelos avaliadores com
 os detectados pelos usuários. “Alarme falsos”: problemas
x x apontados pelo avaliador que não são detectados pelos
usuários.
Sem diferenças estatisticamente significativas entre o
software e o papel, nem entre Nielsen e Gerhardt.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 20/22

22. Considerações finais
• Embora os avaliadores tenham recebido “material de estudo”, a inexperiência
pode ter comprometido o teste. Assim como o baixo conhecimento do
EducaNext.
• O software pode apresentar vantagem no tempo pela facilidade de digitação.
• Esforço cognitivo pela presença de 2 materiais digitais (EducaNext e o
software desenvolvido)
• Designers tem relatado que acham papel mais rápido, mais fácil e portátil, no
início de projetos (Cook e Bailey, 2005).
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 21/22

23. Considerações finais
• Tanto o número médio de problemas , quanto o desvio padrão de Gerhardt-
Powals foram superiores aos de Nielsen. Isso indica que os princípios de
Gerhardt-Powals poderiam ainda ser explorados, mas os avaliadores
precisariam de mais treinamento.
• Embora não haja diferença entre o software e o papel, a utilização de um
software para a avaliação pode ser recomendada para uma avaliação feita a
distância.
• Software: facilita acesso e gestão dos dados.
• Próxima pesquisa seria mais proveitosa se houvesse uma relação de
heurísticas específicas com a aplicação (e-learning) a ser analisada.
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar 22/22

24. Referências
Hvannberg, E., Law, E., & Lárusdóttir, M. (2007) “Heuristic Evaluation: Comparing Ways of Finding
and Reporting Usability Problems”, Interacting with Computers, 19 (2), 225-240
Cockton, G., Woolrych, A., 2001. Understanding inspection methods: lessons from an assessment of
heuristic evaluation. In: Blandford, A., Vanderdonckt, J., Gray, P.D. (Eds.), People and Computers XV.
Springer-Verlag, Lille, France, pp. 171–182.
Cook, D.J., Bailey, B.P., 2005. Designers’ use of paper and the implications for informal tools. In:
OZCHI 2005, vol. 122, ACM, Canberra, Australia, pp. 1–10.
Gladwell, M., 2002. The social life of paper. In: The New Yorker, The New Yorker Magazine ,
Newyork, NY, pp. 92–96.
Gerhardt-Powals, J., 1996. Cognitive engineering principles for enhancing human-computer
performance. International Journal of Human-Computer Interaction 8, 189–211.
Nielsen, J., 1993. Usability Engineering. Academic Press, New York
Heuristic evaluation: Comparing ways of finding and reporting usability problems | Victor Nassar

25. Hvannberg, E., Law, E., & Lárusdóttir, M.
x
(2007) “Heuristic Evaluation: Comparing
Ways of Finding and Reporting Usability
Problems”, Interacting with Computers, 19
(2), 225-240
 Obrigado!
x Victor Nassar
Mestrando em Design – UFPR
victornassar07@hotmail.com
Heuristic evaluation: Comparing ways of finding and reporting usability problems.