Aula para a disciplina Produção e Ferramentas Colaborativas
Pós-Graduação em Engenharia de Software Centrada em Métodos Ágeis
Prof. Marcello de Campos Cardoso
www.mcardoso.com.br
Julho 2011
1. aula 7-8
Engenharia de Software Centrada em Métodos Ágeis
Usabilidade
Marcello de Campos Cardoso | www.mcardoso.com.br | mcardoso@gmail.com
Wednesday, July 6, 2011
2. Plano de curso
1ª aula Introdução a Usabilidade: conceitos, origem (DCU, IHC), aplicação (IxD), metas
2ª aula de usabilidade, princípios de design, estudo de casos, benefícios, ciclos de vida
de desenvolvimento (cascata x ágil), técnicas (overview).
3ª aula Técnica de Modelagem: Personas ágeis (workshop)
4ª aula Story Mapping (workshop)
5ª aula Perguntando a especialistas:
Análise Heurística, As 10 heurísticas de Nielsen (workshop)
6ª aula Projetando a interface:
Task Flow + Prototipação rápida (workshop)
7ª aula Testes de usabilidade (workshop - roteiro)
8ª aula Testes de usabilidade (workshop - aplicação)
Wednesday, July 6, 2011
4. Diferenças
Análise Heurística - preditiva Testes com usuários - empírica
Baseada na experiência/expectativas do Baseada na observação do comportamento
especialista
Wednesday, July 6, 2011
5. Semelhanças
São técnicas analíticas, não gerativas (ideação) como storymapping ou cardsorting.
Wednesday, July 6, 2011
8. Teste com usuários
A 1a regra do teste com usuários é: Você não fala do teste com usuários.
Wednesday, July 6, 2011
9. Teste com usuários
A 1a regra do teste com usuários é: Você não fala do teste com usuários.
A 2a regra do teste com usuários é: Você não fala do teste com usuários.
Wednesday, July 6, 2011
11. Teste com usuários
é o nome mais popular da técnica no mercado. mas o nome correto é
Teste de Usabilidade
(para não intimidar o usuário nos referimos como “pesquisa” termo mais comum)
Wednesday, July 6, 2011
12. Teste de Usabilidade
O que é um teste de usabilidade?
• Método empírico (envolve usuário)
• Principal objetivo: validar as soluções de interface
• Realizado com participantes com perfil do público-alvo
• Método: observação da interação do usuário com produto
• Resultado: descoberta de padrões e sugestão de melhorias.
Wednesday, July 6, 2011 sequência de uso
13. Teste de Usabilidade
Pra que serve?
• Avaliar o entendimento da Interface e dos fluxos projetados (modelos mentais)
• Identificar pontos críticos da interação (ruídos, dúvidas, rupturas)
• Entender a situação real de uso (validar demandas/requisitos)
• Comparar desempenho em produtos diferentes (benchmark/concorrência)
Wednesday, July 6, 2011 sequência de uso
14. Teste de Usabilidade
Quando aplicar?
Reunião diária
pode ser aplicada
Backlog do Backlog do em protótipos ou
produto sprint releases
Wednesday, July 6, 2011 sequência de uso
15. Teste de Usabilidade
Tipos de Teste de Usabilidade
por etapas do ciclo
Wednesday, July 6, 2011
16. Teste de Usabilidade
Testes em protótipos de baixa fidelidade
Servem para testar conceitos e fluxos.
Devem ser feitos preferencialmente em papel
• Fáceis de criar e jogar fora
• Podem (e devem) ser feitos em escala real
• Podem conter anotações no próprio protótipo ("Este
botão tinha de estar é aqui!")
Wednesday, July 6, 2011 sequência de uso
17. Teste de Usabilidade
Considerações sobre testes em baixa fidelidade
• Verificação limitada de erros
• “Uso” conduzido pelo facilitador
• Limitações de fluxos e navegações
• Rápido e barato (quick and dirty!)
Wednesday, July 6, 2011 sequência de uso
18. Teste de Usabilidade
Testes em releases
• Conceito do produto/serviço (elementos visuais dividem a atenção)
• Comparar designs alternativos (caro, melhor teste AB com funcionalidades específicas)
• Fluxo de tarefas
• Compreensão das metáforas visuais
• Satisfação no uso
• Desempenho
• Acessibilidade
Wednesday, July 6, 2011 sequência de uso
19. Teste de Usabilidade
Considerações sobre testes em alta fidelidade (releases)
• Demanda tempo para criação
• Custo de produção mais alto (maior risco)
• Uso mais próximo do real
• Mesmo look and feel do produto
Wednesday, July 6, 2011 sequência de uso
20. Teste de Usabilidade
Tipos de Teste de Usabilidade
por ambientes
Wednesday, July 6, 2011
21. Teste de Usabilidade
No ambiente do usuário (campo)
• "Mais barato"
• Usuário se sente mais à vontade
• Mais próximo do contexto de uso real
• Menor controle dos dados e variáveis
• Dificuldade de envolver o cliente (quem contrata)
Wednesday, July 6, 2011 sequência de uso
22. Teste de Usabilidade
Em ambiente controlado (laboratório)
• Permite maior controle dos dados e variáveis
• Mais fácil de envolver o cliente
• Maior custo
• Usuário pode se sentir mais desconfortável
• Mais distante do contexto de uso real
Wednesday, July 6, 2011 sequência de uso
25. Qual o melhor tipo, em campo ou laboratório?
Wednesday, July 6, 2011 sequência de uso
26. Qual o melhor tipo, em campo ou laboratório?
Depende dos objetivos e recursos disponíveis.
Wednesday, July 6, 2011 sequência de uso
27. Teste de Usabilidade
Testes de campo são ideais para:
• Obter feedback rápido dos usuários
• Projetos com recursos reduzidos
• Testar conceitos e interfaces em fases iniciais de design
Wednesday, July 6, 2011 sequência de uso
28. Teste de Usabilidade
Testes em laboratório são ideais para:
• Medição de performance (tempo, número de erros...)
• Produção acadêmica (maior rigor científico para artigos, teses e dissertações)
• Estudos permanentes com equipe dedicada (Ex: Globo, Nokia)
Wednesday, July 6, 2011 sequência de uso
29. Teste de Usabilidade
PARTE 1 - PLANEJAMENTO
Wednesday, July 6, 2011 sequência de uso
30. Teste de Usabilidade
Planejamento (Aula de hoje)
1. Determinar objetivos (do produto, processo: onde quero chegar?)
2. Escolher o que medir (qual a métrica? erros, passos, satisfação...)
3. Definir perfil de participantes e recrutar
4. Definir tarefas e cenários (motivação)
5. Preparar os materiais, equipe, ambiente e ferramentas
+ teste piloto
Wednesday, July 6, 2011 sequência de uso
31. Teste de Usabilidade
1º passo: Determinar objetivos
• Qual o objetivo do teste?
Performance, entendimento, comparação, acadêmico...
• O que é preciso avaliar?
Existe um briefing? (demanda do cliente: Quero saber por quê no novo sistema
a efetivação de compra caiu 25%)
Formule questões específicas!
Wednesday, July 6, 2011 sequência de uso
32. Teste de Usabilidade
EXEMPLO
1. Os usuários entendem de forma clara o que é e para que serve a
extensão do firefox?
2. Os usuários têm alguma dificuldade para instalar a extensão?
3. Eles sabem onde e como fazer?
4. Completam todas as etapas de instalação corretamente?
Wednesday, July 6, 2011 sequência de uso
33. Teste de Usabilidade
TO DO DONE
s)!
PO (3 aluno
EM GRU lquer pa
ra
qu a
um site
Escolher etermin
ar
e. D
sua u sabilidad
testar
ste.
objetiv o s do te
tem po: 20 ’
Wednesday, July 6, 2011 sequência de uso
34. Teste de Usabilidade
2º passo: Escolher o que medir
A métrica depende do objetivo
• Satisfação geral
• Tempo de execução de tarefa
• Número de passos para conclusão de uma tarefa;
• Quantidade de erros
• Quantidade de tarefas completadas
• Proporção de usuários favoráveis ao sistema em relação ao concorrete
Wednesday, July 6, 2011 sequência de uso
35. Teste de Usabilidade
EXEMPLO
Verificar:
1. Erros cometidos nas tarefas (Grau de severidade)
2. Número de passos para completar uma tarefa
3. Entendimento geral em relação ao produto
Wednesday, July 6, 2011 sequência de uso
36. Teste de Usabilidade
TO DO DONE
seu
mét ricas de
inar as
Determ
de
e usabilida
teste d
tempo: 5’
Wednesday, July 6, 2011 sequência de uso
37. Teste de Usabilidade
3º passo: Definir perfil de participantes e recrutar
Quem deve usar este produto?
Quantos participantes escolher? Nielsen sugere:
• 5 (de cada perfil) para qualitativo (quick and dirty! rápido e sujo)
• 20 para quantitativo
Onde encontrar?
• Redes sociais, contatos pessoais, contatos do cliente, usuários atuais,
questionário na web, empresas de recrutamento etc.
Wednesday, July 6, 2011 sequência de uso
38. Teste de Usabilidade
3º passo: Definir perfil de participantes e recrutar
Wednesday, July 6, 2011 sequência de uso
39. Teste de Usabilidade
EXEMPLO
2 usuários lead e 4 intermediários
Pessoas que procuram ou procuraram imóveis recentemente.
Contatos não fornecidos pelo cliente.
Wednesday, July 6, 2011 sequência de uso
40. Quick and Dirty!
Sujando as mãos.
Teste realizado com 2 ou 3 usuários quando há restrições de orçamento/cronograma.
Wednesday, July 6, 2011 sequência de uso
41. Teste de Usabilidade
TO DO DONE
os
il (perfis) d
Definir o perf
es.
participant
tem po: 5’
Wednesday, July 6, 2011 sequência de uso
42. Teste de Usabilidade
4º passo: Definir tarefas e cenários (motivação)
Tarefas: O que precisa ser testado?
• Quais são as funcionalidades mais críticas?
• Passos esperados em cada tarefa (se for relevante)
• Tempo esperado em cada tarefa (se for relevante)
Um teste nunca deve passar de 2h (ideal é até 1h)
Cenário: Motivação para tarefa (ajuda na compreensão)
Wednesday, July 6, 2011 sequência de uso
43. Teste de Usabilidade
EXEMPLO TAREFAS
1. Encontrar um imóvel
2. Alterar filtros
3. verificar IPTU
4.Encontrar informações de contato
5.Salvar nos “favoritos”
6. Encontrar a lista de favoritos
Wednesday, July 6, 2011 sequência de uso
44. Teste de Usabilidade
EXEMPLO CENÁRIO
Opção 1: Você se mudou para curitiba e precisa arrumar um local pra alugar. Como
você encontraria este imóvel?
Opção 2: Facilitador: Você procurou um imóvel recentemente? Como foi essa
experiência? Tente encontrar um semelhante nesse site. Usuário: Não encontrei...
Facilitador: Por que você acha que o site não encontrou? Usuário: Deve ser a faixa
de preço que escolhi, foi baixa. Facilitador: Como você alteraria a faixa de preços?
Wednesday, July 6, 2011 sequência de uso
45. Teste de Usabilidade
TO DO DONE
ste de
efas para o te
tar
Definir
de.
u sabilida
tem po: 10’
Wednesday, July 6, 2011 sequência de uso
46. Teste de Usabilidade
5º passo: Preparar materiais, equipe, ambiente e ferramentas
Redigir, revisar e imprimir
• Roteiro, tarefas, termo de consentimento.
Verificar ambiente
• Nível aceitável de ruídos, privacidade, lanche (se necessário)...
Verificar computador
• Bateria, conexão, captura (áudio e vídeo), software espião, navegador (limpar cache)
• Não esquecer mouse e teclado (se necessário)
Wednesday, July 6, 2011 sequência de uso
47. Teste de Usabilidade
5º passo: Preparar materiais, equipe, ambiente e ferramentas
Estrutura do Roteiro
• Propósito do teste
• Lembrar que quem é avaliado é o sistema e não usuário
• Que o objetivo é melhorar a interface
• Que a identidade será mantida em sigilo
• Participação é voluntária
• Explicar como será o teste
• Explicar que podem fazer perguntas, mas nem todas poderão ser respondidas
• Small talk, contextualizar
• Explicar as tarefas
• Realizar entrevista semi-estruturada no final
Wednesday, July 6, 2011 sequência de uso
48. Teste de Usabilidade
EXEMPLO
Ver PDF anexo.
Wednesday, July 6, 2011 sequência de uso
49. Teste Piloto
Executar com alguém não envolvido diretamente coma execução do teste.
Adequar tarefas, tempo, equipamento, ambiente...
Wednesday, July 6, 2011 sequência de uso
50. Teste de Usabilidade
TO DO DONE
do
de aplicação
Escrever roteiro
teste.
da aula
tempo : resto
Wednesday, July 6, 2011 sequência de uso
51. Teste de Usabilidade
FIM DA PARTE 1 - PLANEJAMENTO
Wednesday, July 6, 2011 sequência de uso
52. Teste de Usabilidade
PARTE 2 - APLICAÇÃO DO TESTE
Wednesday, July 6, 2011 sequência de uso
53. Teste de Usabilidade
Equipe envolvida
Orientador/condutor
• Orientar o participante
• Fazer com que se sinta a vontade
• Responder perguntas
• Não induzir comportamento (tendenciar)
Observador
• Registrar interação do usuário
• Não interferir no teste
Opcionais: Recepcionista e co-observadores (clientes e outros membros da equipe)
Wednesday, July 6, 2011 sequência de uso
54. Teste de Usabilidade
Participantes (usuários)
Posso/devo pagar usuário?
• Na publicação de papers, artigos esta prática não é aceita
• No mercado é comum e há opções alternativas ao dinheiro (Vale-compra, etc)
O que o usuário precisa saber?
• Que está sendo observado
• Que sua identidade será preservada
• Indicar espelhos, câmeras, microfones etc.
• Precisa aceitar o termo de consentimento
Wednesday, July 6, 2011 sequência de uso
55. Teste de Usabilidade
Teste piloto
Permite testar as condições do teste
• As tarefas foram compreendidas pelos usuários?
• Todas as tarefas foram possíveis de concluir?
• Os equipamentos estão ok?
• O protótipo precisa ser ajustado?
• O questionário está ok?
Envolvidos: 1 a 3 (depende da complexidade do teste, mas normalmente 1 basta)
Wednesday, July 6, 2011 sequência de uso
56. Teste de Usabilidade
Escolha um software espião
• Quicktime (http://www.apple.com/quicktime/download/)
• SilverBack (http://silverbackapp.com/)
• CamStudio (http://camstudio.org/)
• Camtasia (http://www.techsmith.com/products/studio/default.asp )
• Morae (http://www.techsmith.com/products/morae/default.asp)
• Ovo Logger (http://www.ovostudios.com/ovologger.asp#during )
• ScreenCam (http://www.smartguyz.com/index.html )
• ZD Soft (http://www.zdsoft.com/downloads.html)
Wednesday, July 6, 2011 sequência de uso
57. Teste de Usabilidade
Antes do teste
• Imprima:
• Roteiros
• Fichas de tarefas
• Bloco de notas ou planilha para avaliador
• Questionário
• Prepare o lanche (se necessário)
• Prepare o ambiente físico
• Prepare o computador e equipamentos
• Certifique-se que o local é tranquilo (para teste em campo)
• Execute o teste piloto (ao menos um dia de antecedência)
Wednesday, July 6, 2011 sequência de uso
58. Teste de Usabilidade
Planejando o tempo de cada sessão
• Simule o teste e cronometre o tempo
• Estipule o tempo ideal para realização das tarefas
• Estipule o tempo limite para cada tarefa
• Inclua tempo para questionários
• Adicione uma margem de erro para atrasos dos participantes
Wednesday, July 6, 2011 sequência de uso
59. Teste de Usabilidade
Como preparar o computador?
• Verifique os requisitos (áudio, navegador, OS, internet, programas etc.)
• Instale um programa espião
• Faça um teste de captura (áudio e vídeo)
• Limpar o sistema de outros testes
Wednesday, July 6, 2011 sequência de uso
60. Teste de Usabilidade
Como manter o controle (em laboratório)?
• Procure ler o mesmo texto para todos os participantes
• Procure levantar as dúvidas mais comuns com o teste piloto, para incorporar no
roteiro e evitar “desfavorecer” algum participante
• Tenha uma cópia impressa do roteiro em mãos
• Evite fornecer informações somente para um participante
Wednesday, July 6, 2011 sequência de uso
61. Teste de Usabilidade
Como conduzir os testes?
• Escolha somente uma pessoa para falar com o usuário (condutor)
• O observador deve se posicionar de forma a ver a tela e as reações do usuário
• Leia e entregue a ficha da tarefa
• Comece com tarefas mais simples
• Responda as dúvidas que puder, quando não puder diga que você não pode
responder para não interferir o teste
Wednesday, July 6, 2011 sequência de uso
62. Teste de Usabilidade
<usuário> Mas isso não é inútil?
Resposta inadequada: "Não."
Resposta adequada: "Por que você acha isso?"
Wednesday, July 6, 2011 sequência de uso
63. Teste de Usabilidade
Como observar os testes?
• Procure por padrões de uso e fenômenos
• Não interfira no teste (função do orientador/condutor)
• Marque o tempo inicial (quando medindo o tempo)
• Anote nome dos pesquisadores, data e e local do teste
• Anote pontos de dificuldade
• Anote termos que causaram confusão
• Anote o caminho percorrido
• Anote as sugestões do participante
• Anote se a tarefa foi realizada com sucesso ou não
• Anote frases/depoimentos que exemplifiquem algo importante
• Anote o tempo final
Wednesday, July 6, 2011 sequência de uso
64. Teste de Usabilidade
Think aloud - Como funciona o “pensar em voz alta”?
Objetivo: explicitar o processo mental dos participantes
Vantagens
• Ajuda a captar entendimento
• Ajuda a captar sugestões
• Descobrir por que os usuários estão agindo de determinada forma
Desvantagem
• Atrapalha na medição do tempo/performance
Wednesday, July 6, 2011 sequência de uso
65. Teste de Usabilidade
Como estimular a falar?
Use perguntas!
• “Em que você está pensando?”
• “Por que optou por clicar aí?”
• “Por que você desistiu de ir por lá?”
• “O que você está entendendo por (termo)?”
Wednesday, July 6, 2011 sequência de uso
66. Teste de Usabilidade
Reproduzir exemplo de teste.
Wednesday, July 6, 2011 sequência de uso
67. Teste de Usabilidade
TO DO DONE
)!
O (3 alunos
E M GRUP r e usuá
rio.
rvado
bse
Orien tador, o
Definir upo.
com outro gr
Troca r usuário
ste!
Aplicar te
la
st o da au
t empo: re
EM GRUPO (ilimitado)!
Confraternização no barzinho.
tempo: indeterminado
Wednesday, July 6, 2011 sequência de uso
68. obrigado!
Este arquivo contém a apresentação realizada por Marcello de
Campos Cardoso, em novembro de 2010, para a disciplina Engenharia
de Usabilidade ministrada no curso de especialização Engenharia de
Software Centrada em Métodos Ágeis, no Centro Universitário UNA.
Wednesday, July 6, 2011