O documento fornece informações sobre os serviços oferecidos pela empresa Qualister, especializada em testes e qualidade de software. A Qualister oferece terceirização de profissionais de teste, consultoria, avaliação de usabilidade, automação de testes, testes de performance e treinamentos. O documento também fornece detalhes sobre cursos de avaliação de usabilidade ministrados pela Qualister.
Treinamento ERP com Nova carreira, novos resultados
Teste avaliacao usabilidade software
1. (48) 3285 5615 / 9645 5506
contato@qualister.com.br
• Terceirização de profissionais
• Consultoria de teste Avaliação
de
• Avaliação de usabilidade usabilidade:
teoria
• Automação de testes
• Testes de performance e
prá4ca
• Treinamentos
www.qualister.com.br
2. Quer saber mais?
Estes
são
apenas
alguns
slides
do
curso
avaliação
de
usabilidade
oferecido
pela
Qualister
Para
maiores
informações
visite
nosso
site:
h?p://www.qualister.com.br/cursos
www.qualister.com.br
3. Direitos autorais
Importante er
produção de qualqu
proibida a cópia e re
– É resentação incluindo,
parte do conteúdo desta ap
, imagens, gráficos e
mas não limitado a, textos
é protegida pelas leis
tabela s. Esta apresentação no
opriedade de Cristia
de Copyright e são pr e Treinamento
Caetano e Qualister Consultoria
LTDA.
r, copiar, guardar em
– Não é permitido modifica
ugar, vender ou
banco de dados público, al
apresentação,
republicar qualquer parte desta
o explícita do autor.
sem prévia permissã
o deste material,
– Quando ho uver permissão de us e
bibliográfica conform
é ob rigatória a referência
as normas vigentes.
www.qualister.com.br
4. Instrutor
Cristiano Caetano
Email: cristiano.caetano@qualister.com.br
Apresentações: slideshare.net/cristianocaetano
Blog: cristianocaetano.wordpress.com
É certificado CBTS pela ALATS. Diretor técnico da Qualister com mais de 10 anos de experiência, já
trabalhou na área de qualidade e teste de software para grandes empresas como Zero G, DELL e HP
Invent. É colunista na área de Teste e Qualidade de software do site linhadecodigo.com.br e autor dos
livros "CVS: Controle de Versões e Desenvolvimento Colaborativo de Software" e "Automação e
Gerenciamento de Testes: Aumentando a Produtividade com as Principais Soluções Open Source e
Gratuitas". Participante ativo da comunidade de teste de software brasileira, é o criador e mantenedor
do portal TestExpert: A sua comunidade gratuita de teste e qualidade de software
(www.testexpert.com.br).
www.qualister.com.br
6. Sobre a Qualister
• Fundação: 2007.
• Sobre a Qualister: A Qualister é uma empresa nacional, constituída a partir da união
de profissionais qualificados e certificados na área de testes e qualidade de software,
com o objetivo de integrar, implementar e implantar soluções com base nas melhores
práticas do mercado e normas internacionais.
• Colaboradores: A Qualister é composta por colaboradores pós-graduados e
certificados na área de testes (CBTS, CSTE) com larga experiência na indústria de
Tecnologia da Informação.
• Área de atuação: A Qualister é uma empresa especializada em serviços de
qualidade e teste de software. Tem como linhas de atuação consultoria em teste/
qualidade de software, outsourcing (terceirização dos serviços através da alocação
de profissionais) e treinamentos.
www.qualister.com.br
7. Parcerias internacionais
Soluções para automação, profilling e gestão de testes
Soluções para testes de performance
Soluções de apoio a avaliação de usabilidade
www.qualister.com.br
10. O que há de errado nestes objetos
10
www.qualister.com.br
11. O que há de errado com esse aplicativo
11
www.qualister.com.br
12. O que é usabilidade
O
que
é
usabilidade?
12
www.qualister.com.br
13. O que é usabilidade
Facilidade de
Aprendizado
Facilidade de
Uso
Facilidade de
Memorização
Usabilidade
Prevenção de Satisfação do
Erros Usuário
13
www.qualister.com.br
14. O que é usabilidade
Usabilidade
refere-‐se
à
capacidade
de
uma
aplicação
ser
compreendida,
aprendida,
u4lizada
e
atra4va
para
o
usuário,
em
condições
específicas
de
u4lização.
(ISO/IEC
9126)
14
www.qualister.com.br
15. O que é usabilidade
Quem
é
o
Usuário?
• O
usuário
é
qualquer
pessoa
que
entre
em
contato
com
o
sistema,
seja
o
operador,
o
mantenedor,
o
instrutor,
o
consumidor,
em
qualquer
4po
de
a4vidade.
• O
usuário
pode
ser
enquadrado
em
diversas
dimensões,
tais
como:
– O
usuário
como
sujeito
em
testes
de
usabilidade
e
proto4pagem,
onde
o
foco
é
saber
qual
a
qualidade
da
performance
do
sujeito
com
relação
a
um
sistema
par4cular
ou
a
uma
caracterís4ca
deste
sistema;
– O
usuário
com
alguém
que
tem
preferências,
par4cularmente
com
produtos
comerciais;
– O
usuário
experiente
em
assuntos
específicos,
como
provedor
de
informações
(experiência
anterior
do
usuário).
15
www.qualister.com.br
16. O que é usabilidade
O
que
o
usuário
quer?
• O
usuário
deseja
que
o
aplica4vo
que
ele
está
usando
ajude-‐o
a
concluir
as
suas
tarefas
co:dianas
(trabalho,
escola,
etc.)
• Para
isso,
o
usuário
deve
alcançar
três
obje4vos
através
do
aplica4vo,
em
ordem
de
importância:
1. Eficácia
–
o
usuário
alcança
quando
conclui
uma
tarefa.
2. Eficiência
–
o
usuário
alcança
quando
completa
a
tarefa
com
mínimo
tempo
e
esforço.
3. Sa:sfação
–
o
usuário
alcança
quando
ele
se
sente
gra4ficado
em
usar
o
aplica4vo.
16
www.qualister.com.br
17. O que é usabilidade
Segundo
Cybis
(2000),
os
efeitos
nega4vos
da
falta
de
usabilidade
de
um
aplica4vo
podem
ser
sen4dos
diretamente
sobre
o
usuário
e
a
sua
tarefa,
geralmente
como:
– Sobrecarga
percep4va
(dificuldade
de
leitura).
– Sobrecarga
cogni4va
(desorientação
ou
hesitação)
– Sobrecarga
^sica
(dificuldade
de
acionamento)
Classificação
Descrição
Aspecto
da
interface
no
qual
o
usuário
esbarra
diversas
vezes,
sem
conseguir
suplantá-‐lo.
Uma
barreira
pode
fazer
com
que
o
usuário
Barreira
desista
de
usar
uma
função
do
aplica4vo.
Esse
fato,
dependendo
do
contexto,
pode
fazer
com
que
o
sistema
se
torne
comercialmente
inviável.
Aspecto
da
interface
no
qual
o
usuário
esbarra,
mas
consegue
contorná-‐
Obstáculo
lo.
Essa
u4lização
de
uma
via
alterna4va
de
acesso
à
função
pode
acarretar
perda
de
desempenho,
gerando
prejuízos.
Aspecto
da
interface
que
não
impede
a
consecução
da
tarefa,
e
nem
faz
Ruído
com
que
o
usuário
tenha
que
contorná-‐lo,
mas
que
diminui
o
desempenho
dele
no
sistema.
17
www.qualister.com.br
18. O que é usabilidade
Interfaces
com
baixa
usabilidade
trazem
diversos
problemas
ao
usuário,
tais
como:
1. Requerem
treinamento
excessivo;
2. Desmo4vam
a
exploração
do
aplica4vo;
3. Confundem
os
usuários;
4. Induzem
os
usuários
ao
erro;
5. Geram
insa4sfação
junto
aos
usuários;
6. Diminuem
a
produ4vidade;
7. Não
trazem
o
retorno
de
inves4mento
previsto.
18
www.qualister.com.br
19. Usabilidade e negócios
• Preece
(2007)
mostra
que
um
aplica4vo
que
é
adequadamente
projetado
para
o
seu
domínio
proporciona
vantagens
dentro
da
empresa
em
que
ele
é
u4lizado,
tais
como:
– Custos
reduzidos
– Aumento
do
rendimento
do
trabalho
– Número
reduzido
de
faltas
ao
trabalho
• Se
um
aplica4vo
proporciona
mais
rendimento
aos
trabalhos
de
uma
empresa,
ele
será
naturalmente
preferido
a
outro
aplica4vo
similar.
• Além
disso,
o
aplica4vo
que
alcançar,
primeiro,
um
nível
de
usabilidade
adequado,
alcança
vantagem
sobre
os
outros
produtos
similares.
19
www.qualister.com.br
20. Usabilidade e negócios
• Nielsen
(2000)
aponta
uma
correspondência
direta
entre
a
usabilidade
de
um
site
e
o
seu
rendimento
para
a
empresa
que
o
mantém.
– Em
empresas
de
e-‐commerce,
a
usabilidade
é
ainda
mais
importante:
o
site
é
a
empresa,
efe4vamente.
– Além
disso,
na
Web,
as
empresas
concorrem
pelo
tempo
e
pela
atenção
do
usuário.
E
é
muito
fácil
passar
de
uma
empresa
para
a
outra:
basta
digitar
um
endereço
eletrônico,
e
se
passa
para
outro
site.
– Pesquisas
apontam
que
um
usuário,
quando
não
consegue
usar
os
serviços
de
um
site,
passa
no
máximo
10
segundos
antes
de
passar
para
o
site
concorrente.
• Ainda
segundo
Nielsen
(2007),
uma
empresa
pode
dobrar
a
taxa
de
conversão
de
seu
site
se
4ver
um
projeto
de
usabilidade
adequado.
20
www.qualister.com.br
21. Usabilidade e negócios
$
Vantagem
competitiva!
Menores custos de
desenvolvimento!
Fidelização do
cliente!
Redução do
tempo de projeto!
Menores custos
em manutenção e
suporte!
21
www.qualister.com.br
22. Usabilidade e negócios
• Uma
métrica
u4lizada
para
avaliar
a
rentabilidade
de
um
inves4mento
em
tecnologia
é
o
ROI
(Return
of
Investments).
ROI
é
o
bene^cio
que
se
obtém
para
cada
unidade
inves4da
em
tecnologia
durante
um
certo
período
de
tempo.
A
sua
fórmula
é
dada
por:
ROI=(BeneKcios/Custos)x100
• O
inves4mento
em
usabilidade
é,
em
geral,
a
estratégia
aplicada
ao
desenvolvimento
de
projetos
que
produz
mais
ROI.
O
retorno
médio,
segundo
o
site
www.seisdeagosto.com,
é
da
ordem
de
8€
para
cada
1€
inves4do
em
usabilidade.
• Clare-‐Marie
Karat,
na
IBM,
demonstrou
como
inves4r
60,000
dólares
em
usabilidade
durante
o
processo
de
desenvolvimento
de
um
aplica4vo
implicou
na
economia
de
6,000,000
dólares
durante
o
primeiro
ano
de
vida
do
produto.
22
www.qualister.com.br
23. DCU – Design Centrado no Usuário
• Durante
muito
tempo,
a
visão
hegemônica
da
empresa
é
que
todo
o
usuário
é
um
expert
em
informá:ca,
e
subentende-‐se
a
sua
ap4dão
para
lidar
com
sistemas
complexos.
– O
conceito
u4lizado
era
o
common
sense
dos
desenvolvedores
e
líderes
de
equipe:
uma
visão
de
profissionais
da
computação,
única,
que
embarca
uma
série
de
conceitos
prontos
e
subjacentes.
– Durante
muito
tempo,
de
fato,
os
usuários
eram
os
profissionais
de
computação,
ou
de
alguma
área
correlata.
• Atualmente,
existe
uma
gama
variada
de
usuários,
de
crianças
e
adolescentes
com
nenhuma
formação
em
informá4ca
(mas
muita
curiosidade
e
capacidade
de
aprender)
até
pessoas
idosas,
com
dificuldades
de
visão
e
audição.
Passando,
claro,
pelos
especialistas
em
informá4ca...
– O
common
sense
dos
desenvolvedores
e
líderes
de
equipe
já
não
reflete
a
realidade
dos
usuários,
que
se
tornou
pluralista.
– Tristemente,
muitas
empresas
não
consideram
os
anseios
e
necessidades
dessa
gama
de
usuários,
advindos
da
popularização
da
informá4ca.
23
www.qualister.com.br
24. DCU – Design Centrado no Usuário
Design Tradicional Design Centrado no Usuário
•
•
•
•
•
#
Pouco
tempo
para
desenvolvimento
da
usabilidade.
Testes
na
fase
final
do
desenvolvimento.
Ênfase
nos
aspectos
funcionais
do
aplica4vo.
Design
do
aplica4vo
geralmente
conduzido
pelos
desenvolvedores.
Usuários
não
são
consultados.
•
•
•
•
€#
Equilíbrio
entre
funcionalidade
e
usabilidade.
Design
do
aplica4vo
geralmente
conduzido
por
especialistas
em
usabilidade.
Testes
conduzidos
durante
todo
o
ciclo
de
desenvolvimento
Usuários
são
consultados
e
par4cipam
do
processo.
24
www.qualister.com.br
25. DCU – Design Centrado no Usuário
• Gould
e
Lewis
(1985)
postulam
três
princípios
para
efetuar
o
Design
Centrado
no
Usuário:
– Foco
inicial
em
Usuários
(Personas)
e
Tarefas
– Avaliação
empírica
(com
usuários)
da
usabilidade
do
produto
– Design
Itera4vo
-‐
O
produto
deve
ser
projetado,
modificado
e
testado
repe4damente,
a
cada
fase
do
ciclo
de
desenvolvimento.
25
www.qualister.com.br
26. DCU – Design Centrado no Usuário
• Foco
inicial
em
Usuários
(Personas)
e
Tarefas:
– Personas:
segundo
Cybis
(2007)
,
a
persona
“descreve
o
perfil
de
uma
pessoa
fic5cia
envolvida
com
o
produto.
Trata-‐se,
então,
de
inventar
um
conjunto
de
pessoas
(3
ou
4)
que
estejam
dentro
da
população
de
usuários
pretendidos
e
de
descrevê-‐las
em
detalhes.”
Fulano de Tal é um professor de ensino médio,
e tem 40 anos. Ele usa serviços de internet com
frequência, como banco virtual, compras em
lojas online, entre outros. É uma pessoa que
gosta de controlar os seus gastos
detalhadamente.
26
www.qualister.com.br
27. DCU – Design Centrado no Usuário
• Avaliação
empírica
(com
usuários)
da
usabilidade
do
produto:
– Para
garan4r
a
simplicidade
da
interface,
é
necessário
conduzir
avaliações
de
usabilidade:
• Erros
come4dos
–
violação
de
bons
princípios
de
usabilidade.
• Conhecimento
e
experiência
prévia
do
usuário
–
o
que
ele
conhece
que
pode
aumentar
a
sua
curva
de
aprendizado.
– Os
usuários
interagem
com
o
aplica4vo
em
situações
muito
próximas
do
co4diano.
– Ao
final,
é
solicitado
ao
usuário
que
relate
a
sua
experiência
e
as
sugestões
para
o
aplica4vo,
através
de
um
ques4onário
ou
de
uma
entrevista.
27
www.qualister.com.br
28. DCU – Design Centrado no Usuário
• Design
Itera:vo:
– O
design
itera4vo
faz
com
que
o
aplica4vo
seja
testado
e
validado
(inclusive
junto
com
os
usuários)
a
cada
ciclo
de
iteração.
– Desde
a
análise
de
requisitos,
as
avaliações
de
usabilidade
devem
ser
conduzidas
(através
de
protó4pos
não
funcionais).
– Esse
4po
de
abordagem
evita
alguns
problemas:
• Retrabalho;
• Gastos
extras
com
pessoal
e
recursos;
• Erros
detectados
apenas
ao
final
do
ciclo
de
desenvolvimento,
quando
erros
conceituais
se
tornam
de
di^cil
resolução.
28
www.qualister.com.br
29. Quando são realizadas as avaliações
• Quanto
à
etapa
do
ciclo
de
projeto:
Avaliação Formativa
Análise de Teste e
Implementação Manutenção
Requisitos Implantação
É realizada ao longo de
todo o ciclo de design, e
acompanha o
desenvolvimento da
interface.
29
www.qualister.com.br
30. Quando são realizadas as avaliações
• Quanto
à
etapa
do
ciclo
de
projeto:
Avaliação Formativa
Avaliação Somativa
Análise de Teste e
Implementação Manutenção
Requisitos Implantação
É realizada ao longo de É realizada somente ao
todo o ciclo de design, e final do ciclo de design,
acompanha o quando o aplicativo está em
desenvolvimento da vias de ser (ou já foi)
interface. lançado.
30
www.qualister.com.br
31. Quem realiza as avaliações
• Quanto
aos
executores
das
avaliações:
Especialistas Inspeções por Especialistas:
Realização de inspeções,
€# €#
€# baseadas no background do
especialista, e em bons
princípios de usabilidade.
31
www.qualister.com.br
32. Quem realiza as avaliações
• Quanto
aos
executores
das
avaliações:
Inspeções por Especialistas:
Especialistas
Realização de inspeções,
€# €# ƒ#
€# baseadas no background do
especialista, e em bons
princípios de usabilidade.
€# ƒ# Testes com Usuários:
Observação de usuários
€# interagindo, de fato, com o
€#
aplicativo avaliado. Possibilita
ƒ# descobrir falhas de usabilidade
e colher sugestões.
€# ƒ# €#
Usuários
32
www.qualister.com.br
33. Como a avaliação é realizada
Técnicas Técnicas Preditivas: são utilizadas para
Preditivas
prever problemas que os usuários
típicos do sistema provavelmente terão
Avaliação Percurso
(uso de especificações, maquetes ou
Checklists
Heurística Cognitivo protótipos).
33
www.qualister.com.br
34. Como a avaliação é realizada
Técnicas Técnicas Preditivas: são utilizadas para
Preditivas
prever problemas que os usuários
típicos do sistema provavelmente terão
Avaliação Percurso
(uso de especificações, maquetes ou
Checklists
Heurística Cognitivo protótipos).
Técnicas Técnicas objetivas: são utilizadas para
Objetivas compreender melhor como os usuários
utilizam o aplicativo em seu ambiente
natural, e como o uso daquele sistema
Testes Testes de
Empíricos
Think-Aloud
Comunicabilidade se integra em outras atividades.
34
www.qualister.com.br
35. Como a avaliação é realizada
Técnicas Técnicas Preditivas: são utilizadas para
Preditivas
prever problemas que os usuários
típicos do sistema provavelmente terão
Avaliação Percurso
(uso de especificações, maquetes ou
Checklists
Heurística Cognitivo protótipos).
Técnicas Técnicas objetivas: são utilizadas para
Objetivas compreender melhor como os usuários
utilizam o aplicativo em seu ambiente
natural, e como o uso daquele sistema se
Testes Testes de
Empíricos
Think-Aloud
Comunicabilidade integra em outras atividades.
Técnicas Técnicas Prospectivas: são
Prospectivas
utilizadas para medir o grau de
satisfação do usuário, além das
Questionário Questionário
suas sugestões e reclamações.
Pré-Teste Pós-Teste
35
www.qualister.com.br
36. Tópico
Técnicas preditivas:
• Avaliação Heurística: Bastien e Scapin
• Avaliação Heurística: Nielsen
• Conformidade com diretrizes e padrões
(checklists)
www.qualister.com.br
37. Inspeção por especialistas
• Avaliar
por
inspeção
significa
u4lizar
uma
série
de
métodos
de
avaliação
através
dos
quais
os
avaliadores
inspecionam
ou
examinam
aspectos
de
uma
interface
de
usuário
relacionados
a
usabilidade
(Silveira
2007).
• A
avaliação
por
inspeção
ocorre
quando
deseja-‐se
aferir
problemas
de
usabilidade
em
um
projeto
de
interface
existente,
a
fim
de
analisá-‐los
e
apontar
recomendações
para
consertá-‐los,
dentro
do
escopo
do
projeto.
• Técnicas
principais:
– Avaliação
heurís4ca
– Conformidade
com
diretrizes
e
padrões
(checklists)
37
www.qualister.com.br
38. Inspeção por especialistas – Análise heurística
• O
método
de
avaliação
heurís4ca
é
um
método
analí4co
que
visa
iden4ficar
problemas
de
usabilidade
conforme
um
conjunto
de
diretrizes
ou
heurís:cas
(Nielsen,
1994).
• Ele
se
baseia
em
melhores
prá4cas
definidas
por
profissionais
experientes
e
especialistas
em
IHC,
ao
longo
de
diversos
anos
de
trabalho
nesta
área.
• Não
envolve
usuários,
e
deve
ser
realizado
por
avaliadores
especialistas.
• Em
geral,
recomenda-‐se
que
3
a
5
especialistas
realizem
uma
avaliação
heurís4ca.
• Este
método
é
bastante
rápido,
e
de
menor
custo
que
a
maior
parte
dos
métodos
de
avaliação
amplamente
difundidos.
38
www.qualister.com.br
39. Inspeção por especialistas – Análise heurística
• Existem
várias
heurís4cas,
desenvolvidas
por
especialistas,
que
podem
ser
u4lizadas
nesse
4po
de
análise.
Como
exemplos
dessas
heurís4cas,
podemos
citar
as
criadas
por:
Bastien e Scapin (1995) Nielsen (1994)
www.qualister.com.br
40. Análise heurística – Bastien e Scapin
• Coerência:
refere-‐se
à
forma
na
qual
as
escolhas
na
concepção
da
interface
são
conservadas
idên4cas
em
contextos
idên4cos,
e
diferentes
para
contextos
diferentes.
C
D
www.qualister.com.br
41. Análise heurística – Bastien e Scapin
• Significado
dos
Códigos
e
Denominações:
diz
respeito
a
adequação
entre
o
objeto
ou
a
informação
apresentada
ou
pedida,
e
sua
referência.
C D
www.qualister.com.br
42. Análise heurística – Nielsen
• Correspondência
entre
o
sistema
e
o
mundo
real
O
sistema
deve
falar
a
língua
do
usuário,
com
palavras,
expressões
e
conceitos
que
lhe
são
familiares.
O
proje4sta
deve
seguir
as
convenções
do
mundo
real,
fazendo
com
que
a
informação
apareça
em
uma
ordem
natural
e
lógica.
C
42
D
www.qualister.com.br
43. Análise heurística
Como a Avaliação Heurística funciona?
Seleção dos
Avaliação Individual Avaliação Conjunta
Problemas
Aferir a interface Discussão sobre os Discussão com o
através das heurísticas problemas encontrados Cliente
na Avaliação Individual
Atribuição de
Anotar problemas Consolidação dos
Prioridades
encontrados resultados
Atribuir grau de Atribuição de soluções
severidade aos problemas.
Relatório conjunto
Geração de Relatório
Individual
www.qualister.com.br
44. Tópico
Testes com usuários:
• Planejamento
• Avaliadores
• Laboratório
• Métricas e indicadores
• Questões éticas
www.qualister.com.br
45. Testes com usuários
• Os
testes
com
usuários
são
aplicados
quando
se
procura
saber
qual
a
opinião
deste
sobre
a
interação
com
o
sistema.
Os
usuários,
em
todas
as
técnicas,
são
os
principais
sujeitos
da
avaliação
(sendo
o
objeto
o
aplica4vo
avaliado).
• A
atuação
do
avaliador
se
limita
a
coletar
os
dados
que
o
usuário
disponibiliza,
para
em
um
momento
posterior
interpretá-‐los,
iden4ficando
os
problemas
da
interface
do
aplica4vo.
• Nesse
contexto,
a
sa4sfação
dos
usuários
é
aferida
de
forma
direta,
por
meio
de
dados
subje4vos.
45
www.qualister.com.br
46. Planejamento de uma avaliação - DECIDE
Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma
avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,
2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.
D E C I D E
46
www.qualister.com.br
47. Planejamento de uma avaliação - DECIDE
Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma
avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,
2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.
D E C I D E
Determinar os objetivos gerais que a avaliação deverá tratar. Trata-se
de responder as perguntas gerais: Quais são os objetivos gerais da
avaliação? Quem quer realizá-la e por quê?
47
www.qualister.com.br
48. Planejamento de uma avaliação - DECIDE
Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma
avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,
2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.
D E C I D E
Explorar perguntas específicas a serem respondidas. Trata-se de
decompor as perguntas gerais em perguntas específicas ao sistema a
ser avaliado, considerando-se os usuários-alvo e suas atividades. Estas
perguntas são necessárias para permitir efetivamente que os objetivos
da avaliação sejam atingidos.
48
www.qualister.com.br
49. Quantidade de participantes
Figura 8. Gráfico de Custo X Benefício de Execução de Testes
49
www.qualister.com.br
50. Tarefas
• O
avaliador
deve
determinar
as
tarefas
a
serem
executadas
durante
o
teste,
que
poderão
fornecer
indicadores
sobre
estes
obje4vos.
• As
tarefas
devem
ser
vpicas,
no
sen4do
de
serem
tarefas
tão
realistas
quanto
se
possa
prever
sobre
o
uso
a
ser
feito
do
sistema.
• Na
definição
das
tarefas,
o
avaliador
deve
tomar
cuidado
com
o
tempo
previsto
para
cada
tarefa
e
para
o
teste.
• Normalmente
o
tempo
de
execução
de
uma
tarefa
deveria
ser
de
no
máximo
20
minutos;
• Deveria
se
manter
o
tempo
de
teste
inferior
a
uma
hora
para
não
ser
muito
cansa4vo
para
o
par4cipante
(Preece
et
al.,
2002).
50
www.qualister.com.br
51. Métricas e indicadores
• Geralmente,
as
avaliações
de
usabilidade
são
bastante
subje4vas,
não
u4lizando
modelagem
matemá4ca
ou
métodos
formais,
a
não
ser
em
ambiente
acadêmico.
• As
métricas
na
usabilidade
são
subje4vas,
sem
valores
de
grandezas.
Os
indica4vos
estão
relacionados
ao
comportamento
do
usuário
durante
o
teste.
• Algumas
variáveis
são
considerados
como
sendo
de
bastante
importância
para
aferir
a
usabilidade
(Preece,
2007):
– Memorização
– Número
de
Erros
– Sa4sfação
do
Usuário
– Aprendizagem
– Eficiência
51
www.qualister.com.br
52. Métricas e indicadores
Indicadores
de
Usabilidade
(ISO
9241-‐11)
52
www.qualister.com.br
53. Métricas e indicadores
Aprendizagem:
• Testes
com
usuários
iniciantes.
• Métricas:
• Sucesso/falha
na
tarefa
• Gravidade
dos
erros
(barreira,
obstáculo,
ruído).
• Tempo
gasto
sem
fazer
qualquer
a4vidade
(mouse
parado
ou
correndo
a
esmo.
Eficiência:
• Testes
com
usuários
experientes.
• Métricas:
• Tempo
para
realizar
tarefas
• Número
de
erros
come4dos
• Gravidade
dos
erros
(barreira,
obstáculo,
ruído).
53
www.qualister.com.br
54. Métricas e indicadores
Memorização
• Testes
com
usuários
ocasionais
• Métricas:
• Tempo
de
conclusão
da
tarefa
• Número
de
vezes
em
que
o
usuário
u4lizou
ajuda
externa
(sistema
de
ajuda,
Google,
etc.)
• Tempo
em
que
o
usuário
ficou
sem
executar
a4vidade
durante
a
tarefa
(cursor
do
mouse
parado,
ou
vagando
a
esmo).
Sa:sfação
do
Usuário
• Testes
com
todos
os
perfis
de
usuários,
aplicação
de
ques4onários.
• Métricas:
• Escala
de
sa4sfação
do
usuário
(1.
Desaprovo
Totalmente
à
5.
Gostei
Completamente).
• Número
e
teor
das
sugestões
do
usuário
no
ques4onário
pós-‐teste.
• Número
de
comentários
nega4vos
e
posi4vos
captados
em
áudio
durante
a
gravação
do
teste.
54
www.qualister.com.br
55. Métricas e indicadores
Perguntas a serem respondidas através das métricas de usabilidade:
– Por que o usuário não sabe?
– Por que o usuário erra?
– Por que o usuário demora?
– Por que ele não percebe?
– Por que ele não entende?
– Por que ele esquece?
– Por que ele não aprende?
– Como resolver os problemas detectados?
www.qualister.com.br
56. Dados de apoio
Nos
testes
de
usabilidade,
o
ponto-‐chave
é
a
observação
das
ações
dos
usuários.
Para
tornar
mais
fácil
essa
avaliação,
pode
dispor-‐se
de
fontes
adicionais
de
informação:
• Logs:
é
interessante
gravar
com
algum
aplica4vo
auxiliar
os
logs
das
teclas
pressionadas
e
da
movimentação
do
mouse
(número
de
cliques,
posição
do
cursor,
etc.).
• Telas
de
interação:
alguns
sowwares
fazem
a
captura
de
telas
(e
geram
vídeos
destas),
o
que
se
torna
importante
para
ver
onde
o
usuário
“se
perde”,
ou
não
compreende
a
sua
tarefa
(toma
o
caminho
errado,
explora
a
interface
“sem
rumo”,
etc.)
• Vídeo:
capta
as
emoções
do
usuário,
através
dos
seus
gestos
e
sua
expressão
corporal.
• Áudio:
o
áudio
é
uma
boa
fonte
de
dados,
pois
os
comentários
que
eles
fazem
entre
si
são
uma
importante
fonte
de
informações
sobre
a
usabilidade
do
aplica4vo.
56
www.qualister.com.br
57. Testes com usuários - Local
Os
testes
de
usabilidade
com
a
presença
do
usuário
podem,
quanto
ao
local,
ser
feitos
de
três
formas
dis4ntas:
Em Laboratório
Os testes em laboratório têm a vantagem de serem feitos em um
ambiente controlado. No entanto, um ambiente “formal” de avaliação
pode fazer com que o usuário se sinta tolhido, e não faça o teste de
usabilidade de maneira adequada.
Ambiente do Usuário (Presencial)
O teste de usabilidade conduzido nessas condições tem a vantagem de
deixar o usuário mais à vontade, usando um ambiente ao qual ele já está
acostumado. Porém, nem sempre o avaliador tem a disponibilidade de se
deslocar, e perde-se um pouco do controle sobre as condições do teste.
Ambiente do Usuário (Remoto)
Nesse teste, o usuário sente-se ainda mais à vontade, porque não tem a
presença “inquisitorial” do avaliador a seu lado, mas o experimento
perde muito em relação ao controle do experimento.
57
www.qualister.com.br
58. Testes com usuários – Aspectos éticos
• Aspectos
é4cos
de
uma
avaliação
de
usabilidade:
– No
Brasil,
a
Resolução
nº
196/96
define:
• É
pesquisa
com
seres
humanos
toda
a
inves4gação
que
envolva
direta
ou
indiretamente
seres
humanos,
incluindo
o
manejo
de
informações
por
ele
geradas
(incluindo
toda
a
avaliação
de
sowware
que
envolva
o
usuário).
• Define
que
toda
a
pesquisa
com
seres
humanos
envolve
riscos,
que
podem
causar
danos
^sicos,
morais,
intelectuais,
sociais
ou
culturais
ao
ser
humano.
– Devem
ser
garan:das
então
as
seguintes
condições
ao
usuário:
• Consen4mento
informado
e
esclarecido
do
par4cipante.
• Preservação
do
anonimato.
• Garan4a
de
bem-‐estar
dos
par4cipantes.
• Proteção
de
grupos
vulneráveis.
58
www.qualister.com.br
59. Testes com usuários – Aspectos éticos
Para
garan4r
a
proteção
aos
usuários
e
o
atendimento
a
exigências
é4cas
as
seguintes
diretrizes
foram
propostas
(Preece
et
al.,
2002):
• Explicar
aos
par4cipantes
os
obje4vos
do
estudo
sendo
feito
e
exatamente
como
deverá
ser
a
par4cipação
deles.
Deve-‐se
deixar
claro
o
processo
de
teste,
o
tempo
aproximado
do
teste,
o
4po
de
dado
sendo
coletado
e
ainda
como
os
dados
serão
analisados.
• Deixar
claro
as
expecta4vas
de
anonimato
dos
usuários,
deixando
claro
que
dados
par4culares
iden4ficados
durante
o
teste
não
serão
divulgados.
• Cer4ficar-‐se
de
que
os
usuários
entendem
que
a
qualquer
momento
podem
interromper
o
teste,
caso
desejem.
• Sempre
que
trechos
de
depoimentos
dos
usuários
forem
u4lizados
eles
devem
ser
anônimos
e
deve-‐se
re4rar
descrições
ou
trechos
que
permitam
a
iden4ficação
do
usuário.
Nestes
casos,
deve-‐se
requisitar
autorização
prévia
do
usuário
e
de
preferência
mostrar-‐lhe
o
relato
a
ser
divulgado.
59
www.qualister.com.br
60. Tópico
Técnicas objetivas:
• Card Sorting
• Teste Empírico Tradicional
• Protocolos Think-Aloud
• Protocolos Post-Event
• Teste de Comunicabilidade
www.qualister.com.br
62. Técnicas prospectivas
• Caracteriza-‐se,
como
o
próprio
nome
sugere,
pela
par4cipação
dos
usuários
na
avaliação
de
alguma
interface
através
de
suas
experiências,
opiniões
e
preferências.
• Baseiam-‐se
nas
aplicações
de
ques4onários,
segundo
Cybis
(2000),
para
avaliar
a
sa4sfação
de
usuários
de
algum
4po
de
sistema.
• Ques4onários
podem
ser
úteis
de
diferentes
maneiras
dentro
do
desenvolvimento
de
interfaces,
como,
por
exemplo,
para:
• Determinação
do
grau
de
sa4sfação
dos
usuários
com
relação
à
interface;
• Estruturação
das
informações
sobre
problemas
de
usabilidade
iden4ficados
por
usuários.
• Verificação
de
problemas
anteriormente
presumidos,
por
meio
de
inspeções
predi4vas
(análises
heurís4cas,
checklists).
www.qualister.com.br
63. Técnicas prospectivas
• O
obje4vo
principal
dos
ques4onários
é
descobrir
como
os
usuários
e
suas
tarefas
se
integram
no
sistema,
e
como
é
possível
torná-‐las
mais
fáceis.
• Enquanto
um
ques4onário
pré-‐teste
tem
perguntas
que
revelam
caracterís4cas
dos
usuários,
ques4onários
pós-‐teste
podem
obter
informações
relevantes
sobre
as
tarefas.
• O
ques4onário
abaixo
pode
auxiliar
na
formulação
de
outros,
mais
específicos:
1. O
usuário
considera
a
tarefa
realmente
necessária
em
seu
co4diano?
2. Como
o
usuário
realiza
a
tarefa?
3. Quais
os
passos
que
o
usuário
julga
necessários
para
completar
a
tarefa?
4. Há
algum
gargalo
que
torna
a
tarefa
mais
di^cil
de
ser
realizada?
5. Como
tornar
a
tarefa
mais
fácil?
www.qualister.com.br
64. Técnicas prospectivas: Questionários – Tipos de questões
• Questão
aberta
– As
perguntas
do
4po
abertas
é
possível
obter
respostas
discursivas
dos
usuários
referentes
a
determinado
assunto
através
do
preenchimento
de
uma
nota.
Esse
4po
de
pergunta
depreende
tempo
para
análise
e
tabulação
dos
dados
• Questão
fechada
– As
perguntas
do
4po
fechadas,
o
usuário
tem
um
conjunto
de
possíveis
respostas
preestabelecidas
a
escolher.
Dessa
forma,
ele
expressa
sua
opinião
concordando
ou
discordando
de
afirma4vas
dadas
www.qualister.com.br
65. Técnicas prospectivas: Questionários – Questões fechadas
• Escala
passo
a
passo
– O
usuário
escolhe
uma
opção
entre
uma
série
delas,
geralmente
expressa
por
números
ou
adje4vos
• Escala
compara:va
– Induz
o
usuário
a
confrontar
elementos
de
uma
solução
de
interface
proposta
com
outros
da
mesma
categoria
www.qualister.com.br
66. Técnicas prospectivas: Questionários – Questões fechadas
• Escala
LIKERT
– Indica
o
grau
de
concordância
ou
discordância
dos
usuários
com
relação
às
afirmações
dadas
• Escala
diferencial
semân:ca
– Permite
ao
usuário
assinalar
sua
opinião
num
subconjunto
de
alterna4vas
entre
pontos
extremos
de
adje4vos
opostos
www.qualister.com.br
67. Técnicas prospectivas: Questionários
Entre
os
ques4onários
reconhecidos
como
confiáveis
e
validados
pela
extensão
do
seu
uso,
desenvolvidos
especificamente
para
medir
a
sa4sfação
dos
usuários,
destacamos
os
apresentados
a
seguir:
QUIS:
QuesGonnaire
for
User
InteracGon
SaGsfacGon
-‐
h?p://lap.umd.edu/quis/
WAMMI:
Web
Local
Analysis
and
Inventory
of
Measure
–
h?p://www.wammi.com/
SUMI:
SoSware
Usability
Measurement
Inventory
–
h?p://sumi.ucc.ie/
www.qualister.com.br
68. Técnicas prospectivas: Questionários
• Para fazer um questionário adequado, seja ele pré ou pós-teste, é necessário que tenhamos alguns
cuidados no tocante à criação das questões (Rubin, 2003):
• Saber exatamente o que perguntar: cada pergunta dentro do questionário deve ter a sua razão de
ser, e deve estar perfeitamente alinhada com os objetivos do teste.
• Perguntas relacionadas ao que não é possível observar diretamente: dê maior destaque para as
perguntas que têm a ver com as preferências subjetivas. Não coloque questões a respeito de eficiência
e eficácia que podem ser mais bem respondidas através da observação direta do avaliador sobre as
tarefas do usuário.
• Manter as questões com simplicidade: minimize as respostas que necessitam de respostas em
extenso, como perguntas abertas. Em vez disso, utilize questões fechadas e escalas. Questões
fechadas eliminam as vantagens que os usuários com boa habilidade de expressão escrita podem ter
sobre os usuários com escrita pobre.
• Usar um teste piloto para refinar o questionário: como é difícil produzir um questionário inequívoco
e imparcial (especialmente se você está muito familiarizado com o assunto), é imperativo que você
realize um teste piloto do questionário. O teste de questionário-piloto, que deverá coincidir com o teste
de usabilidade piloto, lhe dará a direção para saber se as questões estão conduzindo às informações
corretas. Peça aos participantes perguntas específicas sobre o questionário em si, como "As perguntas
estavam confusas?" Além disso, procure para perguntas tendenciosas e questões que conduza a
testemunha para uma única resposta possível.
www.qualister.com.br
69. Tópico
Ferramentas de apoio
www.qualister.com.br
71. Ferramentas de apoio - StoryBoarding
?
?
?
?
1. Carlos precisa de um 2. “Mas onde está o alarme, 3. Carlos fica confuso por um
lembrete para o horário do afinal?” instante, mas tem uma ideia:
seu medicamento. Vai “Será que o alarme está no
registrar no PNotes... menu do botão direito?”
TENSO
4. “Nada a perder, não é 5. “Cadê o bendito alarme? 6. Carlos fica bastante
mesmo?”, ele pensa. Não tem alarme em lugar contrariado, e acha que o
Carlos resolve tentar... algum dessa interface!!!” aplicativo é inútil... “Um
despertador seria melhor!”
71
www.qualister.com.br
72. Ferramentas de apoio – Card Sorting
• Ferramentas
para
o
Card
SorGng
são
interessantes
porque
tornam
o
processo
de
avaliação
mais
rápido
e
confiável,
dispensando
o
uso
da
cartolina
e
do
pincel
atômico
e
eliminando
quase
que
totalmente
o
trabalho
braçal
na
técnica.
• Algumas
ferramentas
disponíveis:
– Op4mal
Sort
–
h?p://www.op4malsort.com
– Web
Sort
–
h?p://websort.net
– UXSort
–
h?p://www.uxsort.com
72
www.qualister.com.br
73. Quer saber mais?
Estes
são
apenas
alguns
slides
do
curso
avaliação
de
usabilidade
oferecido
pela
Qualister
Para
maiores
informações
visite
nosso
site:
h?p://www.qualister.com.br/cursos
www.qualister.com.br