This study intends to present a comparison about evaluation of usability and accessibility, which required the creation of two multimedia prototypes named “Moodle” and “Job Search Techniques”, under the project (e-Pris) e-Learning in Prisons. We have built our multimedia prototypes using a conventional model of instructional design, ADDIA. This model demanded the planning of the multimedia prototype, the elaboration of the materials and of the usability tests, with the experts and with the users whose characteristics are similar to those in the target group, as well as the preparation of the accessibility tests. While assessing the usability of the multimedia prototypes, by replacement users with similar characteristics to the target public, we have verified that learning to use the prototype (Learnability), executing all tasks efficiently (Efficiency) and with satisfaction (Satisfaction) were easy. The prototypes have proved to be also somewhat prone to errors (Errors). Nevertheless, we have not properly assessed the memorizing skills’ parameter, related to the ease of remembering the prototype’s functionalities (Memorability). The evaluation of the accessibility has allowed us to make further improvements to the use of the prototype, not just for the users with special needs, but to all the users.

1. Celestino Magalhães
José Alberto Lencastre
Universidade do Minho

2. O Projeto
O Projeto e-Learning em Estabelecimentos
Prisionais ( e-Pris ) tem por objetivo avaliar a
viabilidade de formação via e-Learning em contexto
prisional, contribuindo para diminuir fatores de risco
e exclusão social e uma melhor (re)inserção social
da população, fomentando a igualdade de
oportunidades e de género.
I

3. O Projeto
Problema
Inexistência de produtos no mercado certificados e
adaptados à formação "a distância” via e-Learning
adequados às características e necessidades das
potenciais formandas.
I

4. O Projeto
Objetivos:
• identificar as caraterísticas do público-alvo
• desenhar e criar um protótipo multimédia educativo
adequado à formação “a distância” via e-learning
de adultos em contexto prisional
• avaliar a usabilidade e a acessibilidade do
protótipo
I

5. Modelo ADDIA
• O modelo ADDIA é um processo de design interativo
formativo, onde os resultados da avaliação formativa de
cada fase alimentam a fase seguinte mas podem levar
o designer de volta para qualquer fase anterior.
• Objetivo centrado no utilizador e não na abordagem
tradicional do formador (centrada na instrução), para
que a aprendizagem seja eficaz.
II

6. Modelo ADDIA
Modelo ADDIA
(adaptado de Clark, 2000)
II

7. AnáliseIII
(adaptado de Clark, 2000)

8. Desenho
Adaptado de Clark (2000)
IV
Desenho
Objetivos da
Formação
Integração das
TIC
Interface
Avaliação
Fontes de
Informação
Estratégias
de Ensino
e
Motivação
Currículo

9. Desenho
Layout do protótipo multimédia educativo
IV
Conteúdo Formativo
Pesquisa e duração do Pacote Formativo
Menu de Navegação
pelos vários
conteúdos
Forma de apresentação do
conteúdo: texto, imagens,
animações, vídeo, flipbook.
Título do Pacote Formativo
Formativo

10. Desenho
Algumas preocupações na construção do
protótipo:
a) Estrutura
b) Navegação
c) Interface e layout
d) Rapidez de acesso
e) Níveis de interatividade
f) Informação
IV

11. ž Fácil de aprender: a capacidade com que os utilizadores
conseguem realizar tarefas básicas quando usam o protótipo
pela primeira vez.
ž Eficiente para usar: após os utilizadores terem aprendido o
funcionamento do protótipo, conseguem facilmente localizar a
informação de que precisam.
ž Fácil de lembrar: depois de algum tempo sem utilizar o
protótipo, conseguem facilmente recordar o seu
funcionamento.
ž Pouco sujeito a erros: os utilizadores cometem poucos erros
durante a utilização do protótipo e, caso aconteça, estes
possuem um grau de gravidade baixo e são de fácil correção.
ž Agradável de usar: os utilizadores sentem-se satisfeitos com
a utilização do protótipo.
V Usabilidade

12. Para avaliar a usabilidade do protótipo, foram
utilizados dois métodos:
ž Avaliação heurística: realizada por peritos à
versão alpha do protótipo na fase de desenho;
ž Teste de usabilidade: realizado por um grupo
de utilizadores com características semelhantes
às do público-alvo, realizado na fase de
desenvolvimento.
V Usabilidade

13. ž A avaliação heurística envolveu uma análise do
protótipo por 3 peritos que não tiveram
participação no projeto. Segundo Nielsen (1994) é
o número suficiente de avaliadores que permite
identificar a maior parte dos erros de usabilidade.
ž Cada perito avaliou individualmente, de acordo
com as heurísticas definidas.
V Avaliação heurística

14. Heurísticas (Nielsen,1994):
1. Tornar o estado do sistema visível
2. Falar a linguagem do utilizador
3. Utilizador controla e exerce livre-arbítrio
4. Consistência e Adesão a Normas
5. Evitar erros
6. Reconhecimento em vez de Memorização
7. Flexibilidade e Eficiência
8. Desenho de ecrã estético e minimalista
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
10. Dar Ajuda e Documentação
V Avaliação heurística

15. Recolha dos dados através de um inquérito por
questionário dividido em 3 partes:
Parte 1 – Questionário Pessoal
Parte 2 – Consulta e Navegação pelo protótipo
Parte 3 – Questionário composto por 13 questões de
resposta fechada e uma de resposta aberta.
V Teste de usabilidade

16. ž Em conformidade com o World Wide Web Consortium (W3C),
acessibilidade significa que “pessoas com deficiências possam
usar a Web”, isto é, “percebam, naveguem e interajam com a
Web”.
ž A acessibilidade é definida por três níveis de prioridade:
i. aspetos que os criadores de conteúdos Web têm que
cumprir;
ii. aspetos que os criadores de conteúdos Web devem cumprir
iii. aspetos que os criadores de conteúdos Web podem cumprir.
VI Acessibilidade

17. ž Os níveis de conformidade atribuídos dependem da verificação das
prioridades assim:
— nível de conformidade "A” , se foram satisfeitos todos os pontos de
verificação de prioridade 1;
— nível de conformidade "AA", se foram satisfeitos todos os pontos de
verificação das prioridades 1 e 2 e
— nível de conformidade "AAA", se foram satisfeitos todos os pontos
de verificação das prioridades 1, 2 e 3.
ž Os testes de acessibilidade realizados foram baseados nas
recomendações WCAG 2.0 da W3C.
VI Acessibilidade

18. Apresentação e Análise dos Resultados
ž Avaliação heurística: durante a avaliação heurística foram
recolhidos dados quantitativos – número de transgressões
observadas em cada uma das heurísticas – e dados qualitativos,
através dos comentários efetuados pelos avaliadores.
Sim Não Não Avaliado
1. Tornar o estado do sistema visível 100% 0% 0%
2. Falar a linguagem do utilizador 95% 0% 5%
3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%
4. Consistência e Adesão a Normas 100% 0% 0%
5. Evitar erros 83% 0% 17%
6. Reconhecimento em vez de Memorização 97% 0% 3%
7. Flexibilidade e Eficiência 92% 0% 8%
8. Desenho de ecrã estético e minimalista 94% 0% 6%
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar
dos erros
67% 0% 33%
10. Dar Ajuda e Documentação 80% 13% 7%
% de Respostas
Heurísticas
VII

19. Apresentação e Análise dos Resultados
ž Das 10 heurísticas, subdivididas em 62 sub-heurísticas,
duas apresentaram problemas.
ž Os problemas foram classificadas de acordo com o grau
de severidade.
ž Das 62 sub-heurísticas, três (cerca de 5%)
apresentaram problemas de usabilidade
ž 59 (cerca de 95%) foram referenciadas como não
apresentando qualquer tipo de problema.
VII

20. Apresentação e Análise dos Resultados
ž Teste de usabilidade com utilizadores: para a recolha
de dados foram utilizadas/os:
— Inquérito por questionário, em papel e entregue às
participantes no início da sessão;
— Observação, os dados e informações foram registados
em Grelhas de Observação (tempo gasto na realização
das tarefas, tempo gasto para concluir o teste e registo
das classificações obtidas pelas participantes).
VII

21. Apresentação e Análise dos Resultados
ž A seleção dos utilizadores que realizaram os testes de
avaliação da usabilidade foi feita tendo em conta dois
critérios:
— características pessoais (idade, género, habilitações), e
— experiência tecnológica (utilização de computador,
utilização de documentos multimédia, utilização da
Internet, conhecimentos dos conteúdos).
ž Devido ao facto do público-alvo se encontrar em reclusão
prisional, não foi possível utilizar uma amostra proveniente
do grupo. A solução encontrada foi escolher um grupo com
o maior número de características semelhantes.
VII

22. Apresentação e Análise dos Resultados
ž Relativamente aos testes de usabilidade dos protótipos e tendo em
atenção as respostas apresentadas nos inquéritos por questionário,
consideramos uma escala onde a resposta “Nunca” corresponde a
0 e a resposta “Sempre” corresponde a 2.
VII
Parâmetros Questões
Média Protótipo
Multimédia
"Técnicas de
Procura de
Emprego"
Média Protótipo
Multimédia
"Moodle"
1. O ambiente gráfico do protótipo é agradável? 1,8 2
2. A informação no protótipo encontra-se bem organizada? 2 2
3. A linguagem utilizada é simples e clara? 1,8 1,6
4. Sentiu-se à-vontade a usar o protótipo? 1,8 1,6
5. O protótipo permite uma fácil navegação? 1,6 1,8
6. Foi fácil encontrar a informação que precisou? 2 1,8
7. O protótipo tem as funcionalidades e capacidades que esperava? 2 2
8. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8 2
9. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2 2
10. A informação fornecida pelo protótipo foi fácil de entender? 2 2
11. Conseguiu completar eficazmente o seu trabalho? 1,8 2
12. Na globalidade ficou satisfeito com o seu trabalho? 1,8 2
Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8 1,8
Design
Facilidades de utilização
Funcionalidades
Aprendizagem
Satisfação

23. Apresentação e Análise dos ResultadosVII

24. Apresentação e Análise dos Resultados
ž Acessibilidade: Total Validator.
ž O principal objetivo foi permitir que o protótipo passasse
os testes de acessibilidade para a prioridade 1 (nível
de conformidade A).
ž Submetemos o protótipo multimédia educativo ao
validador automático e obtivemos o seguinte resultado:
VII

25. Apresentação e Análise dos Resultados
ž O único erro apresentado, refere-se a um erro de sintaxe no xhtml,
nomeadamente atributos que foram utilizados unicamente para criar
uma apresentação visual e está relacionado com a ferramenta
utilizada para a criação do protótipo multimédia educativo.
VII

26. Apresentação e Análise dos Resultados
ž Aplicamos também o validador da W3C não tendo obtido
qualquer erro.
VII

27. • Respondendo aos objetivos do nosso estudo:
• iniciamos com a caraterização do público-alvo, formandas do
estabelecimento prisional, e definimos o contexto em que estão
inseridas. Isto permitiu identificar as necessidades de
aprendizagem, definir os objetivos de ensino e as restrições
envolvidas.
• desenhamos o protótipo no quadro de um referencial teórico e
fizemos a avaliação com os peritos.
• desenvolvemos o protótipo e avaliamos a usabilidade com
utilizadores semelhantes ao público-alvo.
• avaliamos a acessibilidade.
VIII Considerações finais

28. • Respondendo aos objetivos do nosso estudo:
• É fácil de aprender
• É eficiente para usar
• É pouco sujeito a erros
• É agradável de usar
VIII Considerações finais

29. • a avaliação de um protótipo multimédia educativo não
pode ser vista como algo fechado e exato, não existindo
nenhuma fórmula “mágica” que nos permita criar e
desenvolver um protótipo multimédia educativo cem por
cento eficaz. No entanto, a avaliação da sua usabilidade e
da sua acessibilidade permitirá que seja utilizado com
maior probabilidade de sucesso por parte dos utilizadores
finais.
VIII Considerações finais

30. Obrigado pela vossa atenção!
celestino.magalhaes@gmail.com