Qualidade no ensino online e a distância: desafios e modelos de avaliação e certificação - comunicação no âmbito da conferência Futuro da Educação a Distância em Língua Portuguesa
Teoria heterotrófica e autotrófica dos primeiros seres vivos..pptx
Uab diogocasanova
1. Qualidade no ensino online e a
distância: desafios e modelos
de avaliação e certificação
Dr Diogo Casanova - Associate
Professor in Online Learning and
Quality | diogo.casanova@uwl.ac.uk
School of Higher Education Research
and Development
2. Qualidade: Definição
• Definição de qualidade como um conceito relativo: ser a
exceção, ser a perfeição, adequada ao propósito, adequada ao
preço ou transformativa;
• Perceções diferentes para diferentes stakeholders (estudantes,
docentes, empregadores ou o governo);
• Ênfase no processo ou no resultado.
(Harvey & Green, 1993)
3. Qualidade: função
Dicotomia: qualidade como certificação e
responsabilização ou qualidade como promotora de
melhorias (Harvey & Williams, 2010; Jara & Mellar,
2010)
4. Perceções de
qualidade e desafios
• EA menos exigente; retenção dos
alunos e reconhecimento das
entidades empregadoras (Allen e
Seaman; 2013).
• Alterações profundas com o
crescimento dos MOOC, do B-Learning
e do crescimento de ofertas
alternativas sustentadas em cursos a
distância.
• Crescimento sustentado no Canada
(aumento de 83% em 2017, Bates,
2018) e nos EUA (Seaman, Allen &
Seaman, 2018)
5. Perceções de
qualidade e desafios
• Maior dependência das ferramentas
online na avaliação, quizzes, acesso a
conteúdos e materiais para a
aprendizagem.
• Mobile learning e desenvolvimento de
competências digitais.
• Maior reconhecimento da
componente pedagógica nos cursos a
distância e do esforço e tempo
necessário para desenhar estes cursos.
8. O que avaliar (Casanova & Moreira, 2017)
Instituição
qualidade do
acesso aos SI e
à rede
suporte ao
estudante
Desenho
Conteúdos
desenho
instrucional
recursos e
ambientes de
aprendizagem
Ensino e
Aprendizagem
comunicação e
disponibilidade
participação e
interação
qualidade da
avaliação
Produto
valor
acrescentra
do
empregabili
dade
satisfação
retenção
dos
estudantes
qualidade
dos
produtos de
avaliação
Processo
9. Modelos de
avaliacão
Dicotomia: modelo para o Ensino online e a
distância ou parte de um modelo genérico?
Tendência para um modelo genérico para
cursos acreditados: RU; Canada ou UE.
Mas o que fazer com a oferta não
acreditada? Formação profissional, ligação
com empresas, MOOCs e formação ao longo
da vida (Relatório UE, 2018)
10. Reino Unido: modelo genérico
National Student Survey
(NSS)
Avalia a qualidade do ensino,
do ambiente e oportunidades
de aprendizagem, da avaliação,
do suporte académico, da
organização e gestão do curso,
dos recursos de aprendizagem,
da voz do estudante e da
satisfação geral.
Teaching Excellence Framework
(TEF)
Avalia de que forma as Universidades
proporcionam aos alunos um ensino e
aprendizagem de excelência.
Recurso a 3 dimensōes: Qualidade do
ensino, ambiente de aprendizagem e
resultados de aprendizagem.
Classificação das Universidades: Ouro,
Prata ou Bronze
League Tables
Publicam um ranking nacional
genérico ou por disciplina das
universidades com base num
conjunto de indicadores: NSS,
investigação, rácio aluno/professor,
empregabilidade.
Open University 23-154
Avaliado pelos estudantes Avaliado por especialistas Avaliado por métricas
definidas pelos media
11. Modelos específicos
• Benchmarks for TEL (ACODE,2014).
• Benchmark toolkit E-
xcellence (European Association of
Distance Teaching Universities).
• Institute for Higher Education Policy’s
Benchmarks for Success in Internet-
Based Distance Education (Merisotis
& Phipps, 2000).
qualidade como
certificadora e
reguladora
qualidade como
promotora de
melhorias
12. Desafios para a discussão
• O que avaliar?
• Quem deve avaliar?
• Como avaliar e que modelo utilizar?
13. Referências
• Allen, E., & Seaman, J. (2013). Changing course: Ten years of tracking online
education in the United States. Babson Research Group.
• Bates, T. (2018). The 2017 national survey of online learning in Canadian
post-secondary education: methodology and results. International Journal of
Educational Technology in Higher Education, 15(1), 29.
• Casanova, D., & Moreira, A. (2017). A Model for Discussing the Quality of
Technology-Enhanced Learning in Blended Learning
Programmes. International Journal of Mobile and Blended Learning
(IJMBL), 9(4), 1-20.
• Gibbs, G. (2010). Dimensions of quality. York: Higher Education Academy.
• Harvey, L., & Green, D. (1993). Defining quality. Assessment & evaluation in
higher education, 18(1), 9-34.
• Harvey, L., & Williams, J. (2010). Fifteen years of quality in higher education
(Part Two).
• Jara, M., & Mellar, H. (2010). Quality enhancement for e-learning courses:
The role of student feedback. Computers & Education, 54(3), 709-714.
• Phipps, R., & Merisotis, J. (2000). Quality on the Line: Benchmarks for Success
in Internet-Based Distance Education.
• Seaman, J. E., Allen, I. E., & Seaman, J. (2018). Grade Increase: Tracking
Distance Education in the United States. Babson Survey Research Group.
Notes de l'éditeur
Agradecimentos à Universidade Aberta de Lisboa, ao Sr. Reitor Professor Paulo Dias e à Sr.a Vice Reitora Professora Carla Oliveira a oportunidade de estar aqui convosco para apresentar esta comunicação sobre Qualidade no Ensino online e a distância. Gostaria ainda de dar os parabens à Universidade Aberta e a todos os seus colaboradores e alunos pelo seu 30 aniversário que vem numa altura em que o Ensino a distancia cresce exponencialmente e que a sua qualidade tem vindo finalmente a ser reconhecida.
Harvey e Green escreveram em 1993 um importante paper sobre a definição e o papel da qualidade no Ensino superior
Eles apresentam a definição de qualidade como um conceito relativo no qual qualidade pode ser um produto excecional, a perfeição de acordo os critérios, adequada/conforme o propósito, adequada ao preço ou transformativa – portanto o conceito de qualidade depende em larga medida do nosso objetivo como entidade reguladora ou avaliadora.
Por outro lado, qualidade depende também de quem avalia/ Qualidade para um aluno será seguramente diferente de qualidade para um docente ou para um empregador. A própria definição de critérios e a concretização desses critérios pode ser subjetiva daí procurarmos um exercício de benchmarking ou de definição de indicadores.
Por fim, qualidade pode estar mais concentrada no processo, no produto ou em ambos.
Durante esta apresentação procurarei abordar estas diferentes dimensões de qualidade no ensino superior e concreto no ensino online e a distância
Porque é que avaliamos? Qual é o propósito da qualidade, qual é a sua função? Diversos autores discutem a dicotomia qualidade como certificação e responsabilização ou qualidade como promotora de melhorias. Compreender esta dicotomia quando se avalia é importante pois permite por um lado conhecer melhor o objeto que se avalia e por outro criar caminhos para suportarem uma melhoria do objeto, ou seja, utilizar o processo de avaliação como forma de melhorar a qualidade. Por vezes, concentramo-nos apenas no propósito de regulação e de certificação esquecendo-nos que áreas novas de conhecimento como o ensino a distância precisam de se desenvolver e que os sistemas de garantia de qualidade servem também para promover a melhoria e conhecimento sobre o objeto a avaliar.
Até recentemente, o EA era visto iES e pelos seus dirigentes como o parente pobre do Ensino. Allen e Seaman apresentam em 2013 um relatório que aponta para a uma perceção destes agentes de menor exigência no EA em particular no que diz respeito à avaliação e à concretização dos resultados de aprendizagem. Por outro lado, a taxa de desistência nos cursos a distância é historicamente mais elevada e existe uma falta de reconhecimento das entidades empregadoras. Esta situação tem muito a ver com a falta de preparação das universidades para apoiar os alunos em termos de suporte tecnológico, bibliotecas e recursos educativos online ou trabalho de promoção junto das entidades empregadoras.
Na última década, e em particular, nos últimos cinco anos em Portugal, tem havido alterações profundas com o crescimento dos MOOC, do B-Learning (no reino unido até cursos de expressão artística em universidades clássicas têm uma forte componente online) e o crescimento de ofertas alternativas.
Quer no Canada, quer nos EUA o crescimento tem vindo a ser exponencial e hoje em dia a grande maioria das iES nos EUA e no RU oferecem pelo menos um curso de pós-graduação a distância.
Existe por outro lado maior dependência do digital no que diz respeito ao suplemento das atividades presenciais. Por exemplo, as ferramentas online na avaliação que são utlizadas para dar feedback aos alunos, quizzes, acesso a conteúdos e materiais para a aprendizagem.
Por outro lado, e em particular nos grandes centros urbanos, começa a haver um investimento em conteúdos para mobile learning oferecidos como parte integrante dos cursos presenciais – o flipped learning por exemplo promove uma aprendizagem mais ativas na sala de aula e a leitura, visualização e audição de conteúdos online.
Por fim, começa a haver maior respeito e reconhecimento pelas horas de trabalho necessárias para criar cursos online, em concreto, a importância dada à componente pedagógica necessária para o desenho destes cursos.
A perceção de qualidade varia consoante os seus agentes/stakeholders. Enquanto que para um estudante um artigo pode ter uma qualidade reduzida pois não o consegue entender (está escrito a um nível demasiado académico) para o docente esse artigo pode ser fundamental para o tópico a ser lecionado. A agência de avaliação pode estar a avaliar com base no produto enquanto que para um docente ou para um aluno o foco está no processo. Simultaneamente, o empregador procura a aquisição dos resultados de aprendizagem ou as competências transversais.
Talvez seja por esta disparidade de entendimentos sobre o que é qualidade que Gibbs e outros autores defendem a necessidade de envolver nos sistemas de garantia de qualidade todos estes diversos agentes, em particular num contexto tão complexo e diverso como o Ensino Superior em que a própria cultura institucional, a missão da instituição e a própria natureza da oferta formativa variam de instituição para instituição e por vezes de faculdade para faculdade.
O QUE É QUALIDADE PARA A UNIVERDADE ABERTA É DIFERENTE PARA OS SEUS ALUNOS E PARA OS DOCENTES DO QUE É QUALIDADE PARA A UNIVERSIDADE DE LISBOA. NÃO SIGNIFICA PORÉM QUE SE DEVE AVALIAR CRITÉRIOS DIFERENTES MAS QUEM OS AVALIA DEVE ESTAR PREPARADO PARA ESTE CONTEXTO.
Daí que se sugira o envolvimento dos diversos agentes na construção dos referenciais e no processo de avaliação.
Numa área tão recente como o ensino a distância o que avaliar é particularmente relevante. Claro que também aqui existem condicionantes provenientes do A3ES ou dos próprios regulamentos e legislação, mas é fundamental na minha opinião e de acordo com a minha investigação avaliar o processo e avaliar o produto. Concentrar a qualidade apenas numa destas dimensões fará com que se aspetos relevantes não sejam considerados. Igualmente, se discutirmos cada uma destas áreas com os nossos alunos ou com painéis de especialistas podemos utilizar o ‘processo de garantia de qualidade’, por um lado para esclarecer e discutir espectativas e, por outro, tornar mais envolvidos os diversos agentes neste processo tornado o processo também um pouco seu.
Neste slide estão apresentadas algumas das áreas que podem ser exploradas em sistemas de garantia de qualidade para o ensino a distância. Como se pode verificar nem todas as áreas são da responsabilidade do docente. A instituição deve dar apoio ao aluno no que diz respeito às suas infraestruturas e ao apoio bibliotecário. Por outro lado, o desenho do curso, os recursos disponíveis e os elementos de avaliação e a forma como tudo é desenhado numa narrativa que esclarece o aluno são todas áreas fundamentais. Por fim, a mediação da aprendizagem, a justeza da avaliação e a qualidade e prontidão do feedback são também áreas relevantes.
O produto foca em indicadores mais objetivos, por norma em resultado do processo. O valor acrescentrado, a taxa de empregabilidade, a satisfação do empregador/estudante, a
Taxa de retenção dos estudantes ou a qualidade dos produtos de avaliação que é uma área que começa a ser mais explorada no sentido de encontrar evidência da qualidade do produto.
Existem diversos modelos para avaliar a qualidade dos cursos a distância, uns mais genéricos, outros mais específicos. Existem discussões sobre que modelo utilizar mesmo entre especialistas da área pois por um lado existem idiossincrasias no ensino online que estão pouco salientes no ensino presencial mas por outro lado aspetos centrais de ambos os tipos de cursos são semelhantes (resultados de aprendizagem, objetos de avaliação, ECTS e mesmo os docentes) e só promovendo a comparabilidade entre cursos poderemos levar o ensino a distancia a um lugar tão nobre como o ensino mais tradicional.
O NSS Avalia a qualidade do ensino, do ambiente e oportunidades de aprendizagem, da avaliação, do suporte académico, da organização e gestão do curso, dos recursos de aprendizagem, da voz do estudante e da satisfação geral. As iES submetem um conjunto de métricas para além de uma reflexão sobre de que forma a Universiade promove a qualidade do ensino e aprendizagem. Avaliado pelos estudantes no ano 3.
O TEF avalia de que forma as Universidades proporcionam aos alunos um ensino e aprendizagem de excelência.
Recurso a 3 indicadores: Qualidade do ensino, ambiente de aprendizagem e de que forma os resultados de aprendizagem foram adquiridos. No caso de serem para lá do standard permite às Universidades aumentar s suas propinas ou mantê-las. Avaliado por um painel de especialistas com base na submissão e em métricas.
As League tables publicam um ranking nacional com base num conjunto de indicadores. Estas league tables sāo publicadas por jornais como o Times e o Guardian.
A Open University decidiu não participar no TEF e nas League tables embora tenha um resultado muito satisfatório no NSS.
No que diz respeito aos modelos específícos existem diversos modelos, uns mais focados no processo, outros no produto. Uns suportados por redes de universidades como o E-Xcellence que reconhece a qualidade inter-institutições através de uma label/certificado outros mais locais (ACODE) que procuram discutir e desenvolver standards para o setor e para o pais e por fim agencias como o Institute for Higher Education Policy que foi pioneiro no desenvolvimento de um instrumento para avaliação de cursos. Estes três modelos são particularmente abrangentes e reconhecidos no setor daí que os tenha salientado, mas existem outros que focam em dimensões específicas da qualidade, uns mais focados no objeto e outros no processo.
Sei que existem discussões entre a Universidade Aberta, outros agentes e a tutela para regular o Ensino a distância no país. É um importante passo no sentido se promover maior reconhecimento e credibiidade a este modo de aprender e de ensinar. Deixo as minhas questões para discussão na mesa redonda e durante este ciclo de conferências. O que avaliar no ensino a distância? Quem deve avaliar? Como avaliar e que modelo utilizar, mais genérico ou mais específico?