Este documento discute a qualidade na avaliação online. Aborda definições atuais de qualidade e expectativas emergentes para avaliações online adequadas. Também examina como o design instrucional, novas tecnologias e modelos participativos de aprendizagem podem melhorar as práticas de avaliação.

1. QUALITY IN ONLINE DELIVERY:WHAT DOES IT MEAN FOR ASSESSMENT IN E-LEARNING ENVIRONMENTS?Catherine McLoughlin & Joe Luca(2001) Trabalhorealizado no âmbitodaUnidade Curricular: Concepção e Avaliaçãoem e-Learning do MestradoemPedagogia do e-Learning UniversidadeAberta Janeiro de 2011 Discentes: Fernando Faria, Marina Moleirinho, Marco Freitas e Telma Jesus Docente: Profª Drª LúciaAmante

2. RESUMO Este artigo de Catherine McLoughlin e Joe Luca aborda as definições actuais da qualidade na avaliação online e examina as expectativas emergentes do que constitui uma avaliação online adequada.

3. O DEBATE SOBRE A QUALIDADE (1) De acordo com o Institute for Higher Education Policy (National Education Association, 2000), os resultados de aprendizagem devem ser revistos regularmente para assegurar a coerência, a clareza e a adequação dos resultados da aprendizagem. Recomendações sobre os processos de avaliação: Possibilitar aos alunos a monitorização do seu progresso; Proporcionar feedback regular aos alunos; Suportar práticas de co-aprendizagem e avaliação; Utilizar práticas de auto-avaliação.

4. O DEBATE SOBRE A QUALIDADE (2) Diferentes formas de realizar a avaliação. Avaliação realizada fora do "campus" Avaliação realizada no "campus" Contacto dos alunos com pessoal docente Quality Assurance Agency for Higher Education (1999)

5. O DEBATE SOBRE A QUALIDADE (3) A aprendizagem online, a sabedoria pode ser fornecida por meio de formas alternativas de avaliação da compreensão do aluno. (Berge, Collins e Dougherty, 2000) Comunicação mediada por computador(CMC), interfere na qualidade da aprendizagem, promovendo o pensamento ao nível da síntese e avaliação de conceitos indo muito além da aquisição do conhecimento (cognitivo). (Warren e Rada, 1999) A carência de orientação pedagógica para os profissionais de ensino online é muitas vezes referenciada.

6. O DEBATE SOBRE A QUALIDADE (4) Nenhum projecto único ou perspectiva é adequado para o design de um projecto de ambientes de aprendizagem de tecnologia avançada. (Sfaard, 1998) “Technology has yet to make significant improvements in the quality of education by any reasonable measure”. Spector continua a argumentar que a maioria das falhas é atribuída à crença de que existe uma melhor abordagem, uma teoria perfeita ou uma solução final. (Spector, 2000)

7. SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (1) O referencial de satisfação do estudante, supervisiona as suas avaliações, a sua aprendizagem e a sua satisfação geral com a avaliação, através da aplicação de questionários após a conclusão do curso. Estes dados apenas fornecem informações relativos à satisfação dos alunos e não indicadores de qualidade. (McKinnon, Walker & Davis, 2000)

8. SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (2) Os professores e os designers precisam de uma base de princípios para a concepção de novas formas de avaliação, alinhados com os objectivos instrucionais e utilizando os recursos interativos da tecnologia online. (American Psychological Association, 1993) Reconhecer que a avaliação do aluno influencia a sua aprendizagem, faz com que ela permaneça no centro do processo de concepção (design) do currículo e seja um elemento central na experiência de aprendizagem do aluno. (Ramsden, 1992; Biggs, 1999)

9. SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (3) NOÇÃO DE QUALIDADE Orientações sobre práticas a adoptar na concepção (design) da avaliação educativa Satisfação dos alunos com os processos de avaliação Processos autênticos e válidos, adequados a ambientes de educação a distância e online

10. SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (4) Os problemas relacionados com a qualidade estão ligados à infra-estrutura, execução e prestação de serviços aos alunos, demonstrando o panorama dos sistemas que precisam de estar no local para permitir a avaliação que deve ser gerida a nível institucional.

11. SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (5) Tecnologia Pedagogia Modelo de 4 dimensões Planeamento institucional Implementação Este modelo influência a qualidade do ensino e da aprendizagem. Collis e Moonen (2001)

13. A multiplicidade de abordagens torna o ensino mais eficiente (Sfaard, 1998; Spector, 2000).

14. A satisfação do aluno não pode ser a única referência para avaliar a qualidade.

15. É preciso fornecer uma base aos professores e designers curriculares para conceberem novas formas de avaliação articuladas com os objectivos instrucionais e a potencialidade interactiva das tecnologias online.

16. A avaliação que promove a aprendizagem deve fazer parte do processo de design curricular.Mas... Os modelos de ensino online não apresentam directrizes sobre as práticas e processos curriculares que podem ser desenvolvidos.

17. HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS DE AVALIAÇÃO NA WEB? (1) As Tecnologias de Informação e Comunicação (TIC) estão cada vez mais integradas no ensino superior. Laurillard (1993) afirma que a aprendizagem suportada pelas novas tecnologias promove: a auto-aprendizagem e autonomia; a flexibilidade e diversidade na avaliação; o desenvolvimento de competências sociais através do aumento da literacia; uma maior produtividade e eficiência no ensino superior.

18. HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS DE AVALIAÇÃO NA WEB? (2) As oportunidades de aprendizagem nem sempre se traduzem em resultados de aprendizagem. Quais as percepções dos alunos sobre as novas tecnologias e o seu valor na aprendizagem? Alexander e Mckenzie (1998) concluem que: a tecnologia influencia o comportamento dos alunos e o modo como aprendem; a tecnologia facilita a comunicação e as relações entre os alunos; anteriores experiências de aprendizagem e ensino influenciam a aceitação de novas abordagens pelos alunos (aplicando-se ou não a tecnologia); ganhos consideráveis de aprendizagem não são sentidos pelos alunos como consequência da utilização da tecnologia.

19. HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS DE AVALIAÇÃO NA WEB? (3) A adopção das TIC não implica a mudança pedagógica, embora os ganhos de aprendizagem não possam ser provados, os alunos permanecem optimistas sobre a integração da tecnologia e referem que vivenciam novas formas de aprendizagem e novos tipos de contactos por parte dos professores, e que ocorrem novos recursos e actividades de aprendizagem. Estas novas actividades de aprendizagem e abordagens ao currículo, levam à adopção de práticas de avaliação inovadoras e é uma questão de grande importância para os educadores online e designers instrucionais.

21. ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA OU “REEMBALAGEM”? (1) Um aluno auto-direccionado e autónomo significa que o aluno assume mais responsabilidade pela sua própria aprendizagem. Aplicado à avaliação, o pluralismo da tecnologia proporciona aos estudantes a possibilidade de demonstrarem compreensão e competências associadas à vida real. As tecnologias da informação contribuem para a qualidade da aprendizagem e para a criação de ambientes autênticos de avaliação. (Gardner, 1993; Greeno & Hall, 1997)

22. ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA OU “REEMBALAGEM”? (2) Shaffer e Resnick (1999) afirmam que a tecnologia pode ser usada para criar contextos autênticos de aprendizagem e oferecer recursos que dão aos alunos oportunidades em várias áreas: Conectividade: para se ligar o mundo exterior à sala de aula, com temas de investigação que outra forma seriam inacessíveis, para contacto a especialistas e participar de conversas com os colegas; Autenticidade: para demonstrar o desempenho em tarefas autênticas e eventos comunicar, Pluralismo epistemológico: para expressar e representar ideias de formas variadas.

23. ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA OU “REEMBALAGEM”? (3) O impacto das TIC no ensino provocou o aparecimento de novos termos para a aprendizagem. Apesar de todas estas inovações, não há diferenças significativas nos resultados de aprendizagem em tecnologia de ambientes suportados. Se a Internet é um ambiente propício para adopção de práticas de avaliação reformuladas e repensadas como parte de uma abordagem holística para a concepção do currículo e da pedagogia. (Russel, 1999)

24. ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA OU “REEMBALAGEM”? (4) A "reengenharia pedagógica" é um pensamento que surgiu para descrever a mudança das práticas do ensino online, concentrando-se nas actividades do aluno e na aplicação dos media a cenários de ensino e aprendizagem. Os cursos são construídos com componentes ou unidades de ensino unidos em sequências ou combinações. Estes elementos são alterados pela tecnologia aplicada ao ensino e à aprendizagem baseada na Internet. Tornam-se mais flexíveis, concentrando-se no aluno, e levam a novas formas de avaliação. (Collis e Moonen, 2001)

25. APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (1) O contexto de aprendizagem online promove, através dos média, alunos participativos e produtores de conhecimento. Há uma contribuição activa dos alunos nos recursos de aprendizagem. A avaliação por pares (peer assessment) através da Internet é um indicador da extensão pedagógica. Ferramentas de comunicação online, espaços de trabalho partilhados e interacção assíncrona tornam viável a aprendizagem e avaliação baseada na Rede.

26. APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (2) Características da avaliação orientada para a aprendizagem participativa: reconhece as contribuições/colaboração dos alunos; contempla oportunidades para os alunos comunicarem, contribuirem e participarem na comunidade online; reconhece os alunos como colaboradores na criação de conteúdos dos cursos e produtores de conhecimento.

27. APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (3) As tecnologias online e aprendizagem baseada na Web têm levado a uma reconceptualização da aprendizagem, pedagogia e da avaliação. Collis e Moonen (2001) propõem um modelo de contribuições orientadas do aluno, enfatizam a atividade de aprendizagem e participação em comunidades de aprendizagem. O aluno é activo e participativo. This is reflected in the various theories of learning, which emphasise learning activity, participation in communities of learning, engagement theory and the contributions-oriented. (Modelo proposto por Collis & Moonen, 2001)

28. APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (4) As novas teorias ("student as participant approach")reconhecem que alunos participativos são produtores de recursos que partilham com os outros, responsáveis e autónomos e juntam-se em comunidades de aprendizagem. Portanto, o ambiente online fomenta situações de aprendizagem em que ocorre a inversão de papéis, contrariamente aos modelos pedagógicos anteriores. O aluno com uma abordagem participativa, está habilitado pela tecnologia baseada na Web, a aceder aos recursos de aprendizagem, ferramentas de comunicação, bancos de dados e redes assíncronas.

29. APRENDIZAGEM BASEADA NA WEB: NOVAS CONCEPÇÕES DE "CURRICULUM"? (5) Este modelo de aprendizagem afasta as abordagens orientadas para a transmissão e incentiva a aprendizagem activa, onde o aluno cria produtos e recursos que podem ser reutilizados e partilhados com outras pessoas. Esta abordagem pode ser aplicada à avaliação, por isso torna-se menos centrada no professor (teacher dominated) e mais flexível, dando maior autonomia e responsabilidade ao aluno. As actividades de auto-avaliação entre colegas-pares, permite aos alunos assumir um papel participativo, crítico e colaborador, criando portefólios online, partilhando ideias e revendo trabalho pelos pares.

30. AVALIAÇÃO ALTERNATIVA USANDO A TECNOLOGIA (baseada no construtivismo) (1) A avaliação é integrada com os processos de aprendizagem e performance em situações reais por oposição ao conhecimento inerte. (Wiggins, 1998) Avaliação autêntica ou de Performance emAmbientes de Aprendizagem Construtivista: Permite tanto avaliar a autenticidade como também a performance em termos de produção de conhecimento; É suportada através dos canais de comunicação tanto para trabalho de grupo, reflexão, ordenação de ideias e aprendizagem auto-direccionada. (Scardamalia & Bereiter, 1992, Birenbaum, 1999, Reeves, 2000)

31. O CONSTRUTIVISMO (1) Em Ambientes de Aprendizagem Construtivista há: Interacção social; Comunicação; Troca de ideias; Colaboração e participação no sentido de responsabilização no processo de aprendizagem através de tarefas centradas no aluno. Segundo esta teoria, o aluno domina a construção do seu conhecimento.

32. O CONSTRUTIVISMO (2) Em Ambientes de Aprendizagem Construtivista dá-se enfâse a: Autenticidade (a aprendizagem dá-se em contextos actuais relacionados com tarefas reais); Trabalho de Grupo (interacção social e feedback essenciais para a comunicação orgânica de ideias); Controlo do estudante (o estudante é activo na definição e negociação das tarefas); "Aprendizagem Acompanhada" (os estudantes são acompanhados e auxiliados no processo de aprendizagem passando de inexperientes para peritos).

33. O CONSTRUTIVISMO (3) A Tecnologia e o uso da Web vieram... ... acelerar os paradigmas da avaliação, visto que permitem lidar com várias ferramentas possibilitando um vasto número de actividades, tarefas, participação em fóruns, partilha de ideias, diálogo entre alunos; "... a combinationofqualitativeandquantitativeassessmenttasksthat use multiplemodesofshowcasingstudentachievementthrough portfolios, multimedia, projects, skillsdemonstrationsandteamwork." (Kendle & Northhcote, 2000); ... permitir o suporte de processos de aprendizagem tais como comunicação, trabalho de grupo e trabalho colaborativo na resolução de problemas.

34. APRESENTAÇÃO DE ESTUDO CASO Aos alunos de final de ano do curso Interactive Multimedia, Edith Cowan University, é solicitado que desenvolvam competências em: Managing the Design and Development of Client Web Sites. Quanto ao "Project Management Methodologies" (Unit IMM 3228/4228), temos um universo de 82 alunos que têm de: - formar equipas e construir um portfólio electrónico (as equipas serão compostas por programadores, designers gráficos e gestores de projecto); - negociar com o tutor o seu tópico de projecto que irá visar uma "necessidade real" de um cliente.

35. OBJECTIVO DO PROJECTO Que os alunos experienciem temáticas de gestão de projecto que ocorrem quando lidamos com "clientes reais" em "projectos reais".

36. ELEMENTOS A INCLUIR NO PROJECTO Contribuição e participação significativa no projecto multimédia apresentado pela equipa; Análise critica da gestão do projecto relativamente ao projecto multimédia da equipa; Avaliação formativa do produto multimédia; Análise das metodologias de implementação intencionadas para o produto e, onde seja relevante, uma previsão das alterações organizacionais e culturais que o produto pode vir a gerar aquando da sua implementação.

37. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (1) O desenvolvimento de competências de gestão de projectos transferíveis para contextos do mundo real significa que os alunos têm de assumir mais responsabilidade pela sua aprendizagem, mas muitos precisam de auxílio para alcançarem essas competências. O desenvolvimento de competências profissionais está ligado à criação de um ambiente de aprendizagem baseado em projectos. As actividades dos alunos foram realizadas em grupos e equipas. Este estilo de aprendizagem baseada em problemas envolve uma série de actividades e tarefas que parecem oferecer um suporte robusto para o desenvolvimento de uma série de competências-chave.

38. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (2) De acordo com a Fig. 1, as actividades projectadas incluíam:

39. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (3) 1. Para ajudar a obter um compromisso, foi pedido aos alunos que firmassem um "contrato de estudante" online, no início do semestre, assinado por eles, pelos membros da sua equipa e pelo tutor. O contrato atribuía aos alunos as responsabilidades necessárias para o desenvolvimento do website das equipas e das tarefas semanais. 2. Foi pedido às equipas que executassem tarefas de resolução de problemas semanalmente, o que exigia aos alunos a pesquisa de informação numa variedade de fontes que reflectem o estado-de-arte do conhecimento sobre gestão de projectos.

40. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (4) 3. Tendo resolvido os problemas semanais, foi pedido às equipas que procedessem à avaliação inter-equipas. Foi-lhes solicitado que avaliassem as soluções das outras equipas e que defendessem as classificações atribuídas com comentários baseados em critérios válidos. 4. Semanalmente os alunos tinham que elaborar uma avaliação intra-equipa (Fig. 2). Os alunos avaliaram o seu próprio progresso, bem como o dos seus pares, fornecendo informação confidencial aos tutores através do sistema online.

41. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (5) 5. Reflexão pessoal sobre a tarefa e o processo - cada aluno manteve um diário reflexivo em que os pontos de vista pessoais do progresso dos conhecimentos e competências foram registados.

42. O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA TAREFA (6) 6. A fim de construir o website (e criar soluções para os problemas semanais), foi exigido um alto nível de colaboração. As equipas tiveram que partilhar a carga de trabalho, a execução de tarefas separadas e manter prazos apertados e os horários de uma semana para a seguinte.

43. IMPLEMENTAÇÃO DE AVALIAÇÃO INTERACTIVA/ORIENTADA PARA O PRODUTO (1) Neste artigo, retratámos os principais elementos de uma abordagem à avaliação que oferece oportunidades para o envolvimento dos alunos, a participação e a contribuição para o conteúdo do curso. As características desta forma de avaliação incluem a avaliação de desempenho, que exige que os estudantes criem um produto, o envolvimento no trabalho em equipa e os elementos de auto-avaliação e avaliação entre pares. Laurillard (1996) combina a noção de affordances dos media e de re-engenharia pedagógica e aplicou-as aos cursos da Universidade Aberta. A noção de affordance examina cada um dos media e como estes podem fornecer uma forma diferente de interacção.

44. IMPLEMENTAÇÃO DE AVALIAÇÃO INTERACTIVA/ORIENTADA PARA O PRODUTO (2) Quatro modos são identificados: atendimento, prática, discussão e articulação. Na concepção da tarefa de avaliação, o nosso objectivo era diminuir o atendimento e aumentar cada uma das outras formas de interacção. Isto significou aplicar a noção de aluno como participante e como contribuinte activo para os processos de aprendizagem e avaliação da unidade.

45. IMPLEMENTAÇÃO DE AVALIAÇÃO INTERACTIVA/ORIENTADA PARA O PRODUTO (3) A Tabela 3 mostra como a actividade do aluno e os processos de avaliação foram integrados em formas participativas de avaliação:

46. IMPLEMENTAÇÃO DE AVALIAÇÃO INTERACTIVA/ORIENTADA PARA O PRODUTO (4) No final do semestre, a unidade foi avaliada com um questionário Course Experience Questionnaire (CEQ), bem como com uma sessão de entrevista grupo. Os resultados foram muito positivos. Os comentários dos estudantes favoreceram fortemente a natureza autêntica da unidade e foram altamente motivados pela "relevância" que podiam encontrar no desenvolvimento dessas competências para a indústria.

47. DIRECÇÕES FUTURAS PARA A QUALIDADE NA AVALIAÇÃO ONLINE(1) A julgar pela tendência actual, a aprendizagem e a formação baseadas na web continuarão a expandir-se com o crescimento dos mercados. Neste cenário, é provável que a garantia da qualidade de processos de avaliação online se irá intensificar, com procedimentos de benchmarking desenvolvidos para comparar o desempenho do aluno para os padrões da indústria.

48. DIRECÇÕES FUTURAS PARA A QUALIDADE NA AVALIAÇÃO ONLINE(2) Os benchmarks devem ser transparentes para os alunos e devem representar expectativas e comportamentos autênticos, ao invés do conhecimento abstracto descontextualizado. Estas tendências imediatas estão a surgir no ensino superior e terão impacto sobre a concepção da avaliação. Outras inovações mencionadas neste artigo dizem respeito a uma reconceptualização do currículo como participativo, com os alunos contribuindo com recursos em vez do conteúdo ser indicado. Essa ênfase na construção do conhecimento e na participação já motivou um maior foco na avaliação autêntica, que reflecte melhor o desempenho no mundo real.

49. AS NOSSAS CONSIDERAÇÕES FINAIS... Ainda não é possível dar todas as respostas às questões relacionadas com os procedimentos de avaliação em contexto online, mas as formas de aprendizagem convencionais precisam de ser redefinidas, sobretudo numa época em que o desenvolvimento de novas tecnologias e técnicas online atinge uma velocidade que pode não estar a acompanhar a qualidade da aprendizagem. As oportunidades de aprendizagem (inovação, experimentação e estudo reflexivo) que estas tecnologias criam evidenciam a urgência em existirem modelos educativos mais complexos que representem as necessidades dos alunos integrados em diferentes contextos, em particular o e-learning. Portanto, a revisão dos elementos da avaliação e a reflexão sobre as suas consequências ajudam a criar uma consciência para o aperfeiçoamento de práticas, princípios e medidas de qualidade para uma avaliação online adequada.

50. BIBLIOGRAFIA CATHERINE, McLoughlin; LUCA, Joe (2001): "Quality in online delivery: What does it Mean for assessment in E-learning Environments?" ASCILITE 2001 Conference proceedings. Disponível em http://ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.pdf(acedido em 2010-01-02)