Contenu connexe
Similaire à Pesquisa sobre Avaliações Externas - Resultados (20)
Plus de Fundação Victor Civita (18)
Pesquisa sobre Avaliações Externas - Resultados
- 2. A Fundação Victor Civita, que tem por
missão contribuir para a melhoria da
qualidade da Educação Básica no EQUIPE DA FUNDAÇÃO VICTOR CIVITA
Brasil, produzindo publicações, sites, DIRETORIA EXECUTIVA
material pedagógico, pesquisas e Angela Cristina Dannemann
projetos que auxiliem na capacitação
COORDENAÇÃO PEDAGÓGICA
dos professores, gestores e demais
Regina Scarpa
responsáveis pelo processo
educacional, implantou uma área de REVISTA NOVA ESCOLA/REVISTA GESTÃO ESCOLAR
estudos com objetivo de levantar Gabriel Grossi
Paola Gentile
dados e informações que auxiliem as
discussões sobre práticas, ESTUDOS, PESQUISAS E PROJETOS
metodologias e políticas públicas de Mauro Morellato
Adriana Deróbio
Educação. Para acompanhar outros
trabalhos, visite o nosso site
www.fvc.org.br/estudos.
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 3. DEFINIÇÕES
Avaliação externa – Avaliação padronizada; avaliação
de sistemas; avaliação em larga escala
Gestão educacional – As políticas das Secretarias
Estaduais de Educação (SEE) que usam como critério
os resultados dos sistemas próprios de avaliação
(sistemas estaduais e os das grandes capitais)
Para quais políticas os gestores estão usando os
resultados dos sistemas de avaliação?
Pesquisa FVC
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 4. RESUMO
Sistema classificatório para os usos da avaliação
Achados principais da pesquisa
Política de bonificação ou incentivo salarial
Alcance
Características técnicas
Seus impactos
Pesquisa no Brasil
Pesquisa nos Estados Unidos e outros países
Especulações sobre consequências
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 5. NÚMERO DE ESTADOS COM SISTEMAS
PRÓPRIOS DE AVALIAÇÃO EDUCACIONAL
1992-2011
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 6. SISTEMAS ESTADUAIS DE AVALIAÇÃO
Tendência – Aumento gradual mesmo inconsistente
Hiatos
Transição para TRI
Momentos de mudança política
Recuos
Dados imperfeitos
Nenhum órgão para coletar esse tipo de informação
De que consiste um sistema estadual? Abrangência
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 7. EXPANSÃO E DIVERSIFICAÇÃO
Crescimento no uso dos resultados pelas SEE
Reformas da Educação década 1990 calcadas na avaliação da
qualidade (Brasil só um exemplo: 13 países da América Latina
adotam sistemas de avaliação entre 1990 e 1998)
Reforma da gestão pública: ênfase na produtividade e
eficiência do aparato governamental; melhoria na qualidade
dos serviços públicos; metas e controle a posteriori dos
resultados. Educação na linha de frente
Incorporação de modelos de accountability –
responsabilização dos atores públicos via consequências
Para dar conta da expansão e diversificação dos usos, um
novo sistema classificatório bidimensional
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 10. FOCO
Vou me concentrar no uso da avaliação para políticas
de incentivo/bonificação salarial
Política veio para ficar
Sete estados já têm experiência: Amazonas, Ceará,
Pernambuco, Rio de Janeiro, Minas Gerais, Espírito
Santo e São Paulo
Distrito Federal já estabeleceu os procedimentos
Duas capitais – uma conseguiu (São Paulo) e outra não
(Belo Horizonte)
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 11. Até os municípios menores estão
embarcando (usando o Ideb) segundo
reportagem UOL Educação 02/09/2011
Em Trairão, pequena cidade no sudoeste do Pará, a secretária de
Educação fala do projeto que dá mais dinheiro aos professores e às
escolas que apresentam desempenho melhor. “Com o projeto
Professor por Excelência, a gente espera que dê uma alavancada no
município. Para quem mais se destacar, o professor vai ganhar um
valor de R$ 1 mil cada um e a escola, R$ 500. Mesmo não sendo um
valor alto, a gente espera motivar os envolvidos”, explica Maria
Regina
No município de Careiro (AM), o secretário Paulo de Andrade conta
que estipulou uma meta mais “ousada” para estimular seus
profissionais a trabalhar com mais afinco. Na escola, que tira nota 5,1
no Ideb, os professores recebem 14º e 15º salários
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 12. QUE POLÍTICA É ESSA?
Não é nova. Uso de avaliações externas para
responsabilizar professores, escolas e sistemas pela
aprendizagem dos alunos tem longa história:
Em 1863, Parlamento britânico criou sistema de
financiamento de escolas de acordo com os resultados
dos alunos
Nova fase dessa política começa com o movimento de
padrões mínimos na década de 1970 nos EUA. A lei
Nenhuma Criança Deixada para Trás (2001) é um
exemplo recente
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 13. CARACTERÍSTICAS
geração
(por exemplo, Ceará 2001 – Prêmio Educacional Escola do Novo
Milênio; Rio de Janeiro 2000 – Programa Nova Escola):
Prêmio para a média de desempenho mais alto (ou % alunos com
desempenho satisfatório)
Ou evolução maior na média de desempenho
Outros critérios (gestão)
geração
Distribuição por faixa de desempenho
Medida do nível socioeconômico e/ou esforço da escola
Uso de metas
Valorização da permanência
Avaliações múltiplas (matérias, anos)
geração(?)
Critérios múltiplos
Valor agregado © 2011 Fundação Victor Civita. Todos os direitos reservados
- 14. QUAIS SÃO OS IMPACTOS?
Do ponto de visto do gestor:
Que há ganhos na aprendizagem pelos efeitos sobre o
professor – Motivação e competência
Que há custos também – Custo/benefício
Do ponto de vista dos críticos, os efeitos colaterais dos
testes high stakes (alto impacto) são severos:
Reduzem o ensino à preparação para os testes/estreitam o
currículo
Falseiam os dados das avaliações (inflação)
Induzem à desonestidade
Desestruturam métodos colaborativos (quando individualizada)
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 15. COMO AVALIAR?
A pesquisa no Brasil é escassa
Pesquisa descritiva (terminologia: bônus, bonificação, prêmio,
gratificação, incentivo por mérito, por desempenho, por resultado)
Pesquisas de impacto
Sobre a política Nova Escola – Rio de Janeiro (Rodrigues, 2007;
ganhos em Língua Portuguesa, perdas em Matemática)
Uma em andamento – C. Ferraz, Pernambuco
Nem pesquisas mais qualitativas sobre os efeitos colaterais
negativos. (?) Uma sobre os efeitos do Acordo de Resultados
em MG (Soares, 2011) (resultados no Simave/Proeb; bônus
até 100% vencimento mensal); “pressão” sobre professores
de Português e Matemática para ensinar de acordo com a
matriz de referência
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 16. PESQUISA NOS EUA
Precisa fazer distinções: incentivos salariais versus outros tipos
de incentivo/accountability (por exemplo: Nenhuma Criança
Deixada para Trás (NCLB); exames de saída Ensino Médio)
Professor versus aluno (Nova York, Ohio)
Programas não são comparáveis – Diferentes no
formato/cálculo dos bônus, na forma de medir desempenho
dos professores (testes, VA, critérios múltiplos)
Mesmo assim, volume enorme de estudos e nem todos com a
mesma qualidade. Problema para as meta-avaliações (por
exemplo: Teresa Cozetti Pontual, Remuneração por Mérito,
Fundação Lemann, 2008)
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 17. FONTE CONFIÁVEL
National Research Council. Committee on Incentives
and Test-Based Accountability in Public Education. 2011.
Estudos precisam ter grupo de controle
Precisa de testes low-stakes como medida de ganho
real (controlar por distorção/inflação)
Excluir estudos transversais que comparam resultados
com e sem programas de incentivos mas sem controlar
pelos critérios de inclusão nos programas
Precisa olhar outros países
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 18. ESTADOS UNIDOS
Nashville (Springer et al. 2010): experimento de 3 anos; professor de
matemática/ginasial; bônus individual de US$5 a US$15 mil; medida VA (valor
agregado), teste estadual; critério 85% na distribuição distrital. Efeitos
positivos para anos 5 (só um ano) e 6, negativos para 7 e 8
Chicago (Glazerman et al. 2009): 2 anos; ensino fundamental; VA de ganhos
teste estadual + observações; até US$12 mil; das 10 combinações matéria/ano,
8 negativos, nenhum significativo; efeito positivo sobre retenção de
professores
Texas (Jackson, 2010); desde 1996; professores e alunos ensino médio; US$500
a US$1000 para alunos com pontuação de 3 ou mais em testes de advanced
placement; aumento de 1 a 2%/ano na proporção de alunos; e de 5,3% em
alunos indo para faculdade
Escolas do Teacher Advancement Program (Springer, 2008): 2 estados; 1,2 mil
escolas; 4 anos; dados de painel; matemática anos 2 a 5 ganhos significativos
de 0,2 d.p. (desvio padrão de 7 a 8 pontos) (; anos 7 a 10 sem ganho ou
decréscimo. De 18 combinações, ganho médio 0,01 d.p.
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 19. OUTROS PAÍSES
Índia (Muralidharan and Sundararaman, 2009,2011): experimento 2 anos;
ensino fundamental; incentivos individuais e coletivo; 100 escolas cada
grupo; ganhos em Matemática e Língua; testes específicos; bônus de 3%
salário; ganho médio de 0,19 d.p. (significativo); ganho maior em
matemática. (Escolas com incentivos individuais 0,22 d.p., escolas
coletivos 0,15 d.p.)
Israel (Lavy, 2002): incentivos coletivos; ensino médio; de US$250 a US$
1000 (salário médio 30 mil); 1/3 melhores escolas; medidas diversas inc.
% com diploma; aprox. 62- 1/3 das escolas de ensino médio do pais;
proporção com diploma não mudou; efeito médio nos testes 0,12 d.p.;
efeitos maiores entre alunos de desempenho mais baixo
Israel (Lavy 2009): incentivos individuais; bônus de US$ 1750 a US$ 7,5
mil para professores de inglês e matemática se turmas superaram
expectativas; 49 escolas; número passando e a média nos testes
melhoraram; efeitos significativos; principalmente para alunos de
desempenho mais baixo
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 20. CONCLUSÕES NATIONAL RESEARCH COUNCIL
Estados Unidos; efeito médio -0,02 a 0,06 desvios padrão
Programas de incentivos não têm influenciado níveis de desempenho
de forma significativa. Muitos programas próximo de zero quando usa
testes low-stakes de controle
Outros países: os efeitos são maiores mas continuam
relativamente baixos. Média 0,08 d.p. Efeitos mais pronunciados
para Matemática, Ensino Fundamental.
Benefícios pequenos. Porém:
Muitos desenhos ainda não testados (tipos de incentivo, individual
versus coletivo, medidas de desempenho, outros tipos de
accountability, etc)
Custos altos. Não deve substituir investimento em outras políticas
de melhoria
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 21. ALGUMAS ESPECULAÇÕES
O ambiente de responsabilização muito mais intenso nos
Estados Unidos, por exemplo, Ensino Médio – expectativas
dos pais e efeito NCLB.
Nesse contexto de preocupação com os resultados dos
alunos, o impacto de incentivos salariais é próximo do zero.
Será que é por esse motivo que os impactos são sempre
maiores nos outros países?
Qual o impacto no Brasil, onde os incentivos salariais são a
opção escolhida para transmitir a importância associada aos
resultados?
© 2011 Fundação Victor Civita. Todos os direitos reservados
- 22. CONSIDERAÇÕES FINAIS
Ainda não temos a pesquisa necessária nem para falar dos
efeitos negativos nem dos possíveis benefícios
Extrair conclusões da pesquisa norte-americana é
extremamente difícil. Além da falta de comparabilidade dos
programas, há a questão do contexto de responsabilização
Talvez a ausência de pesquisa e de comprovação dos efeitos
colaterais, mesmo no Ceará, seja a indicação que os impactos
não seriam tão negativos no Brasil
Os programas de bônus podem ser inócuos em relação à
aprendizagem (EUA) ou podem render benefícios parecidos
com os de outros países (Índia, Israel)
© 2011 Fundação Victor Civita. Todos os direitos reservados