Of. RBE sessão 4

1. Síntese da sessão 5
O Modelo de Auto-Avaliação das Bibliotecas Escolares: metodologias de
operacionalização (Parte I)
Foram objectivos desta sessão:
• Compreender como é que a auto-avaliação pode ser concretizada para
demonstrar a contribuição da BE para o ensino e aprendizagem e a missão
e objectivos da escola.
• Ganhar familiaridade com o processo de auto-avaliação adoptado pelo
Modelo de Auto-avaliação RBE e capacitar para a sua aplicação.
• Conhecer as técnicas e instrumentos propostos, o modo como se
organizam e podem ser usados
A actividade solicitada estruturou-se do seguinte modo:
a) Solicitou-se aos formandos que escolhessem, em alternativa, um dos
seguintes Domínios/Subdomínios: A.2. (Promoção da Literacia da
Informação); B. (Leitura e Literacia) ou C.1. (Apoio a Actividades Livres,
Extra-Curriculares e de Enriquecimento Curricular)
b) Escolhessem no Domínio/Subdomínio seleccionado dois Indicadores, um
que considerassem de Processo e outro que considerassem de
Impacto/Outcome, e analisassem detalhadamente esses indicadores.
c) Estabelecessem um Plano de Avaliação em profundidade daqueles dois
Indicadores, recorrendo ao Texto da Sessão, às Orientações para a
aplicação do Modelo incluídas na versão actualizada do mesmo, e ao texto
de leitura complementar Basic Guide To Program Evaluation.

2. A existência desta sessão e desta actividade encontra a sua maior justificação,
ao constituir-se como uma oportunidade dos formandos abordarem o modelo
numa perspectiva prática de operacionalização, que se pretendeu iniciar com a
planificação do processo de aplicação.
Sobre o cumprimento das tarefas, realizaram as actividades 31 formandos,
tendo os textos da sessão sido aparentemente lidos e estudados pela sua
grande maioria, e alguns fundamentado mesmo os passos do seu trabalho
através de citações-chave retiradas daqueles textos.
A forma como cada um apresentou o seu Plano foi mais ou menos variada,
mas todos, de um modo geral, se fizermos uma leitura cumulativa, dado uns
terem ido mais longe e outros terem apresentado planos mais limitados,
apresentaram uma planificação englobando os diferentes aspectos ou etapas
referidos na bibliografia, de enquadramento, diagnóstico, identificação do
problema e objecto da avaliação, indicação dos factores críticos aplicáveis,
selecção dos métodos e técnicas a utilizar, enumeração dos intervenientes no
processo, aplicação dos instrumentos identificados, recolha e tratamento dos
dados, análise e interpretação da informação obtida, síntese e comunicação
dos resultados, etc.
As conclusões gerais retiradas da elaboração e avaliação dos diferentes
trabalhos, oferecem-nos a realização de alguns comentários gerais, em que
cada um se poderá reconhecer (ou não), consoante a forma como orientou a
execução do seu Plano de avaliação:
O primeiro comentário sintetiza-se na seguinte observação: O Modelo não
pode ser visto ou antecipado como uma abstracção, vazia de conteúdos.
Quer isto dizer, que quando, por exemplo, no Indicador B1 se identifica como
factor de sucesso, a organização de actividades de promoção de leitura e se
remete na recolha de evidências para os registos dessas actividades, o que se
solicita à BE através do processo de auto-avaliação do Domínio não é apenas
que diga que organizou as ditas actividades (é por isso que as fotografias não
podem ser consideradas em si mesmas evidências), mas que as identifique

3. apontando os dados (evidências) que lhe permitem sustentar o seu valor em
termos de desempenho da BE e/ou dos seus utilizadores. Isto implica uma
indicação das actividades planeadas onde à partida se incorpora desde logo a
respectiva avaliação. O Plano de avaliação articula-se necessariamente com o
Plano de actividades. A avaliação não é uma coisa à parte que possa ser
pensada em abstracto e de forma separada das actividades, cujo processo,
resultados ou impactos pretendemos avaliar. Planificação e avaliação são duas
faces da mesma moeda. Uma não tem sentido sem a outra, por isso o nosso
Plano de avaliação tem necessariamente de acompanhar o desenvolvimento
do nosso Plano de Actividades, cujas acções se enquadram num determinado
Domínio/Sub-domínio/Indicador e cujo nível de execução ou sucesso se
avaliará em confronto com os respectivos factores críticos.
Se quisermos dar outro exemplo, desta feita sobre um indicador de impacto,
como o B3, o mesmo se lhe aplica. Não basta referir genericamente que os
alunos desenvolveram as competências a ou b. Devem identificar-se as
actividades concretas que foram realizadas em relação com esse objectivo e
que sustentaram a recolha de dados que atestam que essas competências
foram efectivamente desenvolvidas. Isto significa que para avaliar um
indicador, temos que utilizar como “matéria-prima” actividades concretas
(tangíveis), sejam elas relacionadas com as acções de gestão desencadeadas
pela biblioteca em relação com o domínio da leitura e da literacia, sejam elas
incidentes nos campos da aprendizagem ou da formação global dos alunos no
mesmo domínio.
Daqui resultaram, deste modo, duas abordagens diferentes de pegar nesta
actividade, uma mais macro ou ampla, seguindo uma linha mais teórica e mais
próxima do documento do Modelo e dos textos de apoio; outra mais específica,
relacionada com o Plano de Actividades e com as acções que dele fazem
parte, respeitantes ao domínio que cada um se propôs planear.
A maioria optou por seguir de muito perto as tabelas, reproduzindo quase
sempre a “tipologia” de acções a que fazem referência os factores críticos de
sucesso, de que não chegam a distanciar-se, avançando pouco numa
planificação/avaliação que desejavelmente se pretendia o mais possível
específica e concretizada.

4. Este exercício exigia, portanto, um esforço de aplicação, adaptado a cada
biblioteca e ao trabalho que aí se desenvolve.
Uma segunda observação, decorrente da primeira, pode sintetizar-se na frase:
a estrutura do Modelo em tabelas não configura em si mesmo qualquer tipo
Plano de avaliação.
Prende-se esta observação com o facto de alguns dos Planos propostos se
restringirem muito à indicação dos indicadores, factores críticos de sucesso e
instrumentos de recolha/evidências, decalcando, deste modo, em grande
medida as tabelas do Modelo. Em geral verificou-se que outros aspectos como,
por exemplo, o das acções de preparação da aplicação do modelo junto da
escola, da indicação discriminada dos intervenientes a implicar em cada uma
das acções, do trabalho a realizar sobre cada tipo de dados, de produção
escrita e divulgação de conclusões ou de indicação detalhada do calendário
das diferentes acções, aparece indicada de uma forma muito global, muitas
vezes em quadros separados, ou numa introdução ou final, não sendo fácil
cruzar longitudinalmente ou horizontalmente num mesmo quadro ou
panorâmica todos os elementos em jogo.
Uma tabela de planificação do Modelo deve ser certamente distinta das tabelas
do Modelo e, se possível, abarcar e cruzar todos os aspectos inerentes à sua
aplicação.
A forma de texto corrido apresentado ainda por alguns formandos representou,
deste ponto de vista, quase sempre mais um resumo e reflexão sobre os
conteúdos constantes dos textos da sessão, que reproduziram de forma mais
ou menos exaustiva, do que propriamente um Plano de avaliação, como temos
vindo a referir até aqui.
Uma terceira observação/correcção sobre os trabalhos apresentados,
relaciona-se com uma certa confusão na distinção entre indicadores de
processo e de impacto.
Processos e impactos remetem para aspectos de natureza diferente. Os
processos dizem respeito ao que a BE faz nos diferentes domínios da sua
actuação. Os indicadores (ou factores) de processo têm geralmente uma
redacção do tipo: A BE desenvolve, colabora, assegura, realiza, etc.

5. Os impactos dizem respeito às consequências em termos de novas
aprendizagens, desenvolvimento de capacidades, atitudes, etc., que aquelas
acções têm, fazendo uso de expressões como: os alunos revelam, aplicam,
estabelecem, desenvolvem, usam, participam, etc.
O exercício de selecção de um indicador de processo e outro de impacto,
aparentemente tão simples, não era, portanto, assim tão linear, obrigando a
olhar com atenção para a sua composição, através da análise dos respectivos
factores críticos.
Por exemplo, quem escolheu o A2.1 sobre a formação de utilizadores, e o
designou de processo, sem mais, não reparou que ele, ao contrário dos
restantes indicadores do A2, onde separámos sempre os processos dos
impactos, reúne 2 factores de processo (Ex. O plano de trabalho da BE inclui
actividades de formação de utilizadores ou A BE produz materiais informativos
e/ou lúdicos de apoio à formação dos utilizadores) e 1 factor de impacto
(Alunos e docentes desenvolvem competências para o uso da BE revelando
um maior nível de autonomia na sua utilização após as sessões de formação
de utilizadores).
O mesmo acontece exactamente em relação, por exemplo, ao C1.1 e ao C1.3,
os únicos com factores de impacto directos e que podiam ser usados como seu
exemplo.
No Domínio B, o B1 e o B2 são nitidamente indicadores de processo no seu
todo e o B3, um indicador de impacto.
Finalmente, registo uma última observação em que creio, parece nunca ser
demais insistir: Instrumentos de recolha de evidências e evidências são coisas
diferentes.
Algumas formandas estabelecem alguma confusão entre uma coisa e a outra,
não sei se por coincidência. Os PAA, PCT, Guia e Guiões, os trabalhos
escolares, são documentos de onde podemos extrair evidências, mas não são
eles próprios evidências. Sessões de formação, reuniões entre docentes, etc.
são actividades. Os registos associados a estas actividades é que nos podem
fornecer evidências. Inquéritos e Grelhas de observação são instrumentos
(meios) de recolha de informação. Os resultados da sua aplicação e
interpretação é que nos fornecem evidências.

6. Finalmente, gostava de fazer nota das observações de alguns formandos que
consideraram, independentemente de todos reconhecermos unanimemente as
dificuldades de gestão do tempo para a recolha e registo de evidências, o
tratamento de dados, etc, constituir o Modelo mais um acto de burocracia ou
que retira tempo necessário para fazer as outras “Coisas”. Ora, julgo que o
propósito desta formação, reconhecendo a abrangência e complexidade do
Modelo, é, entre outros, precisamente o de desmontar esta ideia. Pergunto, a
este propósito, será que terá sentido continuar a fazer, fazer, fazer,… sem nos
preocuparmos em saber o que alcançámos com o que fizemos, que efeitos e
benefícios trouxe o que fizemos para a escola, para os colegas, para os nossos
alunos? Será que alguma vez o trabalho da biblioteca e do professor-
bibliotecário serão devidamente reconhecidos e valorizados, se não
conseguirmos demonstrar perante a escola, perante a comunidade, perante o
Ministério ou perante a Inspecção, que esse trabalho acrescenta valor e é útil e
indispensável para que obter melhores aprendizagens e sucesso? Se
planeamos e executamos, temos de avaliar, e esta avaliação não pode ser um
pró-forma, tem de munir-se de instrumentos adequados e fornecer as
evidências necessárias que provem de forma observável e tangível que a
biblioteca não existe para se servir a si própria mas está ao serviço da escola e
da comunidade escolar.
A finalizar esta síntese, e apesar das dificuldades apontadas, das quais se
depreende ter havido, como é natural, trabalhos melhores e outros mais fracos,
deve ser salientado que todos os formandos foram avaliados positivamente
nesta sessão, para a qual contribuiu não apenas a qualidade do trabalho
apresentado, mas também a sua participação e empenho na execução da
actividade solicitada.
Dito isto, desejamos a todos a continuação de um óptimo trabalho!
Um abraço,
As formadoras