Presentación del curso “Evaluación de bibliotecas y centros de información” ofrecido los días 13 y 14 de mayo de 2014 por la Mag. Juanita Jara de Súmar, en la Pontificia Universidad Católica del Perú.

1. Evaluación.
Herramienta de gestión en
bibliotecas y centros de
información
Juanita Jara de Súmar
Bibliotecaria
McGill University- Canadá

2. Proceso de recogida de datos y evaluación
 Herramienta de gestión, para la planificación
estratégica y la administración eficiente
 En el sector privado
 En el sector educativo y gubernamental

3. Recogida de datos y evidencia (Assessment)
“Assessment is the gathering of meaningful or
purposeful data that will provide information that
informs, improves or confirms”
Datos pertinentes que nos informan, mejoran y confirman
la situación que queremos analizar
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.

4. Evaluación
“Evaluation […] is the assigning of merit, value or
worth to the findings”
Mérito, valor, riqueza
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.

5. Cultura de recogida de datos y evidencia
 Organizaciones que cuentan con un sistema y una
estructura para la compilación continua de datos
y evidencia que permiten evaluar la organización.
Dudden, R. F. (2007). Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM.
New York ; London : Neal-Schuman Publishers.

6. Planeamiento estratégico
 Tomar en cuenta la visión, misión y metas de la
organización
 Debe basarse en hechos y datos concretos
 Ceñirse a un calendario
 Establecer objetivos (resultados) reales y cuantificables,
totales y para cada etapa
 Toma de decisiones basadas en el análisis de los datos

7. FODA (SWOT)

Fortalezas Oportunidades
Debilidades Amenazas

8. Estimado preliminar
Origen
Planeamiento/Diseño
Recogida de datos
Análisis de datos
Resultados
Informe de la evaluación
Toma de decisiones
Acciones
Wallace, D. P. & Van Fleet, C. J.
(2012) Knowledge into action. Santa
Barbara: Libraries Unlimited, p.40
Proceso de
Medición y
Evaluación
Representación
lineal

9. http://www.ala.org/acrl/standards/standardslibraries

10. Presentación linear de los tipos de medidas de una biblioteca
Categorias de
medidas
ENTRADAS PROCESOS /
ACTIVIDADES
SALIDAS PRODUCTOS
(RESULTADOS)
IMPACTO
Tipos de
medidas
Recursos
humanos y
financieros
Medidas de
rendimiento
Indicadores de
eficiencia
Actividades
Progrmas y
servicios
Calidad
Satisfacción
Valor para el usuario
A corto plazo
Cambios en la sociedad
debido a cambios en los
usuarios
A largo plazo
Medidas de…
EVALUACIÓN Y COMENTARIOS
Economía Eficiencia
Adaptado de Dudden, Rosalind F. 2007. Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM, Medical Library
Association guides. New York ; London : Neal-Schuman Publishers. p. 43

11. Ética profesional en la evaluación
 Principios de la conducta del investigador
 Conflicto de intereses
 No beneficiarse de la información privilegiada
 Trato de los datos
 Trato con las personas participantes

12. 1 Recogida de datos y evidencia
 Consiste en recopilar datos significativos o útiles para
informar, mejorar o confirmar nuestras acciones. (Lee-
Thomas)
 ¿Qué queremos saber?
 ¿Por qué lo queremos saber?
 ¿Quién nos proporcionará la información?
 ¿Cómo conseguiremos la información?
 ¿Cómo utilizaremos la información?

13. Mediciones
 Recogida de datos sobre todo el sistema
 Datos sobre sólo un determinado proceso
 Evaluación de colecciones
 Evaluación de la alfabetización informacional
 Evaluación del servicio de referencia virtual
 Evaluación del personal de la biblioteca

14. Mediciones
 Medidas (metrics)
 Datos cuantitativos. Estadísticas. Presupuesto
 Estimados. Muestreo
 Evidencia
 Comparación con organismos similares (benchmarking)
 Carencias (gap analysis)

15. ¿Cuán valiosos?
¿Cuán bien?
¿Cuán sensible?
¿Cuán satisfechos?
¿Cuán fiable?
¿Cuán cortés? ¿Cuán preciso?
¿Cuánto? ¿Cuán rápido?
¿Cuán económico?
¿Cuántos?
The “hows” of Measurement
Medidas
Adaptado de Hernon, Dugan and Matthews. (2014). Getting started with
evaluation. Chicago: ALA, p. 7

16. Encuestas Entrevistas en persona
Análisis de quejas/ Grupos focales
felicitaciones
tarjetas para comentarios
Clientes anónimos Entrevistas a empleados
que se retiran
Satisfacción
de los clientes
d
Adaptado de Hernon, Dugan and Matthews. 2014. Getting started with
evaluation. Chicago: ALA

17. Análisis estadístico
 Promedios: media, mediana, moda
 Relaciones, Porcentajes
 Regresiones, Correlaciones
 Prueba Chi-cuadrado

18. Análisis estadístico - Software
 Stata
 SAS
 SPSS
 MATLAB
 Cientos de paquetes de software libre

19. Rúbricas
 Mediciones que describen niveles de rendimiento para
cada tarea o parte de ella.
 Describir la tarea
 Determinar las parte de la tarea y sus dimensiones
 Describir las dimensiones
 Crear escalas numéricas o de valor (bien, mal)

20. Normas
 A nivel nacional e internacional
 Para diversos tipos y niveles
 Las normas expresan niveles mínimos
 Incluyen principios e indicadores de rendimiento
 Ej. http://www.ala.org/acrl/standards/standardslibraries

21. Evaluar por comparación o puntos de
referencia (Benchmarking)
 Las normas establecen puntos de referencia que permiten
hacer comparaciones una y otra vez. ¿Cuán buenos
queremos ser?
 Comparación con una organización similar o grupo de
organizaciones o con las normas
 Las comparaciones deben mostrar si se alcanzó el nivel
deseado ¿Cuán buenos son nuestros servicios?
 Se progresa mejorando la calidad de las actividades
 Esto establece las buenas prácticas

22. Buenas prácticas
 ¿Cómo lo hacen los demás?
 ¿ Los demás lo hacen mejor que nosotros?
 ¿Cómo podemos adaptar a nuestra biblioteca lo que hacen
los otros?
 Dugan, R. E., Hernon, P., & Nitecki, D. A. (2009). Viewing library metrics
from different perspectives : inputs, outputs, and outcomes. Santa Barbara,
Calif. : Libraries Unlimited.

23. Estudios con base en la evidencia
 Percibida mediante la observación directa
 Producto de un análisis en condiciones controladas
(estudios tiempo/movimiento, focus groups, cuestionarios,
entrevistas)
 Estudios de casos
 Expresada en la literatura sobre el tema analizada
sistemáticamente (evidence-based studies, systematic
reviews, meta analysis)

24. Análisis de carencias (Gap analysis)
 Dos aspectos: calidad y satisfacción
 Diferencia en la expectativa del cliente
 Diferencia en el nivel de servicio
 Diferencia entre lo que se promete y lo que se entrega
 Diferencia en la percepción del servicio

25. Análisis de datos
 Revisar que los datos estén completos y correctos y en el
formato adecuado
 Métodos estadísticos pertinentes al caso
 Establecer matrices
 Seleccionar las herramientas analíticas apropiadas para
darle sentido a los datos
 Presentación gráfica adecuada
 Aceptar los resultados negativos

26. Herramientas
interpretativas
Consolidación
de datos
Relación con
las preguntas
Herramientas
analíticas Resultados
Recogida
de datos
Prueba de hipótesis
Normas,
lineamientos
políticas
Validación y
corrección
Evaluacion
……………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………………………………………………………
Wallace, D. P. & Van Fleet, C. J. (2012) Knowledge
into action. Santa Barbara: Libraries Unlimited, p.54

27. Estimado de las necesidades
 Medida de la satisfacción de los usuarios
 Calidad de los servicios
 Rentabilidad sobre la inversión (ROI)
 Valor de los servicios para la comunidad
 Basado en factores subjetivos

28. Ejemplos de estudios cualitativos:
LibQual
 Libqual en el Perú
 http://www.slideshare.net/slideshow/embed_code/33379428
 LibQual McGill University
http://www.mcgill.ca/library/sites/mcgill.ca.library/files/mcgill_libqual_sur
vey_results_2013.pdf

29. 2. Evaluación, valoración
 Consiste en asignar mérito, apreciación y valor a
los resultados que servirán para la toma de
decisiones
 Considera datos cuantitativos y cualitativos

30. Informes – Criterios de evaluación
 Pertinencia del informe al tema de la situación identificada
 Conforme a las normas del proceso de evaluación
 Descripción del proceso de evaluación completa y detalladamente
 Evidencia de honestidad y falta de prejuicios
 Evidencia de falta de errores
 Comparación con estudios similares
 Autoridad de los autores
 Redacción lógica, clara, simple, sin redundancias = cualidades literarias
Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: Libraries
Unlimited. P. 101Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa
Barbara: Libraries Unlimited. P.

31. “Not everything that can be
counted counts”
Cameron, W. B. (1957). The Elements of Statistical Confusion: Or: What Does the
Mean Mean? AAUP Bulletin, 43(1), 33-39.