Este documento presenta una discusión sobre la evaluación de políticas científicas. Explica que los gobiernos comenzaron a evaluar todo usando indicadores debido a una nueva ideología de gestión en los años 90. Luego discute los tipos de evaluación que incluyen ex ante, ex post, revisión por pares y bibliometría, asi como los niveles micro, meso y macro. Finalmente, ofrece consejos como aplicar diferentes indicadores según el objetivo y tipo de medida en lugar de un solo indicador global.

1. ‘We were running for the money and the flesh’ Leonard Cohen
¿Se pueden evaluar los resultados de investigación y la dotación económica asignada?
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Nicolás Robinson-García elrobin@ugr.es

2. Guión
 Por qué y qué se evalúa
 Tipos de evaluación
 Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

3. Por qué se evalúa
Governments absorbed, in the 1990s, the “new management” ideology that focused on the evaluation of everything using indicators and benchmarks as “objective” measures of efficiency and return on investment
Gingras, 2014
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

4. Por qué se evalúa
Los indicadores basados en citas y publicaciones
 El prestigio de los científicos es proporcional al prestigio de su obra
 Las citas como expresión del reconocimiento de la obra <- MERTON
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

5. Por qué se evalúa
Los indicadores basados en citas y publicaciones
 + PAPERS + CITAS ≈ + RIQUEZA
 El INPUT y el CONTEXTO son importantes
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

6. Por qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

7. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
•Investigadores
•Infraestructura
•Presupuesto
•PIB regional
•% gasto empresarial
•% población activa
•Publicaciones
•Citas
•Q1
•Altamente citados

8. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
•Investigadores
•Infraestructura
•Presupuesto
•PIB regional
•% gasto empresarial
•% población activa
•Publicaciones
•Citas
•Q1
•Altamente citados

9. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Tipo de indicador
Tipo de medida
Unidad de análisis
 Publicaciones
 Citas
 Actividad
 Impacto
 Relacional
 Nivel micro
 Nivel meso
 Nivel macro

10. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 1. Políticas de evaluación
Jiménez-Contreras et al., 2003

11. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 2. Investigadores
Costas & Noyons, 2014

12. Qué se evalúa
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ejemplo 3. Países
King, 2004

13. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014

14. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Ex ante
Ex post
Peer Review
 Ciego
 Doble ciego
 Abierto
Bibliometría
 Rendimiento
 Impacto
 Transferencia

15. Tipos de evaluación
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
 Los proyectos del Plan Nacional se conceden en función del rendimiento investigador del IP
 Los indicadores que más influyen son el nº de publicaciones y papers en revistas Q1

16. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
 La evaluación científica debe de aplicarse en función a unos objetivos
 La metodología aplicada debe evolucionar según evolucione el sistema. Ejemplo: Sexenios
 No hay un indicador global, sino que deben aplicarse baterías de indicadores por tipo de medida

17. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Tipos de resultados
Tipos de indicadores
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out

18. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out
Jiménez-Contreras et al., 2011
> Umbrales de referencia por áreas
3 años
5 años
7 años
P50
P75
P90
P50
P75
P90
P50
P75
P90

19. Tips & hints
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Algunas propuestas
Rafols et al., 2012
> Opening up & broadening out
Jiménez-Contreras et al., 2011
> Umbrales de referencia por áreas
Leiden Manifesto – Septiembre 2014
> Buenas prácticas en la evaluación de la actividad científica

20. ‘We were running for the money and the flesh’ Leonard Cohen
Muchas gracias por su atención.
Mesa redonda. ‘La evaluación de políticas científicas’ Valencia 29 de septiembre, 2014
Nicolás Robinson-García
elrobin@ugr.es