Criterios para la evaluación de proyectos de investigación del Plan Estatal de I+D+I

1. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
1
CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS
DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i
Seminari de Recerca
Facultat de Biblioteconomia i Documentació
Universitat de Barcelona
Marzo, 2018
Manuel Martínez Nicolás
División de Coordinación, Evaluación y Seguimiento Científico y Técnico
Agencia Estatal de Investigación
Colaborador para la subárea de Comunicación (área de Ciencias Sociales)
manuel.martinez.nicolas@urjc.es

2. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
2
EL PLAN NACIONAL DE INVESTIGACIÓN (1)
1983 Ley de Reforma Universitaria (LRU)
Reforma universitaria para estimular “el desarrollo de la mentalidad científica”

3. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
3
EL PLAN NACIONAL DE INVESTIGACIÓN (y 2)
1986 Ley de Ciencia
▪ Necesidad de instrumentos para fomentar la actividad científica.
▪ Instrumento principal: el Plan Nacional de I+D.

4. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
4
CARACTERÍSTICAS PLAN NACIONAL DE INVESTIGACIÓN
▪ Organizado en bases cuatrienales, que establecen las líneas generales de actuación
por las que se rigen las convocatorias anuales.
▪ 8 planes desde 1988: 1988-1991, 1992-1995, 1996-1999, 2000-2003, 2004-2007,
2008-2011, 2013-2016 y 2017-2020.
▪ Estructurado en programas específicos sobre los diversos ámbitos del sistema
de ciencia y tecnología: investigación, pero también formación, movilidad,
infraestructuras, transferencia de conocimiento, etc.
▪ Ley de Ciencia de 2011: desde el 7º plan (2013-2016) se establece la denominación
vigente de Plan Estatal de Investigación Científica y Técnica y de Innovación (I+D+i).
▪ Desde el 7º PE (2013-2016), dos programas de investigación:
Excelencia Proyectos sin orientación temática predefinida.
Retos Proyectos orientados a la resolución de “grandes retos” de la sociedad.

5. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
5
ORGANIZACIÓN DE LA EVALUACIÓN DE PROYECTOS
▪ Reconocimiento de Comunicación (que incluye Documentación) como subárea
específica del área de Ciencias Sociales en la convocatoria de 2010 (6º PN, 2008-2011).
Hasta entonces, CPOL o SOCI.

6. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
6
EVALUACIÓN DE PROYECTOS DEL PLAN ESTATAL (1)
▪ Cada proyecto recibe 4 evaluaciones:
2 expertos designados por la Dirección General de Investigación Científica y Técnica
(DGICT) de la Secretaría de Estado de Investigación (MINECO)
2 expertos designados por la Agencia Nacional de Evaluación y Prospectiva (ANEP)
▪ A partir de la media ponderada de las 4 evaluaciones, los proyectos
son calificados en 4 niveles de puntuación, con un máximo de 5 puntos:
A (mayor o igual a 4)
B (menor de 4 y mayor o igual a 3)
C (menor de 3 y mayor o igual a 2)
D (menor de 2)
▪ Los proyectos con puntuaciones dispares son discutidos en la Comisión
Científico-Técnica del área o subárea correspondiente.
Puntuación mínima requerida
En torno al 25% por encima del rango
más bajo del nivel B (> 3,5 puntos)

7. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
7
EVALUACIÓN DE PROYECTOS DEL PLAN ESTATAL (y 2)
▪ Documentos que presentar:
Memoria Científico-Técnica: antecedentes, objetivos, metodología, plan de difusión…
Solicitud (resumen de la documentación), que incluye el presupuesto.
Currículum vitae de los integrantes del equipo investigador.
▪ Criterios de evaluación en los Informes Técnicos de Evaluación
Ponderación (%)
Criterio Excelencia Retos
Calidad científico-técnica, relevancia y viabilidad 60 50
Calidad, trayectoria y adecuación del equipo 30 30
Impacto científico-técnico e internacional 10 20
Presupuesto solicitado Sin ponderación específica
Contratos predoctorales solicitados Sin ponderación específica
(Programa Estatal de Promoción del Talento y su Empleabilidad)

8. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
8
LA MEMORIA CIENTÍFICO-TÉCNICA
▪ Igual formato para Excelencia y Retos. Estructurada en 3 apartados:
Parte A. Resumen de la propuesta
Parte B. Información sobre el equipo investigador
Parte C. Documento Científico (importante: que no supere las 20 páginas)
▪ Documento Científico: estructurado en 4 apartados:
Ponderación en los criterios de evaluación (%)
Excelencia Retos
C.1. Propuesta científica 60 50
C.2. Impacto de los resultados (difusión) 10 20
C.3. Capacidad formativa del equipo (solo si se solicita contrato predoctoral)
C.4. Implicaciones éticas (si las hay)
▪ El apartado C.1: Propuesta científica
1. Antecedentes y estado de la cuestión
2. Objetivos
3. Metodología

9. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
9
LA PROPUESTA CIENTÍFICA: ANTECEDENTES (1)
▪ Tres cuestiones a tener en cuenta:
1. Demostrar un conocimiento amplio del tema, incidiendo en
▪ Los resultados obtenidos en las investigaciones previas, especialmente
en el ámbito internacional. No basta con citar la bibliografía: debe
demostrarse que se conocen los resultados de la investigación en ese campo.
▪ Las lagunas o deficiencias en el conocimiento existente sobre el tema.
2. Indicar claramente de qué modo contribuirá el proyecto presentado
a resolver esas lagunas o deficiencias detectadas.
3. Resultados previos del equipo, si se trata de una línea de trabajo
ya iniciada.

10. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
10
LA PROPUESTA CIENTÍFICA: ANTECEDENTES (y 2)
Evitar valoraciones negativas en los Informes Técnicos de Evaluación

11. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
11
LA PROPUESTA CIENTÍFICA: OBJETIVOS (1)
1. Formular exclusivamente objetivos científicos, no propósitos relacionados con la
obtención y difusión de los resultados, fortalecer equipos de investigación, etc.
2. Formular los objetivos con claridad y concisión

12. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
12
LA PROPUESTA CIENTÍFICA: OBJETIVOS (y 2)
3. Es un error descomunal proponer como objetivo la revisión de la literatura
científica sobre el tema
4. Vinculación clara entre objetivos y antecedentes

13. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
13
LA PROPUESTA CIENTÍFICA: METODOLOGÍA (1)
1. Adecuación entre dispositivo metodológico y objetivos

14. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
14
LA PROPUESTA CIENTÍFICA: METODOLOGÍA (y 2)
2. Conocimiento adecuado de los métodos y técnicas propuestos
3. Explicación detallada de los procedimientos de aplicación e instrumentos

15. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
15
PLAN DE DIFUSIÓN E IMPACTO ESPERADO (1)
1. Plan completo, con actividades diversas, incidiendo en transferencia en Retos
2. Plan de difusión creíble en función de la trayectoria del equipo investigador

16. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
16
PLAN DE DIFUSIÓN E IMPACTO ESPERADO (y 2)
3. Importancia de la valoración del impacto internacional de los resultados
4. Evitar la organización de reuniones científicas

17. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
17
EL EQUIPO INVESTIGADOR (1)
1. Importancia de acreditar trayectoria previa en el tema
2. Acreditar una experiencia investigadora amplia
3. Integrar los perfiles académicos necesarios (interdisciplinariedad)

18. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
18
EL EQUIPO INVESTIGADOR (y 2)
4. Acreditar un conocimiento adecuado de los métodos propuestos
5. Número de investigadores adecuado a los objetivos
7. Justificación de la necesidad y adecuación de los IP

19. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
19
EL PRESUPUESTO (1)
1. Los gastos vinculados al desarrollo de la investigación, partida principal
2. Los gastos de personal deben estar justificadísimos

20. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
EL PRESUPUESTO (y 2)
3. Presupuesto necesario: no presupuestar a la baja
4. Claridad, sin confusión entre las partidas presupuestadas
5. No incluir gastos prescindibles

21. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
21
EL ÁREA DE COMUNICACIÓN EN EL PLAN ESTATAL DE I+D+i (1)
Fuente: García Jiménez, 2006; MapCom (http://www.mapcom.es/bases-de-datos); y elaboración
propia con datos del Plan Estatal de I+D+i (http://www.idi.mineco.gob.es/portal/site/MICINN/)
Reconocimiento
de subárea específica
2004-2009: M=14
proyectos/convocatoria
2010-2017: M=25
proyectos/convocatoria
Convocatoria 2016
2015 BOE 23 junio 2015
2016 BOE 14 marzo 2016
2017 BOE 8 junio 2017
Proyectos financiados 2016
Presentados 56
Financiados 16 (28,6%)
Proyectos financiados 2017
Presentados 84 (∆ 50% 2016)
Financiados 25 (29,8%)
20172016201520142013201220112010200920082007200620052004
Proyectosfinanciados
40
30
20
10
0
25
16
30
26
32
29
26
18
21
12
13
15
8
12
M=14
M=25

22. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
22
EL ÁREA DE COMUNICACIÓN EN EL PLAN ESTATAL DE I+D+i (y 2)
Convocatoria 2016
Excelencia Retos
Proyectos presentados 13 43
Proyectos financiados 2 (15,4%) 14 (32,6%)
Financiación media 50.000 € 40.000 €
Convocatoria 2017
Excelencia Retos
Cuantía disponible ∆ 30% / 2016 ∆ 6,25% / 2016
Proyectos presentados 30 54
Proyectos financiados 6 (20%) 19 (35,2%)
Financiación media 50.700 € 31.300 €

23. CRITERIOS PARA LA EVALUACIÓN DE PROYECTOS DE INVESTIGACIÓN DEL PLAN ESTATAL DE I+D+i. Manuel Martínez Nicolás
23
DOCUMENTACIÓN EN EL ÁREA DE COMUNICACIÓN
Convocatoria 2016
Excelencia Retos Total
Proyectos presentados 1/13 (7,7%) 5/43 (11,6%) 6/56 (10,7%)
Proyectos financiados 0/1 3/5 (60,0%)
0/2 3/14 (21,4%) 3/16 (18,7%)
Financiación media – 41.100 € (M=40.000 €)
Convocatoria 2017
Excelencia Retos Total
Proyectos presentados 4/30 (13,3%) 8/54 (14,8%) 12/84 (14,3%)
Proyectos financiados 0/4 4/8 (50,0%)
0/6 4/19 (21,0%) 4/25 (16,0%)
Financiación media – 33.000 € (M=31.300 €)