La Declaración de San Francisco de Evaluación de la Investigación

1. La Declaración de San Francisco de
Evaluación de la Investigación (DORA)
1

2.  Es una iniciativa mundial conformada en un principio
por la Sociedad Americana de Biología Celular (BCSV),
a la cual se fueron uniendo directores y editores de
revistas científicas de todas las disciplinas.
2
¿Qué es?

3.  Encontrar una forma adecuada de evaluar la
investigación científica
3
¿Cuál es el objetivo?

4.  Por la necesidad de mejorar la forma en que la salida de
la investigación científica es evaluada por las agencias de
financiamiento, instituciones académicas, y otras partes.
4
¿Por qué surge?

5.  Los resultados de la investigación científica son muchos
y variados, incluyen: artículos de investigación que
reportan nuevos conocimientos, datos, reactivos y
software, propiedad intelectual, y una plantilla de
científicos altamente capacitados, etc.
5
¿Qué produce la investigación científica?

6.  Básicamente el factor de impacto (FI, parámetro
primario).
 Se utiliza con frecuencia como indicador con el cual se
compara la producción científica de las personas y el de
las instituciones.
6
¿Qué se utiliza para evaluar la investigación científica?

7.  El factor de impacto de revistas, según los cálculos de
Thomson Reuters, fue creado originalmente como una
herramienta para ayudar a los bibliotecarios a identificar
revistas para comprar, no como una medida de la calidad
científica de la investigación en un artículo.
7
¿Por qué no es adecuado usar FI?

8.  Es importante entender que el factor de impacto tiene una serie de
deficiencias bien documentadas como herramienta para la
evaluación de la investigación.
 Estas limitaciones incluyen: A) la distribución de citas en revistas es
sesgada , B) las propiedades del factor de impacto son el campo
específico: esto es una combinación de múltiples tipos de artículos
muy diversos, incluidos los documentos de investigación primaria y
revisiones; C) Los diarios de factor de impacto se pueden manipular
(o “truquear") por la política editorial , y D) los datos utilizados para
el cálculo de los factores de impacto de revistas no son ni
transparentes ni abiertamente a disposición del público.
8
Deficiencias del FI.

9. Recomendación General
 1. No utilice métricas por diario, tales como factores de
impacto de revistas, como una medida sustituta de la
calidad de los artículos de investigación individuales,
para evaluar las contribuciones de un científico, o en la
contratación, promoción, o las decisiones de
financiamiento.
9
¿Qué propone DORA?

10. Para los organismos de financiación
 2. Sea explícito acerca de los criterios utilizados en la evaluación de
la productividad científica de los solicitantes de subvenciones y
claramente resaltar, sobre todo para los investigadores en fase
inicial, que el contenido científico de un artículo es mucho más
importante que las métricas de publicación o la identidad de la
revista en la que fue publicado.
 3. A efectos de la evaluación de la investigación, considerar el valor
y el impacto de los resultados de la investigación (incluidos los
conjuntos de datos y software), además de las publicaciones de
investigación, y considerar una amplia gama de medidas de impacto
que incluya indicadores cualitativos del impacto de la investigación,
como la influencia sobre la política y la práctica.
10

11. Para las instituciones
 4. Sea explícito acerca de los criterios utilizados para llegar a la
contratación, la tenencia y las decisiones de promoción, destacando
con claridad, sobre todo para los investigadores en fase inicial, que
el contenido científico de un artículo es mucho más importante que
las métricas de publicación o la identidad de la revista en la que fue
publicada.
 5. A efectos de la evaluación de la investigación, considerar el valor
y el impacto de los resultados de la investigación (incluidos los
conjuntos de datos y software), además de las publicaciones de
investigación, y considerar una amplia gama de medidas de impacto
que incluya indicadores cualitativos del impacto de la investigación,
como la influencia sobre la política y la práctica.
11

12. Para editoriales
 6. Reducir en gran medida énfasis en la revista factor de impacto como una
herramienta de promoción, idealmente dejando de promover el factor de impacto o
mediante la presentación de la métrica en el contexto de una variedad de métricas
revista a base de (por ejemplo, factor de impacto 5-años, Eigenfactor, SCImago,
índice h, redacción y número de publicaciones, etc) que proporcionan una visión más
rica del desempeño diario.
 7. Poner a disposición de una serie de indicadores a nivel de artículo para fomentar
un cambio hacia la evaluación basada en el contenido científico de un artículo en
lugar de métricas de la publicación de la revista en que fue publicado.
 8. Fomentar prácticas de autoría responsables y la provisión de información sobre las
contribuciones específicas de cada autor.
 9. Si una revista es de libre acceso o suscripción, eliminar todas las limitaciones de
reutilización en las listas de referencias de artículos de investigación, que estarán
disponibles bajo la licencia Creative Commons - Dedicación de Dominio Público .
 10. Eliminar o reducir las restricciones en el número de referencias en artículos de
investigación y, en su caso, ordenar la citación de la literatura primaria en favor de
los exámenes, con el fin de dar crédito al grupo (s) que se registró por primera vez un
hallazgo.
12

13. Para las organizaciones que proveen métricas
 11. Sea abierto y transparente, proporcionando datos y métodos
utilizados para el cálculo de todos los indicadores.
 12. Proporcionar los datos bajo una licencia que permite la
reutilización sin restricciones, y facilitar el acceso a los datos de
cálculo, siempre que sea posible.
 13. Esté claro que la manipulación inadecuada de los indicadores no
será tolerada; ser explícito acerca de lo que constituye la
manipulación inadecuada y qué medidas se tomarán para combatir
esto.
 14. Cuenta de la variación en los tipos de artículos (por ejemplo,
comentarios contra artículos de investigación), y en diferentes áreas
cuando se utilizan indicadores, agregados o comparación.
13

14. Para los investigadores
 15. Cuando participa en los comités de toma de decisiones sobre la
financiación, la contratación, la tenencia, o la promoción, realizar
evaluaciones basadas en contenido científico en lugar de las métricas
de publicación.
 16. Siempre que sea necesario, citar la literatura principal en que las
observaciones se informó por primera vez de opiniones con el fin de
dar crédito a quien crédito merece.
 17. Use una variedad de métricas de artículos e indicadores sobre las
declaraciones personales / sostén, como evidencia del impacto de los
artículos publicados individuales y otros productos de la
investigación.
 18. Aminorar las prácticas de evaluación en función de la
investigación que se basan inadecuadamente en factores de impacto
de revistas y promover y enseñar las mejores prácticas que se centra
en el valor y la influencia de los resultados específicos de
investigación. 14

15.  Hasta el día 28/Mayo/2013 hay 5 mil firmantes, 205 organizaciones
que apoyan la declaración. Y contando…
15
¿Cuál ha sido el avance de DORA?

16. Referencias
 Adler, R., Ewing, J. y Taylor, P. (2008) Estadísticas de citaciones. Un informe de la Unión
Matemática Internacional. www.mathunion.org/publications/report/citationstatistics0
 Seglen, PO (1997) ¿Por qué el factor de impacto de las revistas no debe utilizarse para la
evaluación de la investigación. BMJ 314, 498-502.
 Editorial (2005). No tan profundo impacto. Naturaleza 435, 1003-1004.
 Vanclay, JK (2012) Factor de impacto: artefacto ha sido superado o trampolín para la certificación
revista. Scientometrics 92, 211-238.
 Los editores de PLoS Medicine (2006). El juego factor de impacto. PLoS Med 3 (6): E291 doi:
10.1371/journal.pmed.0030291.
 Rossner, M., Van Epps, H., Colina, E. (2007). Muéstrame los datos. J. Cell Biol.. 179, 1091-1092.
 Rossner M., H. Van Epps, y Hill E. (2008). Resultados Irreproducible: una respuesta a Thomson
Scientific. J. Cell Biol.. 180, 254-255.
 http://www.eigenfactor.org/
 http://www.scimagojr.com/
 http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
 http://altmetrics.org/tools/
Para mayor información consultar la pagina oficial de DORA http://am.ascb.org/dora/
16