Bibliometrics Indicators Evaluation

Bibliometría y la evaluación de
investigadores
Nicolas Robinson-Garcia
EC3Metrics SL & EC3 Research Group
Universidad de Granada
...in progress

OBJETIVOS
>> Obtener unas nociones básicas de bibliometría y de
los principales indicadores bibliométricos
empleados
>> Adoptar una visión crítica de la aplicación de
indicadores bibliométricos en la evaluación
individual
>> Conocer las recomendaciones básicas que la
comunidad bibliométrica sugiere para un uso
responsable de las métricas
CONTACTO >> elrobin@ugr.es
...Contenido
>> Seminario de Formación Miércoles 8 de abril, 2015
>> Organiza: GIPE - Grupo Interdisciplinar de Políticas Educativas

1. LA BIBLIOMETRÍA Y EVALUACIÓN DE LA CIENCIA
>> Nociones básicas: el qué y el cómo
>> La era de las métricas
2. INDICADORES PARA LA EVALUACIÓN DE
INVESTIGADORES
>> Cuestiones metodológicas
>> Indicadores y limitaciones
3. RECOMENDACIONES Y ALTERNATIVAS
>> En la búsqueda de buenas prácticas -> LEIDEN MANIFESTO
>> Decálogo de buenas prácticas -> Dos & don’ts
...Agenda

>> La bibliometría y la evaluación
de la ciencia
...in progress
1

...Bibliometrics
Nociones básicas de bibliometría
[Bibliometrics]
The application of mathematics and statistical methods to
books and other media of communication
Pritchard, 1969
[Scientometrics]
The quantitative methods of the research on the
development of science as an informational process
Nalimov & Mulchenko, 1971
[Informetrics]
The study of the application of mathematical methods to the
objects of information science for the description and analysis
of its phenomena, the discovery of its laws and the support of
its decisions
Nacke, 1979

...Bibliometrics
La bibliometría desarrolla
metodologías y técnicas
cuantitativas para analizar y
entender cómo se desarrolla el
progreso científico

LOS CULPABLES
...Bibliometrics
IMPLICACIONES SCIENCE CITATION INDEX FUNDAMENTOS
PRÁCTICAS TEÓRICOS

...Bibliometrics
PRINCIPIOS BÁSICOS
>> El prestigio de un investigador se mide a través de su obra
>> El principal medio de transmisión de la actividad
investigadora es la publicación científica
>> La cita refleja la influencia de la obra de un investigador

...Bibliometrics
LEYES DE LA BIBLIOMETRIA
LOTKA
>> Un número reducido de autores produce la mayor parte del
conocimiento científico
BRADFORD
>> Un número reducido de revistas contiene el core del
conocimiento científico de una disciplina
PRICE
>> El conocimiento científico crece de manera exponencial

...Bibliometrics
>> El peer review es esencial para la evaluación. La bibliometría es una
herramienta de apoyo
>> Las citas que se analizan son aquellas que vienen de trabajos que
han pasado un proceso de revisión por pares
>> Las citas son un proxy del impacto científico de una obra y miden
más de un aspecto
>> Hay sesgos en la citación de los trabajos externos a la calidad del
contenido. Ej: EFECTO MATEO, DISCIPLINAS…

...Bibliometrics
Producción Impacto
Colaboración
Nuevos
indicadores

...Bibliometrics
Tipo de indicador Tipo de medida Unidad de análisis
 Publicaciones
 Citas
 Métricas alternativas
 Actividad
 Impacto
 Colaboración
 Nivel micro
 Nivel meso
 Nivel macro
Producción Impacto
Colaboración
Nuevos
indicadores

...Bibliometrics
La era de las métricas
The need for bibliometric indicators arises from the enormous
growth in scientific and technological activity that has been
occuring for centuries, and has now reached avalanche
proportions.
Narin et al., 1994
Governments absorbed, in the 1990s, the “new management”
ideology that focused on the evaluation of everything using
indicators and benchmarks as “objective” measures of efficiency
and return on investment.
Gingras, 2014

...Bibliometrics
AMATEUR BIBLIOMETRICS
Los investigadores y las agencias han pasado de tener
una posición escéptica sobre la utilización de la
bibliometría a una aceptación moderada hasta la
presente integración de métricas en todos los
procesos evaluativos
Amateur bibliometrics es la aplicación de métodos
bibliométricos sin conocer sus fundamentos teóricos y
limitaciones

...Bibliometrics
AMATEUR BIBLIOMETRICS
[…] it is much easier to make a measurement than to ascertain
just what has been measured, and considerable caution must
therefore be exercised in any interpretations of the statistics of
publication.
Price, 1951

...Bibliometrics

>> Indicadores para la evaluación
de investigadores
...in progress
2

...Indicators
Cuestiones metodológicas
Henk F. MoedLA MATRIZ MULTIDIMENSIONAL PARA LA EVALUACIÓN DE LA INVESTIGACIÓN

...Indicators
NIVELES DE AGREGACION
Macro >> Países, áreas científicas
• Máxima fiabilidad
Meso >> Instituciones, disciplinas
• Fiabilidad moderada
Micro >> Grupos, investigadores
• Fiabilidad relativa

...Indicators
BASES DE DATOS Y COBERTURA TEMÁTICA
CIENCIAS BIOMÉDICAS
CIENCIAS NATURALES Y EXACTAS
INGENIERÍAS Y COMPUTACIÓN
CIENCIAS SOCIALES
HUMANIDADES

...Indicators
The Google Scholar Experiment
BASES DE DATOS Y FIABILIDAD

...Indicators
MÉTODO DE RECOGIDA DE DATOS
Top down Bottom up

...Indicators
¿QUÉ QUEREMOS MEDIR?
Impacto
científico
Visibilidad
Liderazgo
Capital social
Productividad
Transferencia

...Indicators
¿QUÉ QUEREMOS MEDIR?
Impacto
científico
Visibilidad
Liderazgo
Capital social
Productividad
Transferencia
OTRAS CONSIDERACIONES
>> Rango académico / Edad científica
>> Disciplina científica
>> Grandes productores vs. One hit wonders
>> Posición de firma

...Indicators
Indicadores y limitaciones
Indicador estrella > H-Index
>> Creado por el físico Jorge Hirsch en 2005
>> Se popularizó gracias a un artículo en la
revista Nature
>> Relaciona producción con impacto

...Indicators
H-IndexUn autor tiene un índice h
cuando h de sus trabajos han
recibido al menos h citas

...Indicators
Limitaciones >> H-Index
>> No discrimina entre autores con un one hit
wonder y autores con baja citación
>> No sirve para comparar a investigadores de
distintos campos
>> No discrimina entre investigadores con ≠
edad científica

...Indicators
Agencias >> CNEAI
>> ¿informed? peer review
>> Cinco aportaciones donde se prima el
posicionamiento de la revista
>> Considera diferencias por campos y no
evalúa contenido

...Indicators
Agencias >> ANECA
>> Publicaciones con índice de calidad relativo
>> Experiencia docente
>> Experiencia en gestión

...Indicators
En España las agencias
priman especialmente la
revista de publicación por
encima del impacto ‘real’
de las publicaciones

...Indicators
En otros países parece que
también

>> Recomendaciones y
alternativas
...in progress
3

...Propuestas
En búsqueda de buenas prácticas
Costas & Noyons, 2014
Identificación de perfiles de
publicación

...Propuestas
Altmetrics
Indicadores para medir el
impacto ¿social? de la investigación
• Facebook, Twitter, Google Plus…
Redes
sociales
• Mendeley, Citeulike…
Marcadores
sociales
• Descargas, visionados…Uso
• Menciones en blogs científicos….Discusión

...Propuestas
Altmetrics
>> Evanescencia
>> Significado
>> Expansión

...Propuestas
Jiménez-Contreras y otros, 2011
3 años 5 años 7 años
P50 P75 P90 P50 P75 P90 P50 P75 P90
Umbrales de referencia de
citación por áreas
Apoyo a los procesos de
selección y promoción

...Propuestas
UGRInvestiga
Promoción y visibilidad de la
investigación de una institución

...Propuestas
UGRInvestiga
PRINCIPIOS
>> Sólo se muestran investigadores con perfil en Google
Scholar
>> Se muestran los datos que aparecen en sus perfiles
[no es una herramienta evaluativa]
>> El investigador puede decidir no aparecer en el listado

...Propuestas
UGRInvestiga

...Propuestas
UGRInvestiga
DERIVADAS
>> Mayor control institucional de la producción de los
investigadores
>> Aumento de la visibilidad de la producción de la
universidad
>> Descubrimiento de talentos escondidas

...Propuestas
LEIDEN MANIFESTO
>> En los últimos congresos bibliométricos se
baraja la idea de un manifiesto de buenas
prácticas
>> Se percibe un rechazo a la bibliometría por
parte de la comunidad resultado de malas
prácticas en política científica

...Propuestas
LEIDEN MANIFESTO
>> Aplicación de indicadores bibliométricos por
objetivos
EJEMPLO 1. Una institución considera que sus
investigadores no tienen proyección internacional
ACCIÓN. Fomentar la publicación en revistas del primer
cuartil de su categoría

...Propuestas
LEIDEN MANIFESTO
objetivos
EJEMPLO 2. El PDI de una institución tiene entre sus
obligaciones publicar, pero muchos no lo hacen
ACCIÓN. Permitir que sólo el PDI con más de XX
publicaciones pueda participar en comités de contratación

...Propuestas
LEIDEN MANIFESTO
objetivos
EJEMPLO 3. Una institución busca fomentar las redes de
colaboración con investigadores externos
ACCIÓN. Se incrementa XX% el presupuesto de grupos con
colaboración internacional en revistas de prestigio

...Propuestas
Dos & don’t s
Decálogo de buenas prácticas
1. No evalúes a investigadores con 1 solo indicador
2. No utilices el FI como medida de calidad
3. No apliques‘filtros bibliométricos invisibles’
4. No apliques ‘pesos’ aleatorios a la posición de
firma
5. No hagas rankings de investigadores según 1 solo
indicador
Glänzel & Wouters, 2013

...Propuestas
Dos & don’t s
6. No mezcles datos de distintas fuentes
7. No utilices estadísticas sesgadas
8. No confíes ciegamente en los one hit wonders
9. No compares peras con manzanas
10.No permitas que los plazos límite te impidan
aplicar buenas prácticas

...Propuestas
Dos & don’t s
1. Los indicadores a nivel micro deben ser
estadísticamente sólidos
2. Analiza la colaboración de los investigadores
3. Combina métodos cualitativos y cuantitativos
4. Analiza el contexto de citación
5. Analiza los perfiles temáticos

...Propuestas
Dos & don’t s
6. Selecciona el periodo de tiempo a analizar
7. Combina bibliometría y la carrera científica
8. Procesa los datos bibliométricos y utiliza fuentes
externas
9. No te tomes los don’ts al pie de la letra
10.Ayuda al usuario a entender e interpretar
correctamente los indicadores

>> Consideraciones finales
...in progress
3

...in progress
Los indicadores bibibliométricos
deben ser interpretados siempre con
precaución
Ranking de editoriales en Economía, Empresa y Negocios
ordenados por impacto normalizado Fuente: Bipublishers.es

...in progress
Siempre es mejor combinar indicadores y
metodologías
Ranking de universidades españolas en TICS Fuente: Rankings I-UGR

...in progress
Siempre es mejor combinar indicadores y
metodologías

...in progress
Para la evaluación de investigadores los
indicadores bibliométricos deben
aplicarse con transparencia y servir de
apoyo a la toma de decisiones, pero no
decisorios

...in progress
¿Qué puedes hacer TU investigador
para mejorar tu impacto?
1. Haz buena investigación y céntrate en tu
investigación, no en las recompensas
2. Sé visible, pon tus publicaciones en abierto y hazte
visible en Internet
3. Cuida tu imagen, utiliza una firma única de tu nombre

...in progress
Lecturas recomendadas
Butler, L. (2003). Modifying publication practices in response to
funding formulas. Research Evaluation, 12(1), 39–46
Glänzel W. & Wouters, P. (2013). The dos and don’ts in individual-
level bibliometrics.
http://www.slideshare.net/paulwouters1/issi2013-wg-pw
Lepori, B., Barre, R., Fillitreau, G., 2008. New perspectives and
challenges for the design and production of S&T indicators. Research
Evaluation 17, 33–44
Wouters, P. (2013). Bibliometrics of individual researchers. Citation
Culture. http://bit.ly/1JjUEFb

Muchas gracias!
Nicolas Robinson-Garcia
EC3Metrics SL & EC3 Research Group
Universidad de Granada
http://www.ugr.es/~elrobin

Bibliometrics Indicators Evaluation

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Bibliometrics Indicators Evaluation

Similaire à Bibliometrics Indicators Evaluation (20)

Plus de Nicolas Robinson-Garcia

Plus de Nicolas Robinson-Garcia (20)

Dernier

Dernier (20)

Bibliometrics Indicators Evaluation