Presentación impartida en la II Reunión de servicios de evaluación científica en los vicerrectorados de investigación celebrado el 31 de enero en la Universidad de Córdoba

1. ALTMÉTRICAS
APLICADAS A NIVEL
INSTITUCIONAL

2. Altmétricas aplicadas a
nivel institucional
Nicolás Robinson-Garcia – elrobinster@gmail.com
Daniel Torres-Salinas – torressalinas@gmail.com
Evento: II Reunión de servicios de evaluación
científica en los vicerrectorados de investigación
Fecha de celebración: 31 de enero al 1 de febrero
de 2019
Organiza: Vicerrectorado de Investigación y
Desarrollo Territorial de la Universidad de Córdoba

4. Las promesas de las altmétricas
1. Diversidad
Indicadores y resultados
2. Rapidez
Impacto inmediato
3. Apertura de métodos
Indicadores y resultados
4. Más allá del impacto científico
Impacto social
Wouters & Costas, 2012 Escher, 1935

5. LIMITACIONES CONCEPTUALES
1. Problema de atribución
2. Aproximación pasiva
LIMITACIONES TÉCNICAS
1. Disparidad
2. Manipulación
3. Volatilidad

6. ¿Es el final de
las
altmétricas?
the potential of social media data for
impact assessment lies in that it may help
understand the social interactions of
researchers, both within and outside the
scientific sphere
Many data and indicators […] that make
up the altmetric universe are actually data
about social media use, reception, and
impact
Wouters et al., 2018
Robinson-Garcia et al., 2018

7. ¿Es el final de
las
altmétricas?
Nuevos
enfoques
Nuevos métodos
Reinterpretación
de resultados

8. Consideraciones previas
Herramientas
01
Selección de
indicadores
02
Diseño del
modelo
03
Implementación
04

9. HERRAMIENTAS
ALTMÉTRICAS

10. ¿Qué
agregador de
altmétricas
es el
idóneo?
■ Batería de indicadores amplia y
diversa
■ Cada plataforma ofrece distintos
indicadores
■ Cada plataforma arroja distintos
resultados para mismos
indicadores
■ Estas diferencias no se deben a
errores, sino a diferencias en la
recogida de datos

11. “Altmetrics is the study and use of
scholarly impact measures based
on activity in online tools and
environments”
Priem, Groth & Taraborelli, 2012

13. Citations
News media
Policy documents
Open peer review
(F1000, Publons)
YouTube
Open Syllabus
Patents
…

14. Downloads-Usage
Citations
Library holdings
Video plays
Code forks
News media
Amazon reviews
Goodreads
…
Citations
News media
Policy documents
Open peer review
(F1000, Publons)
YouTube
Open Syllabus
Patents
…

15. Tipos de proveedores
TODO EN UNO
•Almetric.com
•PlumX Analytics
•CrossRef Event Data
•Lagotto
POR FUENTE
•Mendeley
•Twitter
•Facebook
•ResearchGate

16. Tipos de proveedores
TODO EN UNO
•Almetric.com
•PlumX Analytics
•CrossRef Event Data
•Lagotto
POR FUENTE
•Mendeley
•Twitter
•Facebook
•ResearchGate
Springer Nature
Elsevier
Plos

17. Redes sociales
• Twitter, Facebook, Google Plus… Tweets, retweets, likes, users
Marcadores sociales
• Mendeley, Zotero, ReadCube… Bookmarks, collections, readers
Blogging científico
• Publishers, institutional, personal… Mentions, comments, links
Contenido abierto
• PLOS journals, DataCite, Github… Downloads, comments, views
Fuentes e indicadores

18. ALTMETRIC.COM
■ Public policy documents
■ Blogs
■ Mainstream media
■ Citations (web of science / scopus)
■ Online reference managers (mendeley)
■ Research highlights (F1000)
■ Peer review platforms (pubpeer, publons)
■ Social Media (Facebook public pages, Twitter,
Google+, LinkedIn, Sina, Weibo and Pinterest)
■ Open Syllabus Project
■ Multimedia y otros (YouTube, Reddit y Q&A)

19. PLUMX

20. Viewed
•PubMed Central Usage
Stats
•Copernicus
Discussed
•Facebook, Twitter
•Blogs
•Wikipedia
•Reddit
•OpenEdition
Saved
•CiteULike
•Mendeley
Cited
•CrossRef, PubMed
•Scopus
•WoS
•DataCite
•Europe PMC
Recommended
•F1000 Prime
Solo PLOS
•Usage
•Figshare usage
•Comments
Lagotto

21. CROSSREF EVENT DATA

22. Zahedi & Costas, 2018
Diferencias de cobertura

23. ¿Por qué ofrecen distintos resultados
para mismos indicadores?
■ Recogida de datos. Uso de distintas APIs para acceder a fuentes
primarias
■ Agregación y presentación. Distintas estrategias para identificar
mencionar y agregar versiones de documentos (i.e., DOIs, URLs)
■ Actualización. Distinta periodicidad por proveedor y fuente
¡LOS INDICADORES ALTMÉTRICOS SON INESTABLES!
Zahedi & Costas, 2018

24. TWEETS
ENLAZANDO A
VERSIONES
DIFERENTES
DEL MISMO
DOCUMENTO

25. DIFERENTES VERSIONES DE UN DOCUMENTO
UNIDAS EN ALTMETRIC.COM

26. SELECCIÓN DE
INDICADORES

27. Algunas consideraciones
1. Objetivo a perseguir
2. Fuentes altmétricas ≈ Fenómeno a analizar
3. Selección de indicadores
4. Método de análisis

28. CASO I
■ Menciones en Twitter
como indicador de
consumo de literature
científica
■ Proxy e indicador no
están alineados
Robinson-Garcia et al., 2017

29. CASO II
■ Lo que la plataforma
indica y lo que ofrece
no se corresponde
Torres-Salinas, et al., 2018

30. CASO III
■ Proxy e indicador alineados pero por razones muy diferentes a las
esperadas
Costas @ ESSS Granada 2016

31. INTERPRETING ALTMETRICS
CASO IV
■ Errores en la recogida de datos

32. CASO V
■ Falsos negativos
■ El enlace al artículo no aparece en
el tuit
■ Este tuit se perdería

33. DISEÑO DE LA APLICACIÓN

34. Monitorización
•¿Cuál es la situación?
•Se reconoce un umbral de
incertidumbre
•No hay consecuencias directas
•Exploratorio y descriptivo
Evaluación
•¿Hemos alcanzado los objetivos?
•Altmétricas como complemento
•Punto de partida para análisis
cualitativo

35. Aproximación bibliométrica Aproximación altmétrica

36. Academics
SMEs, Non-profits,
Hospital,
Gov. Agencies,
Associations, Large
firms
SocietyAltmetrics
¿Qué queremos ver?

37. Aproximación altmétrica Aproximación relacional

38. IMPLEMENTACIÓN
PRÁCTICA

39. ¿Cuál es la visibilidad
de las universidades
españolas en las redes
sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2018

40. ¿Cuál es la visibilidad
de las universidades
españolas en las redes
sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2018 http://knowmetrics.org/

41. ¿Cómo analizar
perfiles de
universidades en
redes sociales?
■ Tipo de análisis: Comparativo
■ Objetivo: Entender
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas et al., 2016

42. ¿Cuál es la presencia
de mis investigadores
en las redes sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas, 2018

43. ¿Cuál es la presencia
de mis investigadores
en las redes sociales?
■ Tipo de análisis: Monitorización
■ Objetivo: Conocer
■ Carácter: Descriptivo
■ Consecuencias directas:
Ninguna
Fuente: Torres-Salinas, 2018

44. ¿Qué perfil presentan
mis investigadores?
■ Tipo de análisis: Cualitativo
■ Objetivo: Identificación de
perfiles
■ Carácter: Descriptivo
■ Consecuencias directas:
Contextualizar la evaluación
Fuente: D’Este et al., 2018

45. ¿Cuál es el alcance de
las interacciones de
los investigadores?
■ Tipo de análisis: Mapeo
■ Objetivo: Identificación de
perfiles
■ Carácter: Exploratorio
■ Consecuencias directas:
Contextualizar evaluación
Fuente: Robinson-Garcia et al., 2018

46. ¿Cuál es la recepción
de los resultados de
investigación de un
centro?
■ Tipo de análisis: Cuanti/Cuali
■ Objetivo: Contextualizar
investigación
■ Carácter: Exploratorio
■ Consecuencias directas:
Conocer el uso social de la
investigación
Fuente: Robinson-Garcia, 2017

47. ¿Cuál es la recepción
de los resultados de
investigación de un
centro?
■ Tipo de análisis: Cuanti/Cuali
■ Objetivo: Contextualizar
investigación
■ Carácter: Exploratorio
■ Consecuencias directas:
Conocer el uso social de la
investigación
Fuente: Robinson-Garcia, 2017

48. ¿PREGUNTAS?