[1] O documento discute métricas tradicionais e alternativas para medir o impacto da produção acadêmica, como downloads, menções em mídia social, e compartilhamentos. [2] Ele também apresenta ferramentas como Altmetric, ImpactStory e PlumX que fornecem métricas de artigos, autores, periódicos e instituições baseadas em fontes alternativas. [3] Por fim, discute os prós e contras das métricas alternativas e a necessidade de contextualização dos dados.

1. Métricas
Alternativas
Andréa Gonçalves do Nascimento
Mestranda do Programa de Pós-Graduação em Biblioteconomia da UNIRIO
Ciclo de Oficinas “O futuro das ideias” | CCJF | Rio de Janeiro | junho 2015

4. Agenda
• Cenário
• Impacto
• Métricas tradicionais
• Métricas alternativas (e um pouco de prática)

5. Cenário
• Avaliação de impacto da produção científica é tema de
constante discussão na comunidade acadêmica
• Índices tradicionais de impacto são alvo de questionamentos
e críticas sobre a sua validade e atualidade
• Surgimento de novas práticas e ferramentas para a
comunicação acadêmica
• Produção acadêmica cada vez mais vinculada aos meios
eletrônicos no que tange à produção, publicação,
disseminação e validação
• Comunidade acadêmica busca maneiras alternativas de
medir, avaliar e dar significado à produção acadêmica

7. IMPACTO
(efeito)
(alcance)
(influência)
(valor)

8. Métricas de impacto
• Para ser utilizado, deve ser medido
• Para ser entendido, deve ser contextualizado
artigo
periódico
autor
instituição níveis

9. Métricas de artigo
• Contagem de citações
“Na ciência, o fato de um artigo ter sido publicado não é suficiente.
Para provar o seu impacto, um artigo precisa de outros artigos
posteriores que o ratifiquem.”
Bruno Latour, “Ciência em Ação”

12. Métricas de periódico
• Impact factor
• Immediacy index
• Cited half-life
• Eigenfactor and Article Influence
• SCImago Journal Ranking (SJR)
• h5-index
• h5-median
• Taxa de aceitação
• Assinaturas, circulação, acervo em bibliotecas

15. Métricas de autor
• H-Index
• i10-Index
• Publish or Perish

18. Métricas institucionais
• Essencial Science Indicators Ranking
• SCImago Institutions Ranking
• Snowball Metrics

20. Em resumo...
Fonte: MyRI, Product Decision chart – What do you want to do? Disponível em: www.ndlr.ie/myri

21. “No one can read everything. We rely on filters to make
sense of the scholarly literature, but the narrow, traditional
filters are being swamped. However, the growth of new,
online scholarly tools allows us to make new filters; these
altmetrics reflect the broad, rapid impact of scholarship in
this burgeoning ecosystem. We call for more tools and
research based on altmetrics.”
Jason Priem, Dario Taraborelli, Paul Groth and
Cameron Neylon, “altmetrics: a manifesto”

22. altmetrics:
“a criação e estudo de novas métricas baseadas na web
social para analisar e informar atividades acadêmicas”
altmetric.org

23. Indicadores
Bibliometria
Geração de indicadores
a partir de dados
bibliográficos e de
citação
Altmetria
Geração de indicadores
a partir de dados de
ambientes e ferramentas
na web

25. Article-level Metrics (ALM)
• ALM é muitas vezes confundido com altmetrics
• ALM busca medir o impacto de um artigo usando fontes
de dados tradicionais e alternativas
• Incorporar fontes de dados alternativas fornece uma
imagem mais rica sobre como esse artigo está sendo
discutido, compartilhado e usado

26. ALM vs. altmetrics
ALMs =
nível de
agregação de
dados
Altmetrics =
tipo de fontes
de dados

27. IMPACTO
USO
Downloads
Visualizações
REVISÃO POR
PARES
Opinião de
especialistas
CITAÇÕES
INTERAÇÃO
Favoritos
Comentários
Compartilhamentos
Adaptado de altmetrics.org
Múltiplas dimensões

28. Métricas alternativas
• Para ser considerado, deve ser medido
• Para ser entendido, deve ser contextualizado
produto
periódico
autor
instituição níveis

29. O que se mede?
Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e
TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.
Métrica Descrição Fontes
Views / Downloads Downloads ou visualizações na web e em
sites de mídia social
Figshare, Slideshare, Dryad,
Facebook, YouTube, LinkedIn
Shares / Mentions Post público para compartilhar notícias de um
artigo ou resultado de pesquisa
Twitter, Topsy, Facebook,
reddit, artigos de notícias, blog
posts, Google+, YouTube,
Figshare, Mendeley
Saves / Captures Salvo em um site de bookmark social ou
marcado como favorito em um site de mídia
social ou gestor de referência
Mendeley, CiteULike,
Delicious, Github, Twitter, and
Slideshare
Reviews / Social Media Discutido com inclusão de um comentário
adicional
Faculty of 1000 (F1000), blog
posts, comentários de artigos,
comentários no Facebook
Adaptations Criação de trabalhos derivados usando um
artigo ou outro resultado de pesquisa
Github
Cites Citações em literatura acadêmica Pubmed, Scopus, Web of
Science

31. Métricas de produto
• Métricas de uso:
• Clicks / Visualizações
• Downloads
• Métricas de captura:
• Bookmarks
• Favoritos
• Salvo / Lido
• Menções:
• Blog
• Comentários
• Resenhas
• Mídia social:
• Curtidas
• Compartilhamento
• Tweets

32. • Pioneira no desenvolvimento e uso de Article-Level Metrics
• ALM disponível para todos os artigos publicados na PLOS. Rastreia
uso, citações e atividade social na web.
• Inclui visualizações em HTML, downloads de PDFs e XML, uso no
PubMed Central, citações em bases de dados e mecanismos de
busca externos (incluindo Google Scholar e Scopus), Facebook,
Twitter, blogs, e comentários no próprio site.

33. • Monitora a influência dos artigos a curto, médio e longo prazo
• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos,
citações acadêmicas ou não
• Audiências: público em geral e acadêmico
• Dimensões: atenção, autopromoção e impacto
• Adotada também por outros editores, instituições e publicações (ex:
OJS/PKP)
• API permite usar e melhor desenvolver a ferramenta de ALM
construída pela PLOS.

35. • Altmetric.com rastreia menções de produtos científicos em sites de
mídia social, jornais, blogs e outras fontes, e registra a resposta
online a esses produtos
• Empresa com fins de lucro
• Adotada por diversos editores, bases de dados e periódicos
• Altmetric score indica a atenção recebida por um determinado item,
ponderando quantidade e “qualidade” da menção
• Três fatores principais: número de menções, onde foi feita a menção
e frequência de menções do autor

36. Number = score
Blue = Twitter
Yellow = blogs
Red = news
Altmetric score

37. Altmetric score
• Maioria dos artigos tem score 0
• Média de 30-40% dos artigos mencionados pelo menos uma vez
• Dados incompletos para artigos publicados antes de julho de 2011
Produtos
• Altmetric Explorer
• Altmetric for Institutions
• API
• Bookmarklet
• Badges

38. Exemplo com artigo de autores da USP

44. Prática #1 – Instalar e usar o Altmetric Bookmarklet
Prática #2 – Usar o Altmetric Explorer para descobrir o
score de artigos publicados em periódicos da Fiocruz

45. Métricas de periódico
“Até agora, nenhuma métrica alternativa desafiou
seriamente o fator de impacto […]. Dito isso, à medida que
[números de] visualizações e downloads de artigos se
tornem mais comuns, é possível que métricas de periódico
baseadas em métricas de artigo agregadas comecem a ser
uma alternativa útil para ver a frequencia com que os
usuários estão interagindo com o conteúdo do periódico.”
Roemer & Borchardt, “Meaningful metrics: a 21st-Century Librarian’s Guide to
Bibliometrics, Altmetrics and Research Impact

47. Editores que firmaram parcerias para incluir altmetrics em
seus artigos online:
• Elsevier
• BioMed Central
• Nature
• Springer
• Emerald
• Wiley
• EBSCO
• High Wire Press
• Ingenta
• Taylor & Francis

49. Vantagens para editores
• Revistas focadas em nichos específicos
• Revistas que não possuem cálculo de FI
• Revistas destinadas a um público mais amplo que o
acadêmico
• altmetrics podem ajudar a justificar a importância do
periódico e necessidade de mais recursos

50. Métricas de autor
• Funcionam como perfil online do pesquisador
• Permite monitorar e compartilhar suas métricas em
diferentes fontes
• ImpactStory
• PlumX
• ResearchGate score

51. • ImpactStory é uma ferramenta online que permite aos
pesquisadores descobrir e compartilhar os diversos impactos de
seus produtos de pesquisa, de artigos a posts em blogs,
datasets, softwares, entre outros.
• Voltada para pesquisadores, permite importação de registros de
outros sites e inserção manual de identificadores de artigo/autor.
• Assinatura mensal (US$10) ou anual (US$60)
• Métricas abertas e contextualizadas: classificadas por audiência
e por tipo de engajamento – citações, recomendações,
discussões, etc.

54. Prática #3 – Criar um perfil no ImpactStory e adicionar seus produtos
de pesquisa

57. Métricas institucionais
• Mesmo conjunto de dados baseados em métricas de
artigo, agregados por instituição
• Segmento com potencial de crescimento, mas ainda com
baixa adoção
• PlumX Group Metrics
• Altmetric for Institutions

58. • Usado por universidades e institutos de pesquisa como um meio
de aferir a produtividade de departamentos e grupos
• Disponível por assinatura. Adquirido pela EBSCO em 2014.
• Inclui métricas relacionadas a produtos, grupos, pesquisadores,
laboratórios, departamentos e publicações.
• Permite que instituições acompanhem a influência de seus
pesquisadores, rastreando mais de 20 diferentes tipos de
'artefatos', incluindo artigos de periódicos, livros, vídeos,
apresentações, trabalhos de conferência, códigos, etc.

61. for Institutions
• Acesso a toda a base de dados do Altmetric.com em uma interface
semelhante a Altmetric Explorer
• Permite agrupar artigos por autor, departamento ou instituição, usar
filtros e receber alertas
• Disponível somente por assinatura institucional

63. Enfim...

64. Prós
• Complemento aos métodos tradicionais de avaliação
• Diversidade: métricas diversas, produtos diversos, captura
múltiplas dimensões do impacto científico
• Velocidade: Apuração quase imediata da atenção recebida por
um trabalho científico
• Colaboração: participação em discussões sobre o artigo em
blogs e sites de mídia social
• Visibilidade: permite acompanhar a repercussão online dos
trabalho e entender melhor sua audiência
• Implementação: dados abertos e múltiplas ferramentas
disponíveis para desenvolvimento

65. Contras
• Heterogeneidade e efemeridade das fontes, indicadores e
ferramentas
• Falta de credibilidade: medida de impacto ou de popularidade?
• Métodos limitados de identificação única de artigos
• Dificuldades técnicas e tecnológicas para implementação
• Direcionamento das fontes de coleta de citações
• Possibilidade de manipulação dos dados
• Necessidade de contexto/significado
• Desafio na adoção e uso por universidades e órgãos de fomento

66. Para pensar...
• O atual ciclo de pesquisa não termina com a publicação,
mas com o compartilhamento e medição do impacto
• altmetrics permitem que o autor/pesquisador/editor veja
onde o trabalho está sendo visualizado, compartilhado e
discutido na web
• É responsabilidade do autor/editor promover a visibilidade
e o uso de seu trabalho

67. Leitura adicional
Research Impact & Visibility: Traditional and altmetrics
http://libguides.library.uu.nl/researchimpact/altmetrics
Altmetrics in action: examples and feedback from data-savvy
researchers
http://www.altmetric.com/blog/altmetrics-in-action-examples-
and-feedback-from-data-savvy-researchers/
Exploring altmetrics in an emerging country context
http://figshare.com/articles/Exploring_altmetrics_in_an_emergin
g_country_context/1041797

68. Andréa Gonçalves do Nascimento
aandreafg@gmail.com