O documento discute os meios tradicionais e alternativos de avaliar o impacto de publicações científicas, como contagem de citações e métricas alternativas. Apresenta indicadores como fator de impacto e métricas emergentes como altmetrics que ampliam o escopo para além das citações. Também discute os desafios na avaliação do impacto real das publicações.

1. Indicadores e
métricas na
publicação
científica
2018 | Semana dos Investigadores | bibliotecas UA

2. programa
MEIOS “TRADICIONAIS” DE AFERIÇÃO
DO IMPACTO PUBLICAÇÕES CIENTÍFICAS
c o n t a g e m d e c i t a ç õ e s
r e v i s t a s c i e n t í f i c a s e
i n d i c a d o r e s
AMPLIAÇÃO DO CICLO DE DIFUSÃO DO
CONHECIMENTO CIENTÍFICO
m é t r i c a s a l t e r n a t i v a s
f e r r a m e n t a s

3. MEIOS “TRADICIONAIS” DE
AFERIÇÃO DO IMPACTO
PUBLICAÇÕES CIENTÍFICAS

4. publicação tradicional
investigadores e as instituições necessitam cada vez mais de filtros e
métricas que permitam aferir o impacto do seu trabalho
a realidade vigente na dita “publicação tradicional” passa pela
submissão de artigos em revistas indexadas em bases de dados
científicas com peer-review
as métricas baseadas na contagem de citações têm sido o meio
mais usado pela comunidade científica

5. CONTAGEM DE
CITAÇÕES

6. contagem de citações
número de vezes que um artigo é citado por outros artigos científicos
métrica fundamental para a avaliação da publicação científica e para a aferição do prestígio dos
investigadores, sendo a base de cálculo para a maioria dos indicadores bibliométricos
considera-se que se um artigo foi citado muitas vezes será um artigo de qualidade científica e de
referência

7. Web of Science
core collection
h t t p : / / i s i k n o w l e d g e . c o m / W O S

8. S C I - E X P A N D E D
Science Citation Index Expanded - 1900-present
S S C I
Social Sciences Citation Index - 1956-present
A & H C I
Arts & Humanities Citation Index -1975-present
C P C I - S
Conference Proceedings Citation Index-Science - 1991-present
C P C I - S S H
Conference Proceedings Citation Index- Social Science & Humanities -1991-
presente
ESCI
Emerging Sources Citation Index -2015-presente
coleções

9. 1 9 . 7 0 0 r e v i s t a s c o m p e e r - r e v i e w
(inclui revistas em Open Access)
8 0 . 0 0 0 l i v r o s
1 9 0 . 0 0 0 p r o c e e d i n g s
c o b e r t u r a d e 1 9 0 0 a t é a o p r e s e n t e
publicações

10. T i m e s c i t e d
C i t a t i o n n e t w o r k
A u t h o r s e a r c h
A u t h o r s e a r c h – R e c o r d s e t s
C i t e d R e f e r e n c e S e a r c h
funcionalidades

11. times cited
após uma pesquisa, na lista de resultados é possível ordenar por nº de citações: opção
Sort by – times cited e visualizar os dados de citações por artigo

12. author search – record setsos registos são agrupados em sets lógicos, que podem ser incluídos ou excluídos da lista, de
forma a obter resultados exatos.
cited reference searchlocalizar os artigos que citam uma publicação em particular

13. Scopus
h t t p : / / w w w . s c o p u s . c o m

14. 2 2 . 8 0 0 r e v i s t a s c o m p e e r - r e v i e w
(inclui 3,600 em Open Access) - journal title list
5 6 0 s é r i e s m o n o g r á f i c a s
8 m i l h õ e s d e p a p e r s d e c o n f e r ê n c i a s
“ A r t i c l e s - i n - P r e s s ” d e c e r c a d e 8 , 0 0 0 r e v i s t a s
3 9 m i l h õ e s d e p a t e n t e s
publicações
f o n t e : h t t p s : / / w w w . e l s e v i e r . c o m / s o l u t i o n s / s c o p u s / c o n t e n t

15. author search
ajuda na identificação correta da autoria de forma a obter dados de contagem de
citações ajustados.
permite a pesquisa por autor de uma forma inequívoca já que determina quais as
formas de nome que devem ser agrupadas sob uma identificação de autor única. Esta
funcionalidade baseia-se num algoritmo que liga formas de nomes baseados em
dados como a afiliação, endereço, área de investigação, datas de publicação.

16. citation overview
é possível ver o número de citações por artigo e consultar indicadores como o h-index

17. Google Scholar
h t t p s : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l

18. Google Scholar
A c e d e r à p á g i n a
h t t p : / / s c h o l a r . g o o g l e . c o m / i n t l / e n / s c h o l a r / c i t a t i o n s . h t m l
C l i c a r e m “ g e t t i n g s t a r t e d w i t h G o o g l e s c h o l a r c i t a t i o n s ”
E n t r a r c o m o s r e s p e t i v o l o g i n e p a s s w o r d
P r e e n c h e r o s d a d o s d o p e r f i l e s e g u i r o s p a s s o s s e g u i n t e s
T o r n a r o p e r f i l p ú b l i c o .

19. Google Scholar Citations
permite aos autores a criação de um perfil público, com a recolha dos artigos de que é
autor e dados de citação correspondentes.
o próprio autor pode por exemplo excluir da lista referências que não correspondam,
identificando assim corretamente as suas publicações.

20. cited by
consulta das citações que determinado documento recebeu.
a metodologia de contagem de citações do Google Scholar inclui documentos
publicados na Web de uma diversidade de fontes, podendo estar incluídas bases de
dados ou plataformas com publicações não científicas.

21. REVISTAS CIENTÍFICAS E
INDICADORES

22. fator de impacto
criado por Eugene Garfield, fundador do ISI – Institute of Scientific Information, num artigo de
1955 publicado na revista Science.
inicialmente usado apenas para determinar que publicações incluir no Science Citation
Index (Web of Science). Tornou-se o indicador bibliométrico mais usado internacionalmente.

23. fator de impacto
medida de frequência com que o “artigo médio” de uma revista foi citado.
divisão do número de citações correntes
a artigos publicados nos últimos dois anos pelo número total de artigos publicados nesse
mesmo período.

24. fator de impacto
Consulta no Journal of Citation Reports (Clarivate Analytics)
http://jcr.incites.thomsonreuters.com/
edição 2016
atualizado todos os anos, em meados do ano civil
baseia-se nos dados de citação da Web of Science Core Collection (Clarivate Analytics)
http://isiknowledge.com/WOS

25. eigenfactor
Consulta no Journal of Citation Reports (Clarivate Analytics)
http://jcr.incites.thomsonreuters.com/
Baseia-se número de vezes que os artigos publicados numa revista nos cinco anos anteriores foram citados
no ano mais recente, levando também em consideração o prestígio da revista.
Não contabiliza as autocitações (mesma revista)
“References from one article in a journal to another article from the same journal are removed, so that
Eigenfactor Scores are not influenced by journal self-citation.” - http://www.eigenfactor.org/

26. SCImago Journal Rank
Indicator
Consulta no SCImago Journal Rank http://www.scimagojr.com/ e SCOPUS –
http://www.scopus.com
consiste numa medida de visibilidade das revistas científicas (dados a partir de
1996) - "journal prestige“
mede a “influência científica” média dos artigos de uma revista

27. SCImago Journal Rank
Indicator
baseia-se na ideia de que ‘all citations are not created equal’ - a área temática, qualidade
e reputação científica de uma revista têm um efeito direto nas citações que são feitas
expressa o número médio de citações “positivas” recebidas no ano selecionado pelos
artigos de uma dada revista. Limita o efeito das auto-citações a 33%:
“The Scimago Journal Rank (SJR) is based on the transfer of prestige from a journal to another
one; such prestige is tranfered through the references that a journal do to the rest of the
journals and to itself.”

28. https://www.sciencedirect.com/journal/bioorganic-chemistry

29. AMPLIAÇÃO DO CICLO DE
DIFUSÃO DO
CONHECIMENTO
CIENTÍFICO

30. as métricas baseadas em contagem de
citações são insuficientes para avaliar o
impacto de uma publicação no meio
académico

31. …a 1ª c itaç ão a um artigo pode levar anos
…artigos de relevânc ia para o avanç o do
c onhec imento podem nunc a vir a s er c itados
…a c ontagem de c itaç ões não tem em c onta o
impac to for a do c ir c uito c ientífic o e ac adémic o

32. PUBLICAÇÕES(ARTIGO)
RESULTADOS CIENTÍFICOS

33. RESULTADOS CIENTÍFICOS
D a t a s e t s
S o f t w a r e c i e n t í f i c o
L i v r o s e c a p í t u l o s d e l i v r o
P o s t e r s e a p r e s e n t a ç õ e s e m c o n f e r ê n c i a s
T e s e s d e m e s t r a d o e d o u t o r a m e n t o
P e r f o r m a n c e s ( t e a t r o , m ú s i c a e c i n e m a )
B l o g p o s t s
A u l a s e o u t r a s a t i v i d a d e s d o c e n t e s

34. n o v o s m e i o s d e a f e r i r o i m p a c t o d e a r t i g o s
a m p l i a ç ã o d o c i c l o d e d i f u s ã o d o c o n h e c i m e n t o c i e n t í f i c o
a c e s s o a b e r t o e r e p o s i t ó r i o s i n s t i t u c i o n a i s
necessidade de mudança

35. métricas
alternativas

36. alternativasAO USO EXCLUSIVO DAS CITAÇÕES
E nãoALTERNATIVAS ÀS CITAÇÕES
MÉTRICAS

37. IMPACTO
SOCIAL
IMPACTO
CIENTÍFICO
ACADÉMICO
Journal Impact Factor
Contagem de citações
Contagem de downloads e
visualizações, menções e referências
nas redes sociais, blogues,
gestores de bibliografia
MÉTRICAS TRADICIONAIS MÉTRICAS ALTERNATIVAS
(ALTMETRICS)

38. TEMPO REAL – PEMITEM A PERCEÇÃO DO IMPACTO EM DIAS
ABRANGE A DIVERSIDADE DE RESULTADOS CIENTÍFICOS
TEM EM CONTA OUTRAS AUDIÊNCIAS
(profissionais de várias áreas e público em geral)
métricas alternativasvantagens

39. altmetricsmanifesto
http://altmetrics.org/manifesto/

40. is the creation and study of new metrics based on
the Social Web for analyzing, and informing
scholarship.
J . P r i e m , D . T a r a b o r e l l i , P . G r o t h , C . N e y l o n ( 2 0 1 0 ) , A l t m e t r i c s : A m a n i f e s t o ,
( v . 1 . 0 ) , 2 6 O c t o b e r 2 0 1 0 . h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o

41. Work should correlate between altmetrics and existing measures, predict
citations from altmetrics, and compare altmetrics with expert evaluation.
Application designers should continue to build systems to display
altmetrics, develop methods to detect and repair gaming, and create
metrics for use and reuse of data. Ultimately, our tools should use the rich
semantic data from altmetrics to ask “how and why?” as well as “how
many?”
h t t p : / / a l t m e t r i c s . o r g / m a n i f e s t o

42. as métricas
alternativas realmente
refletem impacto?

43. conceito
these metrics are no longer alternative, but have become mainstream
these metrics are viewed as complementary rather than as an alternative
the more focused term “social media metrics” would seem more appropriate
and/or altmetrics are not clearly defined, and may mean different things to
different people
N I S O ’ s A l t m e t r i c s P r o j e c t - N I S O R P - 2 5 - 2 0 1 6
h t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s - p r o j e c t

44. NISOh t t p s : / / w w w . n i s o . o r g / p u b l i c a t i o n s / n i s o - r p - 2 5 - 2 0 1 6 - o u t p u t s - n i s o - a l t e r n a t i v e - a s s e s s m e n t - m e t r i c s -
p r o j e c t
NISO Alternative Assessment Metrics Project

45. DORA
https ://s fdora.org /
p r o m o t e r e a l c h a n g e i n r e s e a r c h a s s e s s m e n t
t h e d e v e l o p m e n t o f r o b u s t a n d t i m e - e f f i c i e n t w a y s o f e v a l u a t i n g
r e s e a r c h a n d r e s e a r c h e r s t h a t d o n o t r e l y o n j o u r n a l i m p a c t f a c t o r
P r o m o t e g o o d p r a c t i c e i n r e s e a r c h a s s e s s m e n t t h a t e m p h a s i z e
r e s e a r c h i t s e l f a n d n o t w h e r e i t i s p u b l i s h e d .
San Francisco Declaration on Research Assessment

46. Snowball Metrics
h t t p s : / / w w w . s n o w b a l l m e t r i c s . c o m /
v i s a a p a d r o n i z a ç ã o d e m é t r i c a s n a s i n s t i t u i ç õ e s p r o d u t o r a s o u a v a l i a d o r a s d e
C i ê n c i a
c o n j u n t o d e m e t o d o l o g i a s , t e s t a d a s e c o n s e n s u a l i z a d a s e n t r e o s p a r c e i r o s ,
a p r e s e n t a d a s s o b a f o r m a d e “ r e c e i t a s ”
o p r i m e i r o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s f i c o u d i s p o n í v e l e m n o v e m b r o d e
2 0 1 2 e i n c l u i 1 0 r e c e i t a s . A v e r s ã o a t u a l d o l i v r o d e r e c e i t a s S n o w b a l l M e t r i c s
( s e g u n d a e d i ç ã o ) , é d e 2 0 1 4 e i n c l u i 2 4 r e c e i t a s .

47. Snowball Metrics

48. C a n a d i a n A s s o c i a t i o n o f R e s e a r c h L i b r a r i e s , A l t m e t r i c s i n C o n t e x t
h t t p : / / w w w . c a r l - a b r c . c a / d o c / C A R L 2 0 1 3 - a l t m e t r i c s - E N - F A . p d f

49. ferramentas

50. Altmetric.com
ImpactStory
Plum Analytics
PLoS

51. altmetric.comh t t p s : / / w w w . a l t m e t r i c . c o m /

52. altmetric.com
s o l u ç ã o c o m e r c i a l
a v a l i a ç ã o q u a n t i t a t i v a d o i m p a c t o d e u m a r t i g o n a W e b b a s e a d o n a
a t e n ç ã o q u e u m a r t i g o r e c e b e u
r a s t r e i a s i t e s , b l o g s , r e d e s s o c i a i s , j o r n a i s e r e v i s t a s
a p o n t u a ç ã o c o n s i s t e n u m a m e d i d a q u a n t i t a t i v a q u e d e r i v a d e 3
f a t o r e s : v o l u m e d e m e n ç õ e s , c a t e g o r i a d a f o n t e d e s s a s m e n ç õ e s e
a u t o r e s

53. altmetric.com
exemplo de integração do serviço
altmetric numa página web de uma
revista
https://www.nature.com/articles/s41467-018-03808-6/metrics

54. plum analyticsh t t p : / / w w w . p l u m a n a l y t i c s . c o m

55. plum analytics
d i s p o n i b i l i z a d a p e l a E B S C O I n f o r m a t i o n S e r v i c e s
m é t r i c a s p a r a m a i s d e d u a s d e z e n a s d e f o n t e s d e i n f o r m a ç ã o , i n c l u i n d o
a r t i g o s , c a p í t u l o s d e l i v r o s , c o n j u n t o s d e d a d o s , a p r e s e n t a ç õ e s e c ó d i g o
f o r n e c e r e l a t ó r i o s p e r s o n a l i z a d o s d e s t i n a d o s a q u a n t i f i c a r a
p r o d u t i v i d a d e d e p a r t a m e n t a l , a p o i a r c a n d i d a t u r a s a f i n a n c i a d o r e s …
é c o m e r c i a l i z a d o p a r a a s u n i v e r s i d a d e s e o u t r a s i n s t i t u i ç õ e s d e
i n v e s t i g a ç ã o
Pl u m X Me t rics – a p l i c a ç ã o i n t e g r a d a e m b a s e s d e d a d o s e p o r t a i s
d e e d i t o r e s , q u e f o r n e c e i n f o r m a ç ã o d o i m p a c t o e v i s i b i l i d a d e d e u m
a r t i g o

56. PlumX Metrics
exemplo de integração do serviço plum num registo
de uma base de dados
https://www.scopus.com/record/pubmetrics.uri?eid=2-s2.0-84907965045&origin=recordpage

57. impactStory profiles
h t t p : / / i m p a c t s t o r y . o r g
h t t p s : / / p r o f i l e s . i m p a c t s t o r y . o r g /

58. impactStory
a p l i c a ç ã o w e b q u e v i s a f a c i l i t a r a m o n i t o r i z a ç ã o d o i m p a c t o d e
u m a a m p l a g a m a d e r e c u r s o s d e i n f o r m a ç ã o , t a i s c o m o , a r t i g o s ,
d a t a s e t s , s l i d e s , c ó d i g o s d e s o f t w a r e
e s t e s i s t e m a a g r e g a d a d o s d e v á r i a s f o n t e s d e i m p a c t o –
M e n d e l e y , G i t H u b , T w i t t e r , S l i d e s h a r e , G o o g l e s c h o l a r , F i g s h a r e …
e x i b i n d o n u m ú n i c o r e l a t ó r i o p o r a u t o r

59. impactstoryprofiles
exemplo de relatório
https://profiles.impactstory.org/u/0000-0001-
6728-7745

60. PLoS
article-level metrics
h t t p s : / / w w w . p l o s . o r g / a r t i c l e - l e v e l - m e t r i c s /

61. PLoS: article-level metrics
D I S P O N Í V E L N A S R E V I S T A S D A P L o S D E S D E 2 0 0 9
m e d i ç ã o d o i m p a c t o a o n í v e l d o a r t i g o , a g r e g a i n f o r m a ç ã o d e
d i f e r e n t e s f o n t e s , q u e i n c o r p o r a m n o v a s f o n t e s p a r a m e d i r o i m p a c t o d e
r e s u l t a d o s c i e n t í f i c o s .

63. não existe uma solução perfeita, os vários
indicadores podem e devem ser usados de
forma complementar
d e v e - s e combinar e s t a s n o v a s f e r r a m e n t a s c o m a s m a i s
t r a d i c i o n a i s , a f i m d e o b t e r informações analíticas significativas e
válidas

64. é importante uma atualização constante
sobre este assunto por parte dos
investigadores, instituições de I&D e
entidades financiadoras da investigação

65. obrigado
bibliotecas UA
http://www.ua.pt/sbidm/biblioteca
sbidm-referencia@ua.pt
2018 | workshops das bibliotecas UA