Aula elaborada a convite para o Curso de Indicadores de Ciência, Tecnologia e Inovações – CNPq - 2018

1. Roberto de Pinho
4-set-18 1
robertodepinho@gmail.com
ascoisas.com/data

2. 4-set-18 2
01

3.  Esforço?
 Volume?
O que significa
volume?
m3 de ciência?
 Informação?
 Conhecimento?
 Visibilidade?
 Relevância?
 Impacto?
4-set-18 3

4. 4-set-18 4
02

5. 4-set-18 5
03

6.  “Citations are the formal, explicit linkages between
papers that have particular points in common. A
citation index is built around these linkages. It lists
publications that have been cited and identifies the
sources of the citations. Anyone conducting a
literature search can find from one to dozens of
additional papers on a subject just by knowing one
that has been cited. And every paper that is found
provides a list of new citations with which to continue
the search.
The simplicity of citation indexing is one of its main
strengths.” Garfield, 1979
4-set-18 6

7.  Duas partes originais:
 Source Author Index
 Citation Index
 HojeWeb of Science*
 1972: Impact Factor
 1975: Journal Citation Index &
SCI Journal Citation Report
 ...
4-set-18 7
* now maintained by Clarivate
Analytics (previously the
Intellectual Property and
Science business ofThomson
Reuters)
Clarivate Analytics is owned by
private-equity firms Onex
Corporation (“Onex”) and
Baring Private EquityAsia
(“Baring Asia”)

8. GOOGLE SCHOLAR HTTPS://SCHOLAR.GOOGLE.COM.BR/
SCOPUS
4-set-18 8
WEB OF SCIENCE

9. 4-set-18 9
08
09

10. 4-set-18 10
Autor(a)
Documento
Periódico
Afiliação
País Citação

11. 4-set-18 11
Autor(a)
Documento
Periódico
Afiliação
País Citação
Data
Área
Data

12. 4-set-18 12
04
05
06
Val, Argentina
Zeca, Brasil
Joana, Brasil

13.  Zeca: 1/3 de Artigo ou 1 Artigo?
 Val: 1 + 5/6 de Artigos ou 3 Artigos?
 Joana: 5/6 de Artigo ou 2 Artigos?
4-set-18 13

14.  Zeca: 1/3 de Artigo ou 1 Artigo?
 Val: 1 + 5/6 de Artigos ou 3 Artigos?
 Joana: 5/6 de Artigo ou 2 Artigos?
4-set-18 14

15.  Zeca: 1/3 de Artigo ou 1 Artigo?
 Val: 1 + 5/6 de Artigos ou 3 Artigos?
 Joana: 5/6 de Artigo ou 2 Artigos?
 Brasil: 3 (1+2) Artigos ou 2 Artigos?
 Argentina: 3 Artigos
4-set-18 15

16.  Zeca: 1/3 de Artigo ou 1 Artigo?
 Val: 1 + 5/6 de Artigos ou 3 Artigos?
 Joana: 5/6 de Artigo ou 2 Artigos?
 Brasil: 3 (1+2) Artigos ou 2 Artigos?
 Argentina: 3 Artigos
 Mundo: 5 Artigos ou 3 Artigos?
4-set-18 16

17.  Zeca: 1/3 de Artigo ou 1 Artigo?
 Val: 1 + 5/6 de Artigos ou 3 Artigos?
 Joana: 5/6 de Artigo ou 2 Artigos?
 Brasil: 3 (1+2) Artigos ou 2 Artigos?
 Argentina: 3 Artigos
 Mundo: 5 Artigos ou 3 Artigos?
4-set-18 17
whole
counts by
unit of
analysis

18. Quais artigos?
Quais documentos?
Quais periódicos?
Quais bases?
4-set-18 1807

19. 4-set-18 19

20.  Documents – Documentos publicados no ano
 A extração é sobre uma base “viva”, portando o
número sofre alteração;
 Citable Documents – Documentos passíveis de
citação:
 Citações – Citações recebidas pelos documentos
publicados no ano
 É naturalmente menor para anos recentes
 Self-Citations – Citações recebidas de
documentos da mesma unidade de análise
4-set-18 20

21.  Citations per Document
 𝐶𝑖𝑡/𝐷𝑜𝑐
 O padrão de citações varia conforme área do
conhecimento. Usar com cuidado.
 H index
 Pesquisador(a) tem índice h de valor n se n de seus
trabalhos tem ao menos n citações
 ℎ = 𝑚𝑎𝑥𝑖 𝑚𝑖𝑛 𝑐𝑖𝑡 𝑖 , 𝑖 ,
onde cit é a lista em ordem
decrescente de número de citações
 Introduz distorções
 Forte correlação com total de citações
- desnecessário
 Não use4-set-18 21
10
11

22.  Fontes utilizadas pela COIND/MCTIC:
 Censo do Diretório dos grupos de pesquisa /
Lattes;
▪ Restrito à produção brasileira, auto declarada;
▪ Útil para análises regionais.
 Web Of Science;
▪ Dados até 2009 – requer compra.
 Scopus (Scimago)
4-set-18 22

23. 4-set-18 23+ produção técnica, orientações
13

24. 4-set-18 24
13

25. 4-set-18 25
13

26. 4-set-18 26
13

27. 4-set-18 27
13
13

28. 4-set-18 2813

29.  Brasil, 1996:
 21ª posição em
produção científica
 25ª posição em total de
citações
 Brasil, 2016:
 14ª posição em
produção científica
 16ª posição em total de
citações
4 de setembro de 2018 29
Fonte: SCImago. (2007). SCImago Journal & Country Rank.
Acesso em 19/07/2017, http://www.scimagojr.com. Sobre
tabelas elaboradas pela COIND/MCTIC
0.00
0.50
1.00
1.50
2.00
2.50
3.00
-
10,000
20,000
30,000
40,000
50,000
60,000
70,000
1995 2000 2005 2010 2015
Número de documentos passíveis de citação brasileiros
publicados em periódicos científicos indexados pela Scopus
Documentos - % do Brasil em relação ao Mundo
Citações - % do Brasil em relação ao Mundo

30.  A produção científica
brasileira representa da
produção mundial:
 13,1% em Odontologia
(2ª)
 11,4% emVeterinária (2ª)
 6,8% em Ciência Agrárias
e Biológicas (3ª)
 As menores
participações são em
Ciência dos Materiais;
Artes e Humanidade; e
Economia, Econometria
e Finanças*.
4 de setembro de 2018 30
Fonte: SCImago. (2007). SCImago Journal & Country Rank.
Acesso em 11/09/2017, http://www.scimagojr.com.

31.  Intensidade relativa da produção científica de
uma região em uma área do conhecimento
em relação ao padrão mundial
SI =
𝐷𝑜𝑐á𝑟𝑒𝑎,𝑝𝑎í𝑠
𝐷𝑜𝑐 𝑝𝑎í𝑠
𝐷𝑜𝑐á𝑟𝑒𝑎
𝐷𝑜𝑐 𝑚𝑢𝑛𝑑𝑜
4-set-18 31

32.  Citações pela média de citações na área do
conhecimento
 𝐴𝑅𝐶 =
𝑖∈ á𝑟𝑒𝑎,𝑝𝑎í𝑠
𝑛 𝐶𝑖𝑡 𝑖
𝑘∈ á𝑟𝑒𝑎
𝑚 𝐶𝑖𝑡 𝑘
𝑚
𝑛
4-set-18 32

33. 4-set-18 33
16

34.  Para “um dado ano o FI
de um periódico é
calculado como o
número médio de
citações dos artigos
que foram publicados
durante o biênio
anterior. “
 𝐹𝐼 =
𝐶𝑖𝑡 𝐷𝑜𝑐 𝑎𝑛𝑜−1+𝐶𝑖𝑡 𝐷𝑜𝑐 𝑎𝑛𝑜−2
𝐷𝑜𝑐 𝑎𝑛𝑜−1+𝐷𝑜𝑐 𝑎𝑛𝑜−2
4-set-18 34
12
Impacto de um periódico não reflete
diretamente o impacto de seus artigos
Qualis!!!

35.  “CiteScore 2016 counts the citations received
in 2016 to documents published in 2013, 2014
or 2015, and divides this by the number of
documents published in 2013, 2014 and
2015.”
4-set-18 35
17

36.  InternationalCollaboration
 Collaboration Index
 Outputs inTop Percentiles
4-set-18 36

37.  Variação de cobertura por Área do
Conhecimento
 Variação de Cobertura de eventos
(Congressos etc)
 Cobertura por língua
4-set-18 37

38. Web of
Science
Scopus
Google
Scholar
 Microsoft
Academic
 Digital Science
Dimensions
 Scielo
 Pubmed
 ORCID
4-set-18 38

39.  90 milhões+ de registros
 20 mil + periódicos
 90 mil livros
 Journal acceptance rate:
 10-12%
 “Each journal is rigorously evaluated prior to
selection. Once selected, all content is indexed
cover to cover”[2]
4-set-18 39

40.  CoberturaTemporal
 Science Citation Index Expanded - 1900
 Social Sciences Citation Index - 1900
 Arts & Humanities Citation Index – 1975
 Proceedings – 1990
 Livros - 2005
 Para indicadores:
 “Articles, Notes, Proceedings papers and reviews”
4-set-18 40

41.  ~70 milhões de registros
 22 mil + periódicos
 150 mil livros
 CoberturaTemporal:
 Para Bibliometria: 1970
4-set-18 41

42.  160 milhões (estimado)
 “journal and conference papers, theses and
dissertations, academic books, pre-prints,
abstracts, technical reports and other
scholarly literature … also includes court
opinions and patents.” [3]
 Índice de documentos, não é de fontes
4-set-18 42

43. 4-set-18 43
18

44. 4-set-18 44
18

45.  [Ab]uso generalizado dos indicadores:
Expectativa de vida é uma
ferramenta importante para avaliar
a saúde de países, mas se sua idade
for maior que a expectativa de vida
do seu país, não que dizer que você
esteja morto.
4-set-18 45

46.  Baixo incentivo a
 Peer-review
 Replicação
 Publicação de resultados negativos
 Outras modalidade de difus’ao do conhecimento
 Cash-for-Publication Policy
 Manipulação de indicadores
 Citação endogâmica
 Fracionamento de pesquisa
 Fraude
4-set-18 46

47. General Recommendation
1. Do not use journal-based metrics, such as Journal Impact Factors, as a
surrogate measure of the quality of individual research articles, to assess an
individual scientist’s contributions, or in hiring, promotion, or funding decisions.
For funding agencies
2. Be explicit about the criteria used in evaluating the scientific productivity of
grant applicants and clearly highlight, especially for early-stage investigators,
that the scientific content of a paper is much more important than publication
metrics or the identity of the journal in which it was published.
3. For the purposes of research assessment, consider the value and impact of all
research outputs (including datasets and software) in addition to research
publications, and consider a broad range of impact measures including qualitative
indicators of research impact, such as influence on policy and practice.
4-set-18 47
ESRC, BBSRC, NERC, MRC,
AHRC, EPSRC, STFC - UK

48.  1) Quantitative
evaluation should
support qualitative,
expert assessment
 2) Measure
performance against
the research missions
of the institution,
group or researcher
 3) Protect excellence in
locally relevant
research
 4) Keep data collection
and analytical
processes open,
transparent and simple
 5) Allow those
evaluated to verify
data and analysis
4-set-18 48

49.  6) Account for
variation by field in
publication and
citation practices.
 7) Base assessment of
individual researchers
on a qualitative
judgement of their
portfolio.
 8) Avoid misplaced
concreteness and false
precision.
 9) Recognize the
systemic effects of
assessment and
indicators.
 10) Scrutinize
indicators regularly and
update them.
4-set-18 49

50. 4-set-18
 Viewed - HTML views and PDF downloads
 Discussed - journal comments, science blogs,Wikipedia,
Twitter, Facebook and other social media
 Saved - Mendeley, CiteULike and other social
bookmarks
50
14
 Cited - citations in the
scholarly literature, tracked
byWeb of Science, Scopus,
CrossRef and others
 Recommended - for
example used by
F1000Prime

51. 15

52.  ViaVerde
 Publicação em revistas
tradicionais e arquivo de
cópia em repositórios
institucionais de acesso
aberto
 Via Dourada
 Publicação em revistas
de acesso aberto
 Usualmente requerem
Article Processing
Charges (APC)

53.  Diferentes padrões de citação para acesso
fechado e acesso aberto
 Necessidade de reconhecer outras formas de
contribuição – Ex. Open Science Data, Code
 Predatory journals / Predatory open-access
publishing
 Crise do modelo de publicação científica
 Aumento do custo de assinaturas
 Article Processing Charges
4-set-18 53

54.  Initiative for Open Citations
 ORCID
 Preprints
 F1000Prime – Post Publication Peer Review
4-set-18 54

55. 55

56.  Baseado na técnica de burst detection de
Kleinberg sobre títulos de artigos /
Atividades de Patentes
56

57.  https://en.wikipedia.org/wiki/Web_of_Science
 https://pt.wikipedia.org/wiki/Fator_de_impacto
 Colledge, L. (2017). Snowball Metrics Recipe Book Edition 3.
2017.
 AOSTI (African Observatory of Science,Technology and
Innovation), Assessment of scientific production in the
African Union, 2005–2010, 2015
 Garfield, Garfield, Eugene. Citation indexing: Its
theory and application in science, technology, and
humanities. NewYork:Wiley, 1979, P. 1
 Callaway, Ewen “Beat it, impact factor! Publishing
elite turns against controversial metric”, Nature 535,
210–211 (14 July 2016) doi:10.1038/nature.2016.20224
4-set-18 57

58.  Roberto de Pinho “Nota informativa nº 02/2014 –
CGIN/ASCAV/SEXEC/MCTI - Especialização e visibilidade da ciência
brasileira: uma análise da produção científica agregada brasileira no
período de 1996 a 2012”, 2014
 Appelt, S., van Beuzekom, B., Galindo-Rueda, F., & de Pinho, R. (2015).
Which factors influence the international mobility of research scientists?.
Global Mobility of Research Scientists:The Economics ofWho Goes
Where andWhy, 177.
 Dernis, H., Squicciarini, M., & de Pinho, R. (2016). Detecting the
emergence of technologies and the evolution and co-development
trajectories in science (DETECTS): a ‘burst’analysis-based approach.The
Journal ofTechnologyTransfer, 41(5), 930-960.
 OECD Science,Technology and Industry (STI) Scoreboard 2013 Capítulo:
EmergingTechnologies http://www.oecd.org/sti/scoreboard-2013.htm
 Is the staggeringly profitable business of scientific publishing bad for
science? https://www.theguardian.com/science/2017/jun/27/profitable-
business-scientific-publishing-bad-for-science
4-set-18 58

59.  [1] https://en.wikipedia.org/wiki/Altmetrics
 Harzing, A.W.; Alakangas, S. (2016) Google Scholar,
Scopus and theWeb of Science: A longitudinal and cross-
disciplinary comparison, Scientometrics, vol. 106, no. 2,
pp. 787-804
 [2]
https://clarivate.libguides.com/webofscienceplatform/cov
erage
 https://www.elsevier.com/solutions/scopus/content
 [3]
https://scholar.google.com/intl/us/scholar/help.html#cove
rage
 https://sfdora.org/read/
 Leiden Manifesto doi:10.1038/520429a
4-set-18 59

60.  01 -Aberdeen Proving Ground "ARL celebrates NationalChemistryWeek withAPG youths”
https://farm3.staticflickr.com/2694/4502758332_6edfd09ea4.jpg“
 02 - Justin Baeder “DSC_1607” https://flic.kr/p/96VdSv
 03 - Concept of Citation Indexing: A Unique and InnovativeTool for Navigating the Research Literature speech presented
at Far Eastern State University Vladivostok - September 4, 1997 by EUGENEGARFIELD
 04 - Larry Lamsa “Researcher” - https://flic.kr/p/LSsPii
 05- NASA GoddardSpace Flight Center “NASA's Ship-Aircraft Bio-Optical Research (SABOR)” https://flic.kr/p/oC1tDK
 06 - USArmy Africa “Tropical Medicine Course 2010” https://flic.kr/p/8GSosi
 07 - Scott McLeod “Question Mark Cookies 3” https://flic.kr/p/bTQwfx editado para esta apresentação
 08 - Chen, C. (2004) Searching for intellectual turning points: Progressive Knowledge DomainVisualization. Proceedings of
the NationalAcademy of Sciences of the United States of America (PNAS), 101 (Suppl. 1), 5303-5310.
 09 - Skupin,André. 2005. InTerms of Geography.Courtesy of André Skupin, San Diego State University, San Diego,CA. In
“1st Iteration (2005):The Power of Maps,” Places & Spaces: Mapping Science, edited by Katy Börner and Deborah
MacPherson
 10 - Smabs Sputzer “MinedYour Step” https://flic.kr/p/dRWrAa
 11 - De en:user:Ael 2, vectorized by pl:user:Vulpecula - vectorized version of File:H-index_plot.PNG, Dominio público,
https://commons.wikimedia.org/w/index.php?curid=8716387
 12 - Callaway, Ewen “Beat it, impact factor! Publishing elite turns against controversial metric”, Nature 535, 210–211 (14
July 2016) doi:10.1038/nature.2016.20224
 13 – Coordenação de Indicadores – COIND/MCTIC
 14 - http://altmetrics.org/manifesto/
 15- https://www.fosteropenscience.eu/content/what-open-science-introduction
 16 -Roberto de Pinho “Nota informativa nº 02/2014 – CGIN/ASCAV/SEXEC/MCTI - Especialização e visibilidade da ciência
brasileira: uma análise da produção científica agregada brasileira no período de 1996 a 2012”, 2014
4-set-18 60

61.  17 - https://journalmetrics.scopus.com/
 18 - Harzing,A.W.; Alakangas, S. (2016) Google Scholar, Scopus and theWeb of Science:A longitudinal and cross-
disciplinary comparison, Scientometrics, vol. 106, no. 2, pp. 787-804
4-set-18 61

62. Roberto de Pinho
4-set-18 62
robertodepinho@gmail.com
ascoisas.com/data