A V Reunião Anual do SciELO de 2015 terá como agenda principal retomar e avançar a análise e discussão sobre a evolução do desempenho e aperfeiçoamento dos periódicos à luz da implantação dos critérios de indexação do SciELO.
Os novos critérios de indexação do SciELO cumpriram um ano em outubro de 2015 e projetam avanços importantes nos próximos anos rumo à profissionalização, internacionalização e sustentabilidade financeira dos periódicos individualmente e no contexto das áreas temáticas.
A reunião está dirigida para editores e membros das equipes editoriais dos periódicos do Brasil, pesquisadores, bibliotecários, profissionais de informação, autoridades na gestão da ciência e comunicação científica e demais interessados.
REVISTA DE BIOLOGIA E CIÊNCIAS DA TERRA ISSN 1519-5228 - Artigo_Bioterra_V24_...
Impacto dos periódicos SciELO na produção científica brasileira
1. Rogério Mugnaini
Departamento de Informação e Cultura
Escola de Comunicações e Artes
Universidade de São Paulo
A evolução do impacto dos periódicos SciELO
na produção científica nacional
Os critérios Qualis reconhecem este impacto?
O que o Fator de impacto não revela sobre a
contribuição dos periódicos do Brasil?
2.
3. Escopo da pesquisa
Temático
• Comunicação científica
–Política Científica
• Avaliação de produção científica
Metodológico
– Análise Qualitativa: critérios de classificação de
periódicos científicos
– Análise Quantitativa: indicadores bibliométricos
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
4. Período: 15 anos de avaliação, desde que se
adotaram critérios mais objetivos
Triênio 1: 1998-2000
Triênio 2: 2001-2003
Triênio 3: 2004-2006
Triênio 4: 2007-2009
Triênio 5: 2010-2012
Avaliação trienal da Capes (início em 1976)
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
5. Análise dos critérios de avaliação
da produção científica nacional
Critérios de avaliação do Qualis
Periódicos
– Informação qualitativa, derivada das decisões dos comitês de
área;
– Rica fonte de informação, fruto de consenso entre os
pesquisadores, que oferece os aspectos contextuais do
processo de comunicação científica de cada área.
– Análise documental dos documentos de área propostos pelas
comissões das 46 Áreas de Avaliação do Qualis (5 triênios, até
2012).
1ª Fase da pesquisa
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
6. Grande Área Área de Avaliação A1 A2 B1
CIENCIAS BIOLOGICAS I
CIENCIAS BIOLOGICAS II
CIENCIAS BIOLOGICAS III
ENGENHARIAS I
ENGENHARIAS II
ENGENHARIAS III
ENGENHARIAS IV
ASTRONOMIA / FISICA
CIENCIA DA COMPUTACAO
MATEMATICA / PROBAB. E ESTATISTICA
QUIMICA
ENFERMAGEM
FARMACIA
MEDICINA I
MEDICINA II
MEDICINA III
ODONTOLOGIA
SAUDE COLETIVA
CIENCIAS DE ALIMENTOS
MEDICINA VETERINARIA
ZOOTECNIA
BIODIVERSIDADE
BIOTECNOLOGIA
MATERIAIS
BIOLOGICAS
(100%)
Indicador
ENGENHARIAS
(100%)
EXATAS E DA TERRA
(80%)
SAUDE
(78%)
AGRARIAS
(75%)
MULTIDISCIPLINAR
(50%)
Áreas com perfil de avaliação baseado estritamente em indicadores
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Tipos de critérios do Qualis Periódicos
7. Grande Área Área de Avaliação A1 A2 B1
EDUCACAO FISICA
NUTRICAO
ECONOMIA
ADM CIENCIAS CONTABEIS E TURISMO
AGRARIAS (25%) CIENCIAS AGRARIAS I Indic. / Caracts. Perióds.
MULTIDISCIPLINAR (17%) INTERDISCIPLINAR Indic. / Index. / Caracts. Perióds.
MULTIDISCIPLINAR (17%) CIENCIAS AMBIENTAIS
EXATAS E DA TERRA (20%) GEOCIENCIAS Indicador Indic. / Caracts. Perióds.
GEOGRAFIA Indic. / Caracts. Perióds. Indicador
ANTROPOLOGIA / ARQUEOLOGIA Index. / Caracts. Perióds.
CIENCIA POLIT. E RELS. INTERNACIONAIS Indic. / Index. / Caracts. Perióds.
MULTIDISCIPLINAR (17%) ENSINO DE CIENCIAS E MATEMATICA
SOCIAIS APLICADAS (14%) CIENCIAS SOCIAIS APLICADAS I Index. Index. / Caracts. Perióds.
EDUCACAO
FILOSOFIA / TEOLOGIA
HISTORIA
SOCIOLOGIA
LINGUIST. LETRAS E ARTES (50%) LETRAS / LINGUISTICA
PLANEJ. URBANO E REG. / DEMOGRAFIA
SERVICO SOCIAL
HUMANAS (12%) PSICOLOGIA Index.
SOCIAIS APLICADAS (14%) DIREITO Caracts. Perióds.
LINGUISTICA LETRAS E ARTES (50%) ARTES / MUSICA
SOCIAIS APLICADAS (14%) ARQUITETURA E URBANISMO
HUMANAS (50%)
Index. / Caracts. Perióds.
SOCIAIS APLICADAS (29%)
Index. / Caracts. Perióds.
Caracts. Perióds.
Indic. / Caracts. Perióds.
HUMANAS (38%)
Indic. / Index. / Caracts. Perióds. Index. / Caracts. Perióds.
Index.
Index. / Caracts. Perióds.
SAUDE (22%)
Indicador
Indic. / Index.
SOCIAIS APLICADAS (29%)
Indic. / Index.
Áreas com perfis de avaliação diversificados
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Tipos de critérios do Qualis Periódicos
9. Distribuição de periódicos segundo bases de dados, quartil do Fator de
Impacto JCR, em 3 atualizações da lista Qualis de todas as áreas.
Ano e Quartil JCR - SciELO-BR SciELO-ORG Total geral
2007 12.249 277 295 12.821
- 7.423 248 259 7.930
JCR-1Q 1.275 1 1.276
JCR-2Q 1.335 4 2 1.341
JCR-3Q 1.233 9 8 1.250
JCR-4Q 983 16 25 1.024
2008 15.891 294 405 16.590
- 10.447 265 361 11.073
JCR-1Q 1.435 1 1.436
JCR-2Q 1.466 4 2 1.472
JCR-3Q 1.398 10 10 1.418
JCR-4Q 1.145 15 31 1.191
2010 20.471 303 512 21.286
- 13.912 221 423 14.556
JCR-1Q 1.753 1 1.754
JCR-2Q 1.863 9 2 1.874
JCR-3Q 1.690 21 14 1.725
JCR-4Q 1.253 52 72 1.377
Distribuição dos periódicos classificados no Qualis
2007, 2008 e 2010
10. Distribuição de periódicos não-SciELO segundo número de Quartil do Fator de
impacto JCR e melhor estrato de classificação - atualização Qualis 2010.
A1 A2 B1 B2 B3 B4 B5 C
1 7,8% 8,6% 12,9% 10,5% 11,0% 12,1% 18,6% 18,6% 100,0% 12.784
2 18,7% 13,9% 18,3% 9,0% 10,0% 11,6% 13,4% 5,1% 100,0% 5.906
3 19,7% 14,7% 14,8% 11,3% 13,4% 15,3% 9,9% 0,8% 100,0% 1.781
Total geral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471
A1 A2 B1 B2 B3 B4 B5 C
JCR-1Q 73,4% 17,7% 6,4% 1,1% 0,3% 0,3% 0,1% 0,7% 100,0% 1.753
JCR-2Q 32,5% 34,6% 25,1% 4,4% 1,4% 1,1% 0,2% 0,8% 100,0% 1.863
JCR-3Q 10,4% 23,6% 45,0% 14,1% 3,5% 1,5% 0,7% 1,2% 100,0% 1.690
JCR-4Q 3,8% 13,2% 37,2% 23,9% 12,5% 3,9% 3,8% 1,8% 100,0% 1.253
- 2,4% 4,7% 8,6% 10,3% 14,3% 17,3% 23,6% 18,9% 100,0% 13.912
Total geral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471
N
N
Colégios
Total
Quartil do Fator
de Impacto
Melhor estrato de classificação
Total
Distribuição dos periódicos não-SciELO classificados no Qualis
2010
11. Avaliação de revistas utilizadas pela
comunidade científica nacional
Avaliação das revistas segundo critérios
•Interno
– Zonas de Bradford de produção científica (artigos)
– Zonas de Bradford de consumo de informação
(referências bibliográficas/citações)
•Externo
– Quartíl do Fator de Impacto – JCR
2ª Fase da pesquisa2ª Fase da pesquisa
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
12. Os critérios de avaliação - interno
Zonas de Bradford:
Produção: títulos onde publicam os brasileiros e
Consumo: títulos consumidos (citados) pelos brasileiros
13. Fontes de dados
Internacionais (Thomson Reuters)
Web of Science (WoS),
Journal Citation Reports (JCR),
Essential Science Indicators (ESI)
Nacional
SciELO ORG
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
14. Artigos e respectivas referências bibliográficas
dos brasileiros (WoS + SciELO) 1998-2012)
Produção nacional
Artigos :
400 mil
Consumo nacional
Referências bibliográficas:
10,7 milhões
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
15. Introdução: Aspectos metodológicos
Áreas temáticas
Cerca de 250 áres da Web of Science são agrupadas segundo
áreas do Essential Science Indicators (22) + Ciências Humanas
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
17. Zonas (1 e 2) de Consumo: área Multidisciplinar
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Journal ISSN Region Index T1_C T2_C T3_C T4_C T5_C Freq. Citações (T5)
NATURE 0028-0836 0 WoS 1 1 1 1 1 21.518
SCIENCE 0036-8075 0 WoS 2 2 2 2 2 19.227
P NATL ACAD SCI USA 0027-8424 0 WoS 2 2 2 2 2 18.816
AN. ACAD. BRAS. CIENC. 0001-3765 2 SciELO/WoS 3 3 3 3 3 2.313
J R SOC INTERFACE 1742-5689 0 WoS - - 3 3 3 512
CURR SCI INDIA 0011-3891 0 WoS 3 3 3 3 3 448
AM SCI 0003-0996 0 Nao indexada 3 3 3 3 3 114
S. AFR. J. SCI. 0038-2353 0 SciELO/WoS 3 3 3 3 3 113
CHINESE SCI BULL 1001-6538 0 WoS 3 3 3 3 3 106
J SCI IND RES INDIA 0022-4456 0 WoS 3 3 3 3 3 90
ADV COMPLEX SYST 0219-5259 0 WoS - - 3 3 3 23
B LAT AM RES 0261-3050 0 Nao indexada 3 3 3 3 3 21
ANN SCI 0003-3790 0 WoS 3 3 3 3 3 13
TEXT TALK 1860-7330 0 Nao indexada - - - 3 3 12
NOTES REC ROY SOC 0035-9149 0 WoS - 3 3 3 3 8
INTERDISCIPL SCI REV 0308-0188 0 WoS 3 3 3 3 3 6
P EST ACAD SCI 1736-6046 0 WoS - - - - 3 4
ADV SCI LETT 1936-6612 0 SciELO/WoS - - - - 3 2
NATURWISSENSCHAFTEN 0028-1042 0 WoS - - - - 3 1
NAT COMMUN 2041-1723 0 WoS - - - - 3 1
18. Zonas (1 e 2) de Consumo: Ciências Agrárias
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
PESQ. AGROPEC. BRAS. Brasil SciELO/WoS 1 1 1 1 1 S 1 1 1 1 1 9506 S
J AGR FOOD CHEM Outros WoS 3 3 3 3 3 S 2 1 1 1 1 8735 U1
FOOD CHEM Outros WoS 3 3 3 3 3 S 3 2 2 1 1 6514 U2
CIENC. RURAL Brasil SciELO/WoS 2 1 1 1 1 U1 3 2 2 1 1 5672 U2
J DAIRY SCI Outros WoS 3 3 3 3 3 S 1 1 1 1 1 5208 S
J NUTR Outros WoS 3 3 3 3 3 S 2 1 1 1 1 4342 U1
CIENC. AGROTEC. Brasil SciELO/WoS - 2 2 1 1 U1* 3 3 3 2 2 4234 U1
J FOOD ENG Outros WoS 3 3 3 3 3 S 3 3 2 2 2 3475 U1
SCI. AGRIC. (PIRACICABA, BRAZ.) Brasil SciELO/WoS 2 2 2 2 2 S 3 2 2 2 2 3301 U1
CROP SCI Outros WoS 3 3 3 3 3 S 1 1 1 2 2 2941 D1
J FOOD SCI Outros WoS 3 3 3 3 3 S 1 2 1 2 2 2695 O
BRAGANTIA Brasil SciELO/WoS 3 3 2 2 2 U1 2 2 2 2 2 2612 S
INT J FOOD MICROBIOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2305 U1
BRIT J NUTR Outros WoS 3 3 3 3 3 S 2 2 2 2 2 2219 S
FOOD CHEM TOXICOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2018 U1
FOOD SCI. TECHNOL (CAMPINAS) Brasil SciELO/WoS 2 2 2 2 1 U1 3 3 3 2 2 1960 U1
SOIL TILL RES Outros WoS 3 3 3 3 3 S 3 3 2 2 2 1947 U1
GEODERMA Outros WoS 3 3 3 3 3 S 3 2 2 2 2 1865 U1
MEAT SCI Outros WoS 3 3 3 3 3 S 3 3 2 3 2 1794 O
J AM OIL CHEMSOC Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1738 S
REV. NUTR. Brasil SciELO/WoS 3 3 3 2 2 U1 3 3 3 2 2 1700 U1
ENG. AGRIC. Brasil SciELO - - 2 2 2 S* 3 3 3 3 2 1605 U1
AGRON J Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1558 S
FOOD RES INT Outros WoS 3 3 3 3 3 S 3 3 3 3 2 1480 U1
T1_C T2_C T3_C T4_C T5_C Cit_5
Perfil
PROD
Perfil
CONS
Periódico País Base T1_P T2_P T3_P T4_P T5_P
19. Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Legenda:
Perfís de mudmovimento entre Zonas de produção (PROD) e consumo (CONS) de
cada periódico, segundo:
•U: “up” para qualquer combinação em que tenha ocorrido pelo menos um a
ascenção de zona, permitindo que em PROD ou CONS tenha sido “Stable” (U-U,
U-S or S-U, respectivamente);
•S-S: o periódico foi considerado estável (Stable), permanecendo na mesma zona
em todos os triênios (tanto em produção como em consumo);
•O: se foi identificada oscilação (subida e descida) em qualquer das dimensões
(PROD ou CONS); e finalmente ;
•D: para qualquer combinação incluindo rebaixamento nas zonas (em qualquer das
dimensões).
Legenda:
Perfís de mudmovimento entre Zonas de produção (PROD) e consumo (CONS) de
cada periódico, segundo:
•U: “up” para qualquer combinação em que tenha ocorrido pelo menos um a
ascenção de zona, permitindo que em PROD ou CONS tenha sido “Stable” (U-U,
U-S or S-U, respectivamente);
•S-S: o periódico foi considerado estável (Stable), permanecendo na mesma zona
em todos os triênios (tanto em produção como em consumo);
•O: se foi identificada oscilação (subida e descida) em qualquer das dimensões
(PROD ou CONS); e finalmente ;
•D: para qualquer combinação incluindo rebaixamento nas zonas (em qualquer das
dimensões).
Perfil de movimento entre as zonas
20. Distribuição dos periódicos
segundo: indexação e país
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Base Outros Demais Am. Lat. Brasil Total
Nao indexada 363 28 33 424
SciELO 35 129 140 304
SciELO/WoS 135 53 98 286
WoS 5.416 23 39 5.478
Total 5.949 233 310 6.492
23. Periódicos SciELO “S_S”
estáveis nas zonas de produção e consumo durante os 5 triênios
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
Zona 1 de PROD e CONS
PESQ. AGROPEC. BRAS.
REV. INST. MED. TROP. S. PAULO
BRAZ J MED BIOL RES
MEM. INST. OSWALDO CRUZ
REV. SOC. BRAS. MED. TROP.
CAD. SAUDE PUBLICA
REV BRAS ZOOTECN
Zona 2 de CONS
EDUC. SOC.
REV. BRAS. CI. SOC.
Zona PROD
2
3
Zona 2 de CONS
EDUC. SOC.
REV. BRAS. CI. SOC.
Zona PROD
2
3
Zonas 3 de CONS
Área 1 2 3 -
Social Sciences, general 1 15 2 18
Clinical Medicine 1 14 2 17
Engineering 5 1 6
Economics & Business 2 2 4
Human Sciences 2 2 4
Psychiatry/Psychology 2 1 3
Plant & Animal Science 2 1 3
Materials Science 2 2
Neuroscience & Behavior 1 1 2
Computer Science 1 1 2
Chemistry 1 1
Geosciences 1 1
Multidisciplinary 1 1
Agricultural Sciences 1 1
Environment/Ecology 1 1
Physics 1 1
Total 13 28 20 6 67
Zona PROD
Total
24. Periódicos SciELO “U”
melhor posição nas zonas de produção e/ou consumo durante os
5 triênios
Área
perfil 1 2 3 -
Clinical Medicine 1 17 8 26
S-U 1 5 6
U-S 8 8
U-U 12 12
Social Sciences, general 1 7 7 1 16
S-U 2 2
U-S 1 7 1 9
U-U 1 4 5
Plant & Animal Science 7 7 2 16
S-U 4 3 7
U-S 1 2 3
U-U 3 3 6
Psychiatry/Psychology 3 5 2 10
S-U 1 1
U-S 2 2
U-U 2 5 7
Human Sciences 1 5 4 10
S-U 1 1 2
U-S 1 4 5
U-U 3 3
Agricultural Sciences 1 6 1 8
S-U 2 2
U-S 1 1 2
U-U 1 3 4
Economics & Business 4 3 7
U-S 1 3 4
U-U 3 3
Último triênio em qual Zona CONS?
Total
Áreas com pelo menos 5 periódicos melhorando zona
25. Conclusões
• Parte significativa dos periódicos SciELO Brasil
posicionam-se na Zona 1, ou ascendem entre zonas,
revelando sua importância para a pesquisa brasileira;
• Os resultados da pesquisa sinalizam que a avaliação
da pesquisa nacional deve abarcar fontes de
informação representativas, com indicadores sensíveis
a evoluções, o que não se observa utilizando o Fator
de Impacto da pequena parte dos periódicos
nacionais indexados na Web of Science.
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015
26. Rogério Mugnaini
mugnaini@usp.br
Este estudo é parte da pesquisa desenvolvida no âmbito do Programa
Jovens Pesquisadores da FAPESP, intitulada:
Link para o projeto:
“Avaliação de produção científica no Brasil: estudo da comunicação científica n
Rogério Mugnaini | V Reunião SciELO,
Dezembro 2015