Qualidade das estratégias de busca de revisões sistemáticas

I OFICINA AVANÇADA
PARA ELABORAÇÃO DE
ESTRATÉGIAS DE BUSCA
DE INFORMAÇÃO EM
SAÚDE
Rio de Janeiro
6-8 de junho de 2017

I Oficina Avançada para Elaboração de Estratégias de Busca de Informação em Saúde
O Peer Review Eletronic
Search Strategy (PRESS) para
avaliação da qualidade das
estratégias de busca: o caso
da Odontologia
Daniele Masterson Tavares Pereira Ferreira
JUNHO 2017

OBJETIVOS
Apresentar Peer Review Eletronic Search Strategy (PRESS) seus
produtos e importância no processo de avaliação das estratégias de
busca eletrônica para a qualidade geral da RS.
Relatar a avaliação realizada das estratégias de busca reportadas nos
estudos da área de odontologia utilizando o PRESS e a ferramenta
Assessment of Multiple Systematic Reviews (AMSTAR).

A IMPORTÂNCIA DAS BUSCAS EM REVISÕES SISTEMÁTICAS
A elaboração das estratégias de busca é uma etapa da revisão
sistemática (RS) que deve ser publicada para garantir a sua
reprodutibilidade, mostrar rigor, detalhamento e documentação de todo o
processo para avaliação da metodologia empregada e atualização dos
resultados. O componente da busca na literatura proporciona a importante
base de evidências e, portanto, é um elemento fundamental que pode
afetar a qualidade geral.
O processo de identificação e seleção de estudos requer habilidades e
participação dos bibliotecários em equipes multidisciplinares, desde a
elaboração da pergunta até o relato do processo de busca de uma RS.
(MCGOWAN, et al., 2016a; LEFEBVRE et al., 2011)

A IMPORTÂNCIA DAS BUSCAS SISTEMÁTICAS
▪ As buscas tem sido identificadas como um dos problemas da
RS, frequentemente são tecnicamente deficientes.
▪ É importante a revisão prévia e sua avaliação.
▪ Este papel é competência de bibliotecários.
▪ Foi criado um instrumento que auxilia nesta etapa.
(MCGOWAN, et al., 2016; LEFEBVRE et al., 2011)

A ELABORAÇÃO DO PRESS
▪ O projeto PRESS iniciou em 2005, desenvolvido pela Agência
Internacional de Drogas do Canadá (CADTH) e um grupo de bibliotecários
que desenvolve pesquisas e são referência no desenvolvimento de
metodologias para a prática baseada em evidências.
▪ Em 2008 foi criado um checklist com 13 elementos busca e o impacto
sobre os resultados de pesquisa.
▪ Em 2015 ocorreu o processo de atualização do PRESS com uma RS, um
novo Websurvey que envolveu 117 especialistas e um Fórum de consenso.
▪ Diante do resultado destas ações chegaram ao consenso da utilidade
de 6 elementos e publicaram o novo PRESS com o formato de diretriz
(guideline), e não mais checklist, eliminado o sétimo elemento: adaptação
para outras bases de dados.

A ELABORAÇÃO DO PRESS
▪ O PRESS é um guia que serve para avaliar as estratégias de busca em bases de
dados eletrônicas, especificamente para as RS e produtos baseados em
evidências, tais como avaliações de tecnologias de saúde e diretrizes clínicas.
▪ O PRESS é o único instrumento desenvolvido especificamente para avaliação,
condução e reportagem das estratégias de busca eletrônicas em RS e ATS. A
recomendação do grupo de trabalho do PRES é que o seu uso deve ser feito
por bibliotecários e/ou especialistas em informação, editores de periódicos,
instituições de investigação científica e agências de financiamento.
▪ Para elaborá-lo os autores fizeram um estudo para identificar os elementos
contidos nas buscas relacionados diretamente com a integridade da RS.

QUAL A BASE DA EVIDÊNCIA PARA A CONSTRUÇÃO
DO PRESS?
a) Uma revisão sistemática da literatura sobre
instrumentos de avaliação de estratégias;
b) um survey da opinião de especialistas sobre o
impacto dos elementos de busca nos resultados de
pesquisa;
c) um fórum de consenso com especialistas em
métodos de buscas bibliográficas para criar o
guideline.

AVALIAÇÃO DE ACORDO COM O PRESS
Os seis elementos com um forte consenso quanto à sua
importância, pois podem influenciar a base da evidência
foram recomendados:
Tradução da pergunta de pesquisa para a busca
Uso de operadores booleanos e de proximidade
Cabeçalhos de assunto
Busca de palavras no texto (Termos livres)
Ausência de erros de escrita, sintaxe e linhas
Limites e filtros

PRODUTOS DO PRESS
São 4 produtos gerados no projeto PRESS:
a) PRESS Evidence-Based Checklist;
b) PRESS Recommendations for Librarian Practice;
c) PRESS Guideline Assessment Form;
d) PRESS Implementation Strategies.
(McGOWAN et al., 2016b; 2016a).

PRODUTOS DA IMPLEMENTAÇÃO DO PRESS 2015

PRESS - Guideline Recommendation for Librarian practice
Recommendation Guidance
1 Translation of the Ideally, the primary search strategy is submitted for peer
review toresearch question: ensure conceptual accuracy. The research question, typically
Assess whether the formatted according to some variation of PICO and fine points
of howresearch question has the search was informed by the reference interview, should
bebeen correctly translated submitted with the search strategy.
into search concepts.
2 Boolean and proximity
Review the search for any instances where mistakes
occurred in Boolean operators; e.g., OR may have been
unintentionally substituted for AND (or vice versa), or AND
may have been used to link phrases or words (e.g., as a
conjunction) rather than as a Boolean operator. Note that
where NOT has been used, there is the possibility of
unintentional exclusions, and another device (e.g., employing
a subject heading, check tag, or limit) could produce an
equivalent outcome.
Ensure that the use of nesting within brackets is logical and
has been applied, as needed. Also note whether the use of a
proximity operator (adjacent, near, within) instead of AND
could increase precision.
If proximity operators are employed, consider whether or not
the search terms, which may vary depending on whether or
not the database being searched recognizes stop words.
Consider whether the width is too broad.
If restrictions are included (e.g., human or elderly
populations), ensure that the appropriate construction has
been used.
operators:*
Assess whether the
elements addressing the
search question have
been correctly combined
with Boolean and/or
proximity operators.
*Note that proximity
operators vary based on
search service.
3 Subject headings Examine the following elements of subject heading usage:
missing or(database-specific): incorrect headings, relevance/irrelevance of terms, and
correct use ofAssess whether there is explosion to include relevant narrower terms.
enough scope in the Consider the use of floating subheadings which are in most
instancesselection of subject preferable to using subheadings attached to specific subject
headingsheadings to optimize (e.g., in MEDLINE, “Neck Pain/ and su.fs.” rather than “Neck
recall. Pain/su”). Note that subject headings and subheadings are
database-specific.

PRESS 2015 Guideline Assessment Form
PEER REVIEW ASSESSMENT: THIS SECTION TO BE FILLED IN BY THE REVIEWER
Reviewer: Email: Date completed:
1. TRANSLATION
A. No revisions ?
B. Revision(s) suggested ?
C. Revision(s) required ?
If “B” or “C,” please provide an explanation or example:
2. BOOLEAN AND PROXIMITY OPERATORS
A. No revisions ?
3. SUBJECT HEADINGS
A. No revisions ?

PRODUTOS IMPLEMENTAÇÃO DO PRESS 2015
PRESS Implementation Strategies
Quatro orientações para a implementação:
1. A “pesquisa primária” deve ser revisada por pares e as
vezes as próximas pesquisas também.
2. Usando o PRESS vale uma única revisão. Todo o processo
de revisão precisa ser documentado.
3. O agradecimento ao revisor deve ser feito. A base de dados
pesquisada e a plataforma que a hospeda também deve ser
colocada.
4. Todo o processo não pode ultrapassar cinco dias.

A UTILIZAÇÃO DO PRESS
▪ O uso do PRESS permite um parecer sobre a qualidade das buscas e
produz impacto na recuperação dos estudos para a RS.
▪ A construção de estratégias de buscas para RS pode ser melhorada
substancialmente com o uso desta ferramenta.
▪ O uso do PRESS propicia a interação e troca entre bibliotecários e
outros especialistas no contexto da Saúde Baseada em Evidências.
▪ Recomenda-se que bibliotecários envolvidos em equipes de RS,
conheçam, utilizem e recomendem este instrumento.

A AVALIAÇÃO COM REVISÕES SISTEMÁTICAS DA
ODONTOLOGIA?
Critérios de inclusão dos estudos
▪ Se declarar como uma RS no título, resumo ou no método
apresentado e publicar a estratégia de busca do
Medline/Pubmed;
▪ Estudo da área de Odontologia publicado em periódicos
nacionais e/ou internacionais;
▪ Ter ao menos 1 autor pertencente a uma instituição
brasileira;
▪ Ter sido publicado no ano de 2015.

A AVALIAÇÃO COM REVISÕES SISTEMÁTICAS DA ODONTOLOGIA?
Critérios de exclusão dos estudos
▪ Estudos identificados como protocolos da Cochrane serão
eliminados;
▪ Os estudos que se auto intitularam como uma RS ou Meta-
análise, mas que tem somente alguns critérios de uma revisão
e não tem uma pergunta definida e nem publicaram as
estratégias;
▪ Os trabalhos nos quais um dos autores é a própria autora
desta dissertação serão excluídos para garantir a objetividade
da avaliação.

Figura 1 – DIAGRAMA DE FLUXO
TRIAGEMINCLUSÃOELEGIBILIDADEIDENTIFICAÇÃO
Estudos
identificados na
Lilacs (n =17)
Estudos após a eliminação dos
duplicados (115)
*Estudos selecionados
por título e resumo e avaliados
(n=71)
Excluidos (44)
Não é uma RS= 24
Não é da Odontologia= 9
Não é do ano de 2015= 4
Participação da autora= 3
Autoria não instituição brasileira =3
Protocolo Cochrane= 1
Excluídos (n = 14)
Não tem uma estratégia de busca = 10
Estratégia de busca não é do
Pubmed=4
Avaliação de texto
completo para seleção do
PRESS (57)
Estudos
identificados no
PubMed (n= 98)
Estudos
identificados na
BBO (n =5)

AVALIAÇÃO DE ACORDO COM O AMSTAR
As perguntas 3 e 4 do AMSTAR utilizadas foram:
Pergunta 3. Houve uma busca ampla da literatura? Pelo menos
duas bases de dados eletrônicas devem ser usadas; as palavras-
chave e/ou os termos MeSH devem ser colocados e quando
possível, a estratégia de busca completa deve estar presente.
Pergunta 4. O tipo de publicação (p. ex. literatura cinzenta) foi
usado como critério de inclusão? Os autores devem informar que
procuraram os estudos, independentemente do seu tipo de
publicação. Devem indicar se excluíram ou não (da revisão
sistemática), alguns estudos baseados no tipo da publicação,
idioma, dentre outras exclusões.

APLICAÇÃO DO AMSTAR: ANÁLISE QUANTITATIVA
Perguntas 3 e 4 do AMSTAR
Itens Sim Não
Pergunta 3 N N
Houve uma busca ampla? 44 27
a) A busca foi feita em pelo menos 2 bases? 62 9
b) A data da busca foi publicada? 64 7
c) As palavras chave/MeSH foram usadas? 69 2
d) A estratégia completa está presente? 62 9
e) A busca complementar: especialistas periódicos, referências,
livros foi realizada? 51 20
Pergunta 4
Critérios de exclusão por tipo: documento, estudo 47 24
a) A busca na literatura cinzenta foi realizada? 3 68
b) Houve relato de exclusão por status: tipo de publicação ou
idioma? 67 4

0
5
10
15
20
25
30
35
40
45
50
Tradução da pergunta
para a estratégia de
busca
Operadores
booleanos
proximidade,
parênteses e
restrições
Descritores de
assunto e
subcabeçalho
Palavras do texto,
sinônimos e
antônimos
Escrita das palavras,
sintaxe e numero de
linhas
Limites e filtros
18
42
12
9
19
48
39
15
45
48
38
9
Os seis Elementos do Press
Positivos Negativos

Avaliação PRESS por tipo de revisão: revisão requerida, revisão sugerida
e não revisão
0
5
10
15
20
25
30
35
40
45
50
Tradução da
pergunta para a
estratégia de busca
Operadores
booleanos
proximidade,
parênteses e
restrições
Descritores de
assunto e
subcabeçalho
Palavras do texto,
sinônimos e
antônimos
Escrita das
palavras, sintaxe e
numero de linhas
Limites e filtros
39
10
45
50
33
6
17
41
12
7
18
10
1
6
0 0
6
41
Avaliação FINAL PRESS por tipo de revisão

ANÁLISE EXPERIMENTAL: FORMULÁRIO PRESS
Título : Breast and bottle feeding as risk factors for dental caries: a systematic review
and meta-analysis
1. TRANSLATION
A. No revisions □
B. Revision(s) suggested □
C. Revision(s) required x
A estratégia de busca foi reportada, mas não está de acordo com a pergunta. A tradução da pergunta deve ser feita em três chaves de busca:
problema, exposição e comparação, ou seja, carie, amamentação e mamadeira.
2. BOOLEAN AND PROXIMITY OPERATORS
A. No revisions □
O uso do operador booleano OR entre os termos mamadeira e amamentação deixou a busca muito sensível. A busca recuperou resultados
que tratavam somente de um dos aspectos do risco para Cárie, mas a condição da pergunta e uma comparação entre dois riscos.
3. SUBJECT HEADINGS
A. No revisions □
Os descritores não foram especificados, mas devem ser colocados como descritores: Dental Caries, DMF Index, Tooth,
Deciduous/pathology, Boottle feeding, Breast feeding.

4. TEXT WORD SEARCHING
A. No revisions □
Termos livres foram usados de forma desnecessária porque são recuperados por outros mais
5. SPELLING, SYNTAX, AND LINE NUMBERS
A. No revisions □
Há uma combinação incorreta ao colocar tudo na mesma linha: mamadeira e amamentação, pois nos critérios de exclusão todos os estudos que tratassem somente de um
aspecto devem ser excluídos.
6. LIMITS AND FILTERS
A. No revisions □
B. Revision(s) suggested x
C. Revision(s) required □
Pode-se aplicar o filtro para crianças publicado pela base de dados Pubmed.
7. OVERALL EVALUATION (Note: If one or more “revision required” is noted above, the response below must be “revisions required”.)
A. No revisions □
Additional comments:
Alguns termos importantes foram utilizados, mas a combinação das chaves ampliou a pesquisa e fugiu ao foco da comparação estabelecida na pergunta. A estratégia deve
ser refeita.

Estratégia Publicada no artigo:
(caries OR dental caries OR dental decay OR decay OR DMF index OR DMF Indices OR
decayed teeth OR tooth decay) AND (bottle feeding OR bottlefeedings OR bottlefeed*
OR breastfed OR breast fed OR breastfeeding) = 936
Estratégia revisada de acordo com a pergunta e suas variáveis:
(((((Breast Feeding[Mesh] or Breast fed or Breastfeeding* OR Breastfed or Breast
milk)))) AND ((Dental Caries [mh] OR Carie* OR Decay OR DMF Index[Mesh] OR “DMF
INDEX”))) AND ((((Bottle Feeding[Mesh] OR Bottle feedings or Bottle
milk)))) Filters: Publication date to 2014/03/31. = 171
Todos os 7 artigos incluídos na síntese final foram identificados nova estratégia.
Quais os custos?
- Tempo dispensado que poderia ser utilizado em outros levantamento de bases
assinadas;
- Pela análise de títulos e resumos há registros que possivelmente entrariam na
síntese final. Mas isso seria fechado em conjunto com o especialista.

ANÁLISE CRÍTICA DO RESULTADO E REPRODUTIBILIDADE DAS 57
ESTRATÉGIAS DE BUSCA PUBLICADAS PARA O PUBMED
O número de registros recuperados nas estratégias do Pubmed foi
publicado em 35 RS e mais 22 estudos publicaram resultado, sem
especificar o quantitativo do PubMed.
Comparação dos resultados publicados, 35 RS, e sua reprodução:
Atualização de acordo com o relato: 14
Estratégias não reprodutíveis: 2
Divergências entre os resultados publicados:
Número menor de artigos recuperado em 13 – Ex.: 1301 e 138.
Número maior de artigos recuperados: 3 - Ex.: 58 e 1258.
* Não tem como saber o resultado de 3 estudos que publicaram o
valor do Pubmed e Medline.

CONSIDERAÇÕES FINAIS
As diferentes abordagens dos instrumentos aplicados permitiram
aproveitar ao máximo as informações reportadas.
PRESS – proporcionou a análise qualitativa das estratégias de busca
eletrônicas e desdobramento de vários aspectos dentro de uma
mesma pergunta.
AMSTAR – atribui uma avaliação quantitativa e mais restrita nas
duas perguntas que avaliam as buscas.
A falta de rigor metodológico das revisões sistemáticas teve
impacto direto nas estratégias de busca por: não definição de
perguntas estruturadas nos formatos PICO/PECO e falta de clareza
dos critérios de inclusão e exclusão de muitos estudos.
O primeiro elemento do PRESS que trata da tradução da pergunta
para a estratégia de busca foi avaliado negativamente e isso
repercutiu, também, em todos os outros elementos.

▪ Os resultados publicados nas RS são divergentes porque há
discordâncias significativas quanto aos quantitativos
publicados e o que é realmente recuperado com a execução
das informações descritas no processo de sua elaboração.
▪ As buscas não detalham de formam suficiente o processo
adotado na elaboração dos protocolos.
▪ Fica ainda o questionamento se evidências não foram
perdidas diante de tantas inconsistências do processo de
busca.

▪ A atuação do Bibliotecário foi declarada em 2 estudos na
seção de materiais e métodos.
▪ Sugere-se a inclusão do elemento “adaptação das estratégias
de busca para outras bases de dados” por considerá-la
fundamental na decisão do processo de busca. O que
também justifica os investimentos feitos em diferentes fontes
e recursos de informação.
▪ A avaliação cruzada, usando duas ferramentas diferentes, traz
um resultado muito rico para a discussão. Bons relatos não
garantem boas estratégias. E, por sua vez, boas estratégias,
se não forem bem relatadas, não podem ser bem avaliadas,
e nem reproduzidas.

REFERENCIAS
ATALLAH, A. N. A incerteza, a evidência e a ciência. Diagnóstico & Tratamento, v.9, n. 1, p. 27-28, 2004. Disponível
em: < http://www.centrocochranedobrasil.org.br/apl/artigos/artigo_442.pdf>. Acesso em: 10 de fevereiro de 2016.
ATALLAH, A. N. Avaliações tecnológicas baseadas em evidências para a saúde do Sistema Único de Saúde e de
todos. Diagnóstico & Tratamento, v.14, n. 1, p.3-4, 2009. Disponível em:
<http://www.apm.org.br/imagens/Pdfs/revista-114.pdf> Acesso em: 10 de fevereiro de 2016.
BRASIL. Ministério da Saúde. Diretrizes metodológicas: elaboração de revisão sistemática e metanálise de
ensaios clínicos randomizados. 2. ed. rev. ampl. Brasília, DF, 2014.
CASTRO, A. A. Acesso á informação. [2004] Disponível em:
<http://www.metodologia.org/ald_acesso.pdf.> Acesso em: 14 jul. 2005.
COOK, D. J.; MULROW, C. D.; HAYNES, R. B. Systematic reviews: synthesis of best evidence for clinical decisions.
Annals of Internal Medicine, v. 126, n. 5, p. 376-376, 1997.
GREEN, S., et al. Introduction. In: HIGGINS, J.P.T.; GREEN, S.(Ed.). Cochrane Handbook for Systematic Reviews of
Interventions Version 5.0.1 updated March 2011[Internet]. Melbourne: The Cochrane Collaboration; 2011 [cited
2010 Sept 01]. Disponível em: <www.cochrane-handbook.org>. Acesso em: 23 mar. 2013.
MCGOWAN J.; SAMPSON M.; SALZWEDEL D. M. et al. PRESS Peer Review of Electronic Search Strategies: 2015
Guideline Explanation and Elaboration (PRESS E&E). Ottawa: CADTH, 2016a.
MCGOWAN J.; SAMPSON M.; SALZWEDEL D. M. et al. PRESS Peer Review of Electronic Search Strategies: 2015
guideline Statement. Journal of Clinical Epidemiology. No Prelo 2016b.

Obrigada!!!
Daniele.masterson@ccsdecania.ufrj.br

Qualidade das estratégias de busca de revisões sistemáticas

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Qualidade das estratégias de busca de revisões sistemáticas

Similaire à Qualidade das estratégias de busca de revisões sistemáticas (20)

Plus de Rosemeire Rocha Pinto

Plus de Rosemeire Rocha Pinto (10)

Dernier

Dernier (20)

Qualidade das estratégias de busca de revisões sistemáticas