1) O documento apresenta um teste diagnóstico sobre classificar imagens de pacientes entre felizes e tristes e discute conceitos sobre validade e acurácia de testes diagnósticos. 2) É explicado que a sensibilidade e especificidade de um teste medem sua capacidade de acerto, enquanto a prevalência da doença afeta os valores preditivos. 3) O documento também aborda a importância de definir o ponto de corte de um teste e analisar sua curva ROC para avaliar seu desempenho diagnóstico.

1. +
Teste Diagnóstico
Alunos: Juliana Rocha e Victory Fernandes
Disciplina: Metodologia da Pesquisa
PPGMS- UFBa

2. +
AS APARÊNCIAS PARA A MENTE
SÃO DE QUATRO TIPOS
■
■
■
■
As coisas são o que parecem ser,
ou são e não parecem ser;
ou não são, mas parecem ser,
ou não são, nem parecem ser.
Epictetus, Séc. II D.C.

3. +
Um pequeno exercício filosófico...
Classifiquem os "pacientes" das imagens
entre
FELIZ ou TRISTE

4. +
Foto A

5. +
Foto B

6. +
Foto C

7. +
Foto D

8. +
Foto E

9. +
Foto F

10. +
Foto G

11. +
Foto H

12. +
Foto I

13. +
Foto J

14. +
Foto L

15. +
Foto M

16. +
Diagnóstico
Tem como ponto de partida a sua suspeita,
baseada na história clínica, na prevalência da
doença na região ou em outros exames.
Processo de decisão clínica que baseia-se,
conscientemente ou não, em probabilidade!

17. +
O Teste Diagnóstico
■ Clínicos necessitam inferir a probabilidade de
um paciente “ter uma doenca” a partir dos
̧
resultados de testes diagnósticos
■ Mesmo sem 100% de sensibilidade, testes
podem dar uma certeza suficiente para que
os benefícios do tratamento superem seus
riscos

18. +
O Teste Diagnóstico Ideal
Deveria fornecer, sempre, a resposta correta,
ou seja, um resultado positivo nos indivíduos
com a doença e um resultado negativo nos
indivíduos sem a doença.
Além do que, deveria ser um teste rápido de
ser executado, seguro, simples, inócuo,
confiável e de baixo custo.

19. +
Diagnóstico
Quando usar um Teste?
■ Identificar/confirmar a presenca de doenca
̧
̧
ou situacão relacionada à saúde
̧
■ Avaliar a gravidade do quadro clínico
■ Estimar o prognóstico
■ Monitorar a resposta a uma intervencão
̧

20. +
Testes Diagnósticos
referem-se a…
■ Exames laboratoriais
■ Interrogatório clínico
■ Exame físico
■ Métodos propedêuticos diversos

21. +
Validade ou Acurácia do Teste
■ Refere-se ao grau em que o teste ou uma
estimativa baseada em um teste é capaz de
determinar o verdadeiro valor do que está
sendo medido.
■ Informa se os resultados representam a
"verdade" ou o quanto se afastam dela
■ Ausência de desvios da verdade (ausência de
viés)

22. +
Reprodutibilidade ou repetibilidade
■ Consistência de resultados quando o exame
se repete
■ O mesmo teste aplicado ao mesmo paciente
ou amostra deve produzir os mesmos
resultados, igualmente corretos ou igualmente
errados.

23. +
Reprodutibilidade ou repetibilidade
■ Se o aparelho eletrônico utilizado para realização
do teste não estiver adequadamente calibrado, o
teste pode ter alta reprodutibilidade, mas, produzir
resultados consistentemente errados.
■ O ideal é ter condições de operação mais
controladas
■ um só observador, aparelhos de alta precisão, calibrados, com
pouco uso, uso de amostras controle, ambiente livre de
maiores perturbações e horário apropriado

24. +
Precisão e Acurácia
■ Com alta repetibilidade da medida (resultados
idênticos ou próximos quando o teste
diagnóstico é repetido) não assegura validade
pois os valores obtidos podem estar distantes
do valor verdadeiro

25. +
Precisão e Acurácia
■ Com baixa reprodutibilidade e estando a
média dos valores obtidos pelo estudo
próxima do verdadeiro valor, o teste poderá
ter validade, mas, mesmo assim, terá pouca
utilidade

26. +
Precisão e Acurácia

27. +
Avaliação de Reprodutibilidade
■ Objetiva-se verificar a concordância de resultados
entre leituras de um mesmo evento ou comparar
métodos diagnósticos diferentes, para estimar o
erro cometido na aferiçao
̃
■ Tipicamente resultados são expressos sob forma
de variável dicotômica (positivo/negativo),
categórica (normal/anormal/níveis limítrofes) ou
medidas contínuas (miligramas, mililitros)

28. +
No exercício filosófico...
■ Feliz/Triste
■ Certamente Feliz (CF)/ Provavelmente
Feliz (PF), Dúvida (D), Provavelmente
triste (PT) ou Certamente triste (CT)
■ Escala de 0 (triste) a 10 (feliz)

29. +
Exemplo Parkiglove

30. +
Exemplo ParkiGlove

31. +
Comparação dos resultados
■ Apresentada através da taxa global de
concordância entre os examinadores ou pelo
indicador Kappa (k)
■ k informa a proporçao de concordância não
̃
aleatória (além da esperada pela chance)
entre observadores ou medidas da mesma
variável categórica
■ valor varia de "menos 1" (completo
desacordo) a "mais 1" (concordância total)

32. +
Cálculo de Kappa
■ 120 lâminas analisadas para pesquisa de malária,
condiçoes uniformes e interpretadas por 2
̃
microscopistas independentes.
■ M01: 20 lâminas positivas e 100 negativas
■ M02: 30 lâminas positivas e 90 negativas

33. +
Cálculo de Kappa
■ 106 resultados concordantes (18+88)
■ 14 de discordantes (2+12).
■ Taxa geral de concordância foi de 88,3%
(106/120)

34. +
Cálculo de Kappa
■ No exemplo k = 65%.

35. +
Interpretando o Kappa
■ Atenção para validade interna!
■ Diminuição do número de categorias de
resultados tende a aumentar a concordância
■ Positivos/Negativos ao invés de valor Alto,
Médio, Baixo e Muito baixo

36. +
Interpretando o Kappa
■ Prevalência do diagnóstico ou evento na
população, afeta o resultado final!
■ Baixas prevalências tendem à estar associadas
a baixos níveis de reprodutibilidade, pois o
valor de k depende da concordância devida ao
acaso
■ informar a prevalência juntamente com os
resultados do k.

37. +
Avaliação da Validade de um Teste
■ Refere-se à quanto, em termos quantitativos
ou qualitativos, um teste é útil para
diagnosticar um evento ou para predize-lo
■ Compara-se os resultados do teste com os
de um padrão (padrão ouro): pode ser um
conjunto de exames julgados mais
adequados, ou uma outra forma de
diagnóstico que sirva de referência.

38. +
A relação entre parecer e ser

39. +
A relação entre Teste e Doença

40. +
O Padrão Ouro
■ Testes considerados no momento da
execução dos ensaios os mais acurados
para o diagnóstico da patologia em questão
■ Não oferecem certezas absolutas
■ Padrão o mais próximo possível do ideal,
barato e pouco invasivo
■ E se novo teste for "melhor" que o padrão
ouro?

41. +
Sensibilidade e Especificidade

42. +
Sensibilidade
É a capacidade que o teste diagnóstico/triagem
apresenta de detectar os indivíduos
verdadeiramente positivos, ou seja, de
diagnosticar corretamente os doentes.
Sensibilidade = a/(a+c)

43. +
Especificidade
É a capacidade que o teste diagnóstico/triagem
tem de detectar os verdadeiros negativos, isto
é, de diagnosticar corretamente os indivíduos
sadios.
Especificidade = d/(b+d)

44. +
Sensibilidade e Especificidade
■ A sensibilidade e a especificidade
caracterizam o teste!
■ São sempre iguais para um teste
independentemente da população a que
são aplicados
■ Não dependem da prevalência da doença
■ Determinam validade de um teste (a
capacidade de ele acertar!)

45. +
Uso dos Testes
■ Sensíveis
■ Necessário para diagnóstico de doença
potencialmente grave
■ Afastar doenças em fase inicial de diagnóstico
■ Específicos
■ Necessário quando um resultado falso positivo
pode ser muito lesivo
■ Confirmar um diagnóstico sugerido por outros
dados

46. +
Valor Preditivo do Teste (VP)
■ Validade de um marcador diz respeito à
extensão com que ele pode predizer a
ocorrência da doença
■ Se o teste apresentou resultado positivo
(ou negativo), qual a probabilidade do
indivíduo ser realmente doente (ou sadio)?
■ Valor Preditivo Positivo (VPP)
■ Valor Preditivo Negativo (VPN)

47. +
Valor Preditivo Positivo
■ Proporção de doentes entre os positivos pelo
teste.
■ No exemplo da Tabela 2 teríamos 60%
(18/30), o que equivale a dizer que em cada
10 testes positivos, 6 indivíduos seriam
realmente doentes.
Valor preditivo positivo = a/(a+b)

48. +
Valor Preditivo Negativo
■ Proporção de sadios (sem a doença) entre os
negativos ao teste.
■ No exemplo da Tabela 2 teríamos 98%
(88/90), o que equivale a dizer que em cada
100 testes negativos, 98 seriam sadios.
Valor preditivo negativo = d/(c+d)

49. +
Valor Preditivo do Teste (VP)
■ Determinado pela sensibilidade, especificidade e
prevalência da doença no grupo de estudo
■ VPP aumenta com a prevalência, se doença é
rara, VPP é baixo, pois a maior parte dos
exames positivos são sadios, representando
resultados falso-positivos
■ VPN diminue com a prevalência.

50. +
Razão de Verossimilhança
■Razão entre a probabilidade de um determinado
resultado de um teste diagnóstico em indivíduos
portadores da doença e a probabilidade do mesmo
resultado em indivíduos sem a doença
■Razão de verossimilhança para o teste positivo (RV+)
■Razão de verossimilhança para o teste negativo (RV-)

51. +
Razão de Verossimilhança RV+
para testes dicotômicos
■Expressa quantas vezes é mais provável encontrar
um resultado positivo em pessoas doentes quando
comparado com pessoas não doentes

52. +
Razão de Verossimilhança RVpara testes dicotômicos
■Expressa quantas vezes é mais provável encontrar
um resultado negativo em pessoas doentes
quando comparado com pessoas não doentes

53. +
Outras análises com base na tabela
■
■
■
■
Prevalência (real) = (a+c)/N
Prevalência estimada (teste) = (a+b)/N
Classificação correta (acurácia) = (a+d)/N
Classificação incorreta = (b+c)/N

54. +
Cálculo do tamanho da amostra para
avaliar a sensibilidade e especificidade
Exemplo: Em um estudo para determinar a
sensibilidade de um novo teste diagnóstico para
malária, espera-se que 80% dos pacientes com
malária tenham teste positivo (resultado de
estudo piloto). Quantos indivíduos com malária
deverão ser testados para se estimar uma
sensibilidade do teste de 80% com intervalo de
95% de confiança e precisão do teste de 0,04?

55. +
Cálculo do tamanho da amostra para
avaliar a sensibilidade e especificidade
N= Z * Z (P (1-P)) / (D * D)
Onde:
P = proporção esperada
D = semi-amplitude do intervalo de
confiança
Z = 1,96 (para α=0,05 e IC 95%)

56. +
Erros Típicos
■ Erro Sistematico: Mesmos viéses que os
́
estudos observacionais; os mais comuns são
os viéses de amostragem, de medida do
teste e de relato dos resultados.
■ Vies de amostragem: Amostra de estudo
́
não é representativa da população alvo na
qual o teste deverá ser utilizado.

57. +
Erros Típicos
■ Vies de mensuracao: Investigador cego,
́
̧ ̃
especialmente nas situações limítrofes; Ponto de
corte deve ser definido antes da realização do
teste.
■ Viés de espectro: Sujeitos incluídos no estudo
devem ter espectro da doença similar ao que será
encontrado na prática clínica (Exemplo teste
aplicado somente em grupo com estágio
avançado da doença)

58. +
Ponto de Corte
Exemplo de distribuição dos valores sanguíneos de
glicose em uma população normal e diabética

59. +
Ponto de Corte
Exemplo de distribuição dos valores sanguíneos de
glicose em uma população normal e diabética

60. +
Ponto de Corte
Exemplo de distribuição dos valores sanguíneos de
glicose em uma população normal e diabética

61. +
Ponto de Corte
Exemplo de distribuição dos valores sanguíneos de
glicose em uma população normal e diabética

62. +
Ponto de Corte
Exemplo de distribuição dos valores sanguíneos de
glicose em uma população normal e diabética

63. +
Curva ROC
Receiver Operating Characteristic
Curvas de Características de Operação do Receptor
■ Demonstrar a relação normalmente antagônica
entre a sensibilidade e a especificidade dos
exames que apresentam resultados contínuos
■ Medir e especificar problemas no desempenho do
diagnóstico
■ Permite estudar a variaçao da sensibilidade e
̃
especificidade para diferentes valores de corte

64. +
Curva ROC
Receiver Operating Characteristic
Curvas de Características de Operação do Receptor
■ Foram desenvolvidas no campo das
comunicaçoes como uma forma de
̃
demonstrar as relações entre sinal-ruído
(engenharia)
■ Em medicina entendemos o sinal como os
verdadeiros positivos (sensibilidade) e o
ruído, os falsos positivos (1-especificidade)

65. +
Curva ROC
Se ponto de corte mais rigoroso: Ponto A movimentase para baixo e para a esquerda (sensibilidade menor
e especificidade maior).

66. +
Curva ROC
Se ponto de corte com critério menos evidente para
identificar os positivos: Ponto B movimenta-se para
cima e para a direita (sensibilidade maior,
especidicade menor).

67. +
Curva ROC

68. +
Curva ROC

69. +
STARD Statement
STAndards for Reporting of Diagnostic accuracy
studies
■ Padrão que tem como objetivo melhorar a
qualidade e completude dos relatórios de
estudos envolvendo testes diagnósticos
■ Consiste de um checklist de 25
recomendações adotados pelas principais
revistas científicas do meio
■ www.stard-statement.org

70. +
Aplicação Prática dos Resultados
Se o estudo é válido e o teste apresenta um bom
rendimento...
■ Os resultados podem ser generalizados? O teste
terá o mesmo rendimento na nossa prática, sendo
aplicável aos nossos pacientes?
■ O quão freqüente trará informações relevantes
quando comparados com exames de rotina?
■ O teste será de mais fácil execução ou terá menor
custo ou será menos invasivo que os já em uso?

71. +
Aplicação Prática dos Resultados
Se o estudo é válido e o teste apresenta um bom
rendimento...
Testes eficazes não garantem o melhor
desfecho de um caso clínico, mas certamente
são definidores da melhor conduta a ser
adotada, o que trará benefícios para o paciente
e economia para os serviços de saúde.

72. +
Análise de Artigo Exemplo
Teste de DNA do HPV de amostras vaginais auto-colhidos
comparado com exame citológico de triagem para detectar
o câncer do colo do útero.
■Thomas C. Wright, Jr, MD; Lynette Denny, MMED, FCOG; Louise Kuhn, PhD;
Amy Pollack, MD; Attila Lorincz, PhD
■JAMA. 2000;283(1):81-86. doi:10.1001/jama.283.1.81.

73. +

74. +

75. +

76. +
Introdução
■ PROGRAMAS DE RASTREIO REDUZIRAM EM 5X INCIDÊNCIA DE CA
CERVICAL NA AMÉRICA DO NORTE1.
■ 1990: 360.000 CASOS DE CA CERVICAL COM 190.000 ÓBITOS 2.
■ NOS EUA: >50% DAS MULHERES COM CA CERVICAL NĀO FIZERAM
PAPANICOLAU NOS ÚLTIMOS 3 ANOS (PRINCIPALMENTE AS IDOSAS):
DESCONFORTO DO EXAME, INCONVENIENTES ETC)
■ FRACASSO DOS PROGRAMAS DE RASTREIO:
■ ALTAS TAXAS DE FALSO NEGATIVOS NO PAPANICOLAU
■ SUBRASTREIO
■ FALTA DE AÇĀO DIANTE DE ANORMALIDADES.

77. +
Objetivo
■ HIPÓTESE DO TESTE AUTO-COLETADO
■ COMPARAÇĀO ENTRE O EXAME DE TRIAGEM
CITOLÓGICO (PAPANICOLAU) COM O TESTE DE
PESQUISA DO DNA HPV EM SECREÇĀO VAGINAL PARA
RASTREIO DE CA DE ÚTERO.
■ CONFIRMAÇĀO POR BIÓPSIA.
■ ESSE ESTUDO AVALIOU SE A DETECÇĀ O DO DNA
DO HPV EM S EC REÇ Ā O VAGINAIS AUTOC OLETADAS PODE S ER UMA ALTERNATIVA PARA
AS MULHERES MAIS VELHAS .

78. +
Metodologia
■ Populaçāo: mulheres negras sul-africanas, com idade entre
35 e 65 anos, matriculadas em programa de rastreio de ca
de útero, avaliadas entre janeiro de 1998 e abril de 1999.
■ Local: clínica, em assentamento periurbano próximo à cidade
do cabo.
■ Foram selecinadas as mulheres que apresentaram alteraçāo
em quaisquer dos exames clinícos a seguir (COLPOSCOPIA
E BIÓPSIA).

79. +
Metodologia
- Exame clínico
- Auto-coleta de amostra vaginal (amostra de Dacron).
- Exame ginecológico
- Papanicolau
- Pesquisa do DNA do HPV no cérvix
- Coletado secreçāo vaginal (bactérias etc)
- Inspeçāo visual direta do colo após ac. Acético 5%.
- Cervicografia

80. +
Metodologia
TESTES LABORATORIAIS:
-Pesquisa do DNA do HPV(coletadas pelo médico):
Universidade da cidade do cabo
-Papnicolau: Universidade da cidade do cabo através do
BETHESDA system.
-Cervicografias: Laboratório nacional.
-Pesquisa do DNA do HPV(auto-coletados): Universidade de
Columbia.
-TODOS OS TES TE FORAM FEITOS AS C EGAS .

81. +
Metodologia
COLPOSCOPIA:
-BIÓPSIA: LESÕES MENOSR GRAU
-ALÇA DE EXCISĀO: LESÕES MAIOR GRAU
-CURETAGEM ENDOCERVICAL: SE LESÕES NĀO
VISÍVEIS.
-INSPEÇĀO DE VULVA/ VAGINA
-AS BIOPS IAS ANALIS ADAS NA UNIVERS IDADE DA
C OLUMBIA (C EGO).

82. +
Metodologia
ANÁLISES ESTATÍSTICA:
-Para calcular o desesmpenho do teste de detecçāo do HPV
com o Papanicolau: calcularam a capacidade de cada teste
detectar todos os casos de neoplasia intra-epitelial
cervical(NIC) e ca de colo invasivo (confirmados por biópsia).
-Calcularam a capacidade de cada teste classificar as
mulheres corretamente sem doença (confirmados por biópsia).
-Comparou a sensibilidade e a especificidade dos testes de
triagem: (verdadeiro positivo e de falso-positivo) e testou se
havia diferença através do teste de McNemar.

83. RESULTADOS:
- Idade média 39 anos (18,4% >=50 anos)
- 181 (12,8%) mulheres tiveram alteraçāo em mais de 1 exame.
RASTREADAS
EXCLUÍDAS (TESTE TRIAGEM
NEGATIVO)
INCLUÍDAS
PERDAS
CONCLUÍRAM
1415
865
550 (38,9%)
50
500 (90,9%)

84. RESULTADOS:
- Idade média 39 anos (18,4% >=50 anos)
- 181 (12,8%) mulheres tiveram alteraçāo em mais de 1 exame.
BIÓPSIA
550
NEGATIVOS PARA NEOPLASIA
404
LESAO BAIXO GRAU
40 (2,9%))
LESĀO ALTO GRAU
47 (3,4%)
CA INVASIVO
9 (0,7%)

85. RESULTADOS
- TESTES
DE
TRIAGEM
ALTERADOS:
- PAPANICOLAU: 95
- DNA HPV CERVICAL: 302
- INSPEÇĀO VISUAL: 278
- CERVICOGRAFIA: 132

86. +
RESULTADOS
■-AMOSTRA AUTO-COLETADAS:
■
37 (66,1%) COM HPV( DAS 56 COM DOENÇA).
■
217 (17,1%) COM HPV (DAS 1269 SEM DOENÇA).
- AMOSTRAS CLÍNICA:
■ 47 (83,9%) COM HPV (DAS 56 COM DOENÇA).
■
197 (15,5%) COM HPV (DAS 1269 SEM DOENÇA).

87. +
RESULTADOS

88. +
RESULTADOS
■SENSIBILIDADE
■ - O TESTE DE DNA COLETADO PELO MÉDICO FOI
SIGNIFICATIVAMENTE MAIOR QUE O TESTE DNA AUTOCOLHIDO E O PAPANICOLAU (P=0,01).
■ESPECIFICIDADE
■ - AMOSTRAS AUTO-COLETADAS E NA CLÍNICA: MAIS FALSOPOSITIVOS DO QUE O PAPANICOLAU (P<0,01).
■EXPOE OS INTERVALOS DE CONFIANÇA DE TODOS
AS TAXAS ENCONTRADAS!

89. +
RESULTADOS
- NĀ O HOUVE DIFERENÇA SIGNIFICATIVA NA
PREVALÊNCIA DA DOENÇA DO COLO UTERINO ENTRE
PAPANICOLAU E TESTE DE DETECÇĀ O DO DNA DO
HPV (AUTO OU COLETADO POR MÉDICO).
- NĀ O HOUVE DIFERENÇ A S IGNIFIC ATIVA NO
DES EMPENHO DOS TES TES POR IDADE (EXC ETO NO
C ITOLÓGIC O, QUE AUMENTA C OM A IDADE) (P=0,05).

90. +
RESULTADOS
■C ONC ORDÂNC IA ENTRE OS 3 TES TES :

91. +
RESULTADOS
■C ONC ORDÂNC IA ENTRE OS 3 TES TES :

92. DISCUSSĀO
- AMOSTRAS AUTO-COLHIDAS IDENTIFICARAM LESÕES
DE ALTO GRAU/CANCER EM 66,1% X PAPANICOLAU
SOZINHO 67,9%.
- AMBIENTES
SEM
PAPANICOLAU
DISPONÍVEIS
X
ALTERNATIVA.
- AMOSTRAS
AUTO-COLHIDAS:
OUTRAS DSTs.
BENEFÍCIOS
PARA

93. DISCUSSĀO
- LIMITAÇÕES:
■
IDENTIFICAR MULHERES DE ALTO RISCO NĀO
GARANTE
A
AVALIAÇĀO
E
AINTERVENÇĀO
(COLPOSCOPIA).
- HÁ MUITAS DIFERENÇAS ENTRES AS MULHERES DO
ESTUDO E DEMAIS DOS EUA E EUROPA.

94. +
Obrigado!
■ Victory Fernandes
■ victoryfernandes@yahoo.com.br
■ Juliana Rocha
■ julianasrocha3@hotmail.com