Conceitos

Question 1

Medidas de diagnóstico para testes dicotômicos (6)

Answer 1

• Sensibilidade
• Especificidade
• LR+
• LR -
• VP+
• VP-

(ref: “the diagnostic odds ratio”)

Question 2

Definição de Acurácia

Answer 2

A acurácia reflete a habilidade do teste em detectar a presença da condição alvo. “quantas vezes ele acerta”.

Pode ser calculado por:
Verdaderos positivos + falsos positivos / número total de testes.

Ressalva: o risco de um falso positivo e de um falso negativo podem ser diferentes, bem como suas implicações.

ref: Cochrane handbook understanding test accuracy measures

Question 3

Defina sensibilidade

Answer 3

proporção de pessoas acometidas pela condição alvo e que testam positivo para o teste em questão. Tb chamado de taxa de verdadeiro positivo

Ref: understanding test accuracy measures Cochrane handbook

Question 4

Defina especificidade

Answer 4

Proporção de testes negativos entre quem é saudável. Tb chamado de taxa de verdadeiro negativo

Ref: understanding test accuracy measures Cochrane handbook.

Question 5

Testes com alta sensibilidade são úteis para:

Answer 5

Rastreio.

Ref: understanding test accuracy measures Cochrane handbook

Question 6

Definição de Valor Preditivo Positivo e Negativo

Answer 6

VPP: proporção de verdadeiros positivos entre todos os positivos. Probabilidade de que uma pessoa aleatória que teste positivo de fato tenha a doença.
VPN: proporção de verdadeiros negativos entre todos os negativos. Probabilidade de que uma pessoa aleatória que teste negativo de fato seja saudável.

Ref: understanding test accuracy measures Cochrane handbook

Question 7

Verdadeiro ou falso?

Sensiblidade e especificidade são intrínsecos ao teste diagnóstico e não variam entre populações diferentes.

Answer 7

Falso! muitos testes têm sua sensibilidade e especificidade influenciada pela prevalência, pelo espectro da doença (que pode ser consequência da maior prevalência).

Ref: understanding test accuracy measures Cochrane handbook // variations of a tests sensitivity and specificity with disease prevalence

Question 8

Defina LR + e LR -

Answer 8

LR+: quantas vezes o teste positivo é mais comum em pessoas doentes em comparação às pessoas saudáveis?

Sensibilidade / (1-especificidade)

ou

verdadeiros positivos / falsos positivos

LR-: quantas vezes o teste negativo é mais comum em pessoas saudáveis em comparação às doentes?

1 - sensibilidade / especificidade

ou

falsos negativos / verdadeiros negativos

Ref: understanding test accuracy measures Cochrane handbook

Question 9

Index de Youden: interpretação

Answer 9

sensibilidade + especificidade - 1.

Quanto mais perto de 1, mais acurado. Quanto mais perto de 0, menos.

O zero significa incapacidade de alterar a pré-teste. A proporção de verdadeiros positivos é igual à de falsos positivos, e a de verdadeiros negativos à de falsos negativos.

Question 10

Diagnostic Odds Ratio: definição e cálculo

Answer 10

Descreve quantas vezes mais são as chances de obter um teste positivo em alguém com a doença alvo selecionado aleatoriamente em comparação com alguém saudável.

falsos positivos/ verdadeiros negativos

ou

(1 - especificidade) / especificidade

ou

sensibilidade x especificidade / (1 - sensibilidade) (1 - especificidade)

Ref: understanding test accuracy measures Cochrane handbook

Question 11

O que o Youden Index, Diagnostic Odds Ratio e acurácia geral têm em comum?

Answer 11

Não são informativos quanto à natureza dos erros (falso positivo x falso negativo), e o peso disso é relevante para o paciente.

Ref: understanding test accuracy measures Cochrane handbook

Question 12

Definição de Curva ROC

Answer 12

Gráfico obtido a partir da variação do limiar de positividade por todos os valores possíveis, plotado pela sensibilidade (eixo y, ordenadas) versus 1-especificidade (eixo x, abcissas).

Quanto mais a curva se aproxima do canto superior esquerdo (onde especificidade e sensibilidade são 1), mais discriminatório é o teste. Pode ser simétrica ou assimétrica, tipicamente quando há discrepância de variabilidade na distribuição dos valores entre os grupos.

Question 13

Outro nome da AUC:

Answer 13

Estatística C

Ref: understanding test accuracy measures Cochrane handbook

Question 14

AUC:

Answer 14

Area Under the (ROC) Curve.

se for 0,5 n serve pra nada.

Ref: understanding test accuracy measures Cochrane handbook

Question 15

O que a AUC representa?

Answer 15

Representa a probabilidade que alguém com a doença tenha um resultado maior do que alguém saudável.

Também pode ser interpretada como a sensibilidade media do teste considerando todos os valores de especificidade ou o inverso.

Ref: understanding test accuracy measures Cochrane handbook

Question 16

Como o sistema GRADE classifica as evidências quanto à qualidade?

Answer 16

Alta, moderada, baixa e muito baixa. ECR sai de alta e vai sendo rebaixado conforme limitações. Obs sai de baixa e vai subindo conforme qualidades. Séries e relatos de casos são baixa a muito baixa.

Via de regra, limitações não claras mas que provavelmente não influenciam o desfecho não necessitam ser rebaixadas. Diante disso um vermelho já rebaixa a qualidade para moderada. O amarelo pode rebaixar ou não, dependendo do desfecho: cegamento pode n ser relevante em desfecho duro por ex.

Question 17

Qual é a definição de qualidade da literatura pelo sistema GRADE?

Answer 17

Não é a validade interna, mas o grau de confiança de que o agregado de estudos fornece informação correta (ou adequada para suportar uma recomendação, no caso de guidelines)

Question 18

De acordo com o GRADE, o que são limitações do estudo?

Answer 18

São as que comprometem a validade interna dele. O RoB2 pode ser melhor usado para avaliar estudos individuais. Afetada por truncamento, seletivo reporting Bias, perda de follow-up, viés de alocação, falta de cegamento, contabilidade incompleta de pacientes e desfechos.

Question 19

Para que serve a randomização?

Answer 19

A randomização serve para estabelecer balanço prognóstico, equilibrando fatores conhecidos e desconhecidos

Question 20

Principais limitações em estudos observacionais (4)

Answer 20

O risco principal é a falta de balanço prognóstico. Contudo, tende a ser atenuado com amostras do mesmo período de tempo, lugar e popuacao, alem do controle para fatores prognósticos conhecidos.

Os principais vieses são
1) falha em critérios de elegibilidade adequados
2) Falha na medida de exposição e desfecho
3) Falha no controle de confundidores
4) follow up inadequado

Question 21

O Effect Size e medidas relativas variam com o risco basal do paciente.

Verdadeiro ou falso?

Answer 21

Medidas relativas como o ES via de regram não variam com risco basal do paciente. Essa característica é mais das medidas absolutas

Question 22

Qual a definição de inconsistência?

Answer 22

É heterogeneidade não explicada!

Question 23

Formas de avaliar a consistência do corpo de evidência (4)

Answer 23

1- Variação grande da estimativa pontual entre estudos
2- Overlap minimo ou ausente dos IC, sugerindo variação maior do que a esperada pela chance
3- Critério estatístico (p<0.05 -> rejeita hipótese nula de que a heterogeneidade é pela chance e os resultados tem mesma magnitude de efeito)
4- I2 -> descreve variação da estimativa nao devida ao acaso! Via de regra, acima de 50-60% fica desconfortável

Question 24

Influencia do tamanho do trabalho na heterogeneidade

Answer 24

Trabalhos pequenos podem variar por chance, dando I2 baixo! Trabalhos grandes podem variar pouco e gerar I2 elevado

Question 25

Pitfalls da interpretação do I2

Answer 25

A I2 é em relação ao tamanho de efeito dentro da estimativa, e nem sempre é relevante. Se há overlap significativo do IC dos trabalhos mesmo que as estimativas-ponto sejam em direções opostas, tudo bem. Da mesma forma, se não há overlap mas todos os trabalhos estão em faixa clinicamente relevante, também nao importa.

Se a maioria dos trabalhos é consistente em mostrar benefícios, mesmo uma heterogeneidade mais altinha pode ser tolerada.

Na verdade, o principal problema é quando ela não é explicada!

Question 26

Análise de subgrupos: Qual o principal risco?

Answer 26

A maioria é putativa e espúria, especialmente quando feita com base em comparações ENTRE estudos diferentes (isso é atenuado em meta analises com individual patient data). Na real, sua credibilidade é um continuum.

Question 27

Do que depende a credibilidade de uma análise de subgrupo? (7 critérios)

Answer 27

1) É especificada a priori? Sua direção foi confirmada subsequentemente?
2) Comparação é feita dentro do mesmo estudo ou entre estudos diferentes?
3) Análise estatística sugere chance como explicação improvável? (P-valor, cuidado c/ ajustes para múltiplas comparações)
4) A variável do subgrupo foi especificada no baseline?
5) Foi só uma de várias testadas?
6) A diferença de subgrupo é consistente entre os estudos e entre desfechos importantes?
7) Há evidência externa biológica ou sociológica que suporte a hipótese da diferença de subgrupo?

Question 28

Directness. Definição

Answer 28

Quao direta é a comparação da intervenção, pacientes e desfechos com o que estamos realmente preocupados?

Question 29

Influência da população no grau de directness da evidência

Answer 29

Em geral, só consideramos relevante se tiver algum motivo especial que faca desconfiar que o efeito varie em termos de risco relativo!

Question 30

Efeito da intervenção no directness

Answer 30

Só rebaixa por isso se suspeitar que a diferença é suficientemente relevante. Não é necessário e nem desejável que a pop e a intervenção sejam idênticas às do estudo.

Exemplo: estatinas reduzem mortalidade. Uma estatina nova precisa demonstrar reducao de mortalidade? Eu opino que sim, mas há quem discorde.

Question 31

Importância dos desfechos na directness da evidência

Answer 31

Pode ser por temporalidade (se existe benefício após 3m, será que se mantém aos 9m?

E pode ser por surrogate também. Via de regra, surrogate diminui em 1 ou até 2 níveis de evidência, dependendo da biologia e da historia natural da doença, a não ser que ele já seja muito bem estabelecido como válido!

Question 32

Comparações indiretas entre intervenções: qual o problema?

Answer 32

É quando se compara 2 ou + intervenções que não foram comparadas diretamente nos estudos. O BO é que as diferenças em RR encontradas podem ser decorrentes do grupo de pacientes, critérios de inclusão usados, métodos de aferição e etc. Se for mto semelhante, só rebaixa um nível!

Question 33

Definição de imprecisão

Answer 33

Quão precisa é a estimativa que temos do tamanho de efeito do estudo. Usualmente é capturada pelo IC, que é a porcentagem que um mesmo estudo repetido inúmeras vezes abrangeria o valor real nos ICs calculados.

Question 34

Avaliação de imprecisão:

Answer 34

Estipula limiares de relevância clínica de benefício e malefício, de acordo com o grau de toxicidade da droga. Se cruza, rebaixa por imprecisão.

A fragilidade é que o N pequeno pode gerar IC estreito em alguns casos, provavelmente por causa do desequilíbrio prognostico: O IC parte do pressuposto de que os grupos estão balanceados, e isso só em garantido em randomização com N suficiente! Truncamento precoce tb.

Outra forma de avaliar é pelo optimal information size!
Se o numero total de pacientes na revisão sistemática for menor do que o calculado de forma convencional p/ um trial, rebaixa por imprecisão. Esse numero pode ser calculado ou consultado com figuras, de acordo com RR esperado, tamanho amostral e/ou numero de eventos.

Question 35

Optimal Information Size

Answer 35

Se meta-análise tem N menor do que o calculado para um trial normal, rebaixamos por imprecisão. Dá para ter pouco N desde que a incidência de eventos seja suficiente.

A exceção é quando o N é grande e a taxa de eventos pequena, pq supõe-se que 2k em cada grupo pelo menos garante o balanço prognóstico. O RR pode ficar muito amplo e ser consistente com beneficio importante ou risco importante, mas se olhar o RAR ele provavelmente
é estreito

Se for adequado, considerada precisa adequada se o IC não cruza a nulidade!
Gráficos:

Question 36

Fluxograma imprecisao

Answer 36

Question 37

Inconsistência em variáveis contínuas?

Answer 37

Abaixo de 400 de TA já garante rate-down por imprecisão, mas n tem mto uma regra fixa pra avaliar o TA que garante um valor prognóstico. A abordagem recomendada é a seguinte:

Se o limite superior e inferior forem os verdadeiros, a recomendação muda?
Se sim, rebaixa por imprecisão
Se não, vê sê cumpre o optimal information size. Se cumprir, não rebaixa. Se nao cumprir, rebaixa.

Question 38

Viés de publicação: definição e implicacoes

Answer 38

Viés de publicação é quando a estratégia de busca deixa de identificar artigos porque são em outra língua, em revistas não indexadas, em literatura cinza ou não publicados.

Isso acontece mais com trabalhos pequenos, porque passam mais facilmente desapercebidos. Como resultado, tende a superestimar o tamanho de efeito em cerca de 20% quando comparado com trials maiores subsequentes.

Trials grandes podem publicar em jornais ruins tb ou até atrasar demais (lag time Bias) pra publicar.

Question 39

Quando rebaixar por viés de publicação?

Answer 39

Quando estudos pequenos, ainda mais quando financiados pela indústria ou realizados por autores com rabo preso. Se a busca não inclui muitas bases de dados ou papers nao publicados, também pode ser um indicativo.

Egger’s test, funnel plot assimétirco, trim and fill e etc são melhor usados em combinacao, mas o ideal é a busca por literatura nao publicada. Se esses artigos são discrepantes em relação aos publicados, risco alto de Publication Bias.

Se for suspeito (indústria e funnel), rebaixa em 1 nível. Se for certeza pode rebaixar até 2.

Question 40

Quais são os 3 caminhos que podem elevar o nível de evidência observacional no sistema GRADE?

Answer 40

Só olha pra isso se o trabalho for bom, e depois de ver os viéses!
1) Grande magnitude de efeito
2) gradiente dose-resposta
3) controle de confundidores: especialmente se a direção dos confundidores presentes sugerir subestimação do tamanho da intervenção.

Question 41

Como a grande magnitude de efeito aumenta a evidencia de trabalho observacional?

Answer 41

trabalho bem conduzido e com estimativa de efeito grande deia razoável a conclusão de que existe um efeito real (de algum tamanho) e que casualmente se relaciona à intervenção. Possivelmente, RR > 2 ou <0.5 são improváveis de serem explicados por desequilíbrio prognóstico. >5 ou <0.2 ainda mais improvável. Aumenta em um nível ou 2, respectivamente. Desde que o trabalho seja bom.

Rapidez de efeito tb diminui tempo de ação de fatores de confusão, e evidencia indireta de situações semelhantes aumentaa a confiança. Taxa do grupo controle próxima à nulidade tb.

Question 42

O que significa um grau de recomendação forte no sistema grade?

Answer 42

Significa elevada confiança no balanço entre benefícios e consequências, seja ele a favor ou contra a intervenção. Nesse sentido, todos ou quase todos os pacientes informados desse balanço tendem a optar a favor da recomendação.

Pode ser representado por 1 ou duas setinhas pra cima.

Geralmente necessidade pelo menos grau moderado de qualidade da evidencia. Com baixo, só é aceitável quando um baixo arrependimento resultaria se surgisse evidencia mostrando que a recomendação for errada.

Ou seja:
- situação de vida ou morte
- pouca confiança no beneficio mas muita nos custos e riscos
- confiança semelhante de beneficio mas falta nos riscos
- evidencia moderada-alta de beneficio, baixa de dano mas ele é possivelmente catastrofico

Question 43

O que significa nivel de reocmendacao fraco no sistema GRADE?

Answer 43

Menos confiança no balanço, não na evidencia. Pode ser chamada de condicional.
Como o balanço é mais próximo, a variabilidade dos valores inter-pessoais faz com que exista um número significativo de pessoas que optem contra a reocmendacao, necessitando mais tempo devotado à decisão compartilhada.

Question 44

O que determina a direção e forca de recomendações? (6)

Answer 44

Magnitude do tamanho de efeito nos desfechos de interesse em benefícios e prejuízos
Confiança nessa estimativa
Estimativa de valores e preferências típicos dos pacientes
Confiança nessa estimativa
Variabilidade dessa estimativa
Uso de recursos

Question 45

O que é o Erro Aleatório?

Answer 45

É o componente de variação cuja etiologia desconhecemos. Pode ser de fato aleatório ou só o que não conhecemos ainda.

Note q uma população eh sempre um recorte possível de uma população ainda maior, de form que existe erro de amostragem. Além disso, há variacao inexplicável em medidas de ocorrência.

Ref: Rothman chapter 15

Question 46

Quando começou a preocupação com teste de significância?

Answer 46

No inicio do século 20, com problemas primariamente na agricultura e indústria.
Ref: Rothman chapter 15

Question 47

Como é feito o teste de significância?

Answer 47

A H1 geralmente é de que a associação existe nas superpopulações que contém as populações das amostras. A H0 é de que não existe.
Ambas são sobre a superpopulação, e não sobre aos grupos observados.

Ref: Rothman chapter 15

Question 48

Teste de significância nulo:

Answer 48

Significa apena que não dá pra rejeitar a hipótese nula de que as duas superpopulações são iguais, mas não significa que elas são.

Ref: Rothman chapter 15

Question 49

Teste de significância positivo:

Answer 49

não significa necessariamente também que a associação existiu entre as 2 superpopulações.
pode significar que o modelo usado pra computar foi errado ou por erro aleatório mesmo.

Ref: Rothman chapter 15

Question 50

Tipos de P valor

Answer 50

Ambos assumem que a hipotese testada é correta e que nao existe viés na analise ou na coleta dos dados.
One tailed: Os 5% ficam tudo de um lado só, então pode ser mais fácil de achar significância.
- upper: probabilidade que o valor correspondente do teste estatístico seria igual ou maior do que o observado
- lower: probabilidade que o valor observado do teste estatístico seja menor ou igual.

Two-tailed: distribui pros dois lados

Ref: Rothman chapter 15

Question 51

P valor e nível de significância são a mesma coisa?

Answer 51

Não. O nível de significância é o alfa, nosso cutoff. O P valor é o resultado de um teste.

Ref: Rothman chapter 15

Question 52

Defina P valor

Answer 52

• Medida continua de compatibilidade entre uma hipótese e os dados. Todos dependem de um modelo estatístico, até mesmo os não-paramétricos.

Não é probabilidade das hipóteses testadas, e nem a probabilidade de achar um efeito tão grande quanto ou maior que o observado se a hipótese nula for correta, apesar de mtos livros colocarem essa definição.

Esse erro decorre do fato de que o P valor depende do tamanho da estatística usada (vários tipos, pode depender geralmente da estimativa de efeito dividida pela estimativa do desvio padrão), não diretamente do tamanho da estimativa associada.

Ref: Rothman chapter 15

Question 53

Erro tipo 1 e erro tipo 2

Answer 53

Primeiro, um teste válido é aquele em que se a hipótese nula for verdadeira, o P nao fica < do que o alfa em mais do que alfa% das vezes.

tipo 1/alfa: falso positivo. Rejeição incorreta da hipótese nula.
O aceitável é o alfa, de forma que um cutoff de alfa de 5% permite falsos positivo em 5% das vezes.

tipo 2/beta: falso negativo. Aceitação incorreta da hipótese nula. Dada pelo poder (beta = 1 - poder).
Magnitude de efeito, viéses e variação aleatória combinadas das resultados insuficientemente inconsistentes com a hipótese nula pra rejeitar. Pode ser por efeito pequeno, poucas observações ou viés mesmo.

Existe um tradeoff entre os tipos de erro. Note também que mtas vezes os limiares estabelecidos de tolerância de erros tipo 1 e tipo 2 vao contra o publico. Se algo faz mal, existe 20% de chance de não encontrarmos esse efeito e 5% de encontrarmos um efeito q n existe kk.

Ref: Rothman chapter 15

Question 54

Defina intervalo de confiança

Answer 54

Dá o intervalo de valores de parâmetros que o P-valor fica dentro do alfa. É delimitado pelos limites de confiança, e calculado pelo processo de estimação do intervalo.

O nível de confiança (e.g. IC95%) é dado por 1-alfa.

Se o modelo estatístico subjacente for correto e não existir viés, um intervalo de confiança derivado de um teste válido vai conter o parâmetro verdadeiro em repetições infinitas do estudo em uma frequência não menor que seu nível de confiança.

Ou seja, um IC 95% mostra que o mesmo estudo repetido infinitas vezes irá conter o valor real em pelo menos 95% das vezes.

Pode ser visto também como uma estimativa bruta da incerteza em um estudo epidemiológico derivada do erro aleatório.

Ref: Rothman chapter 15

Question 55

Do que depende a largura do IC?

Answer 55

Da quantidade de variação estocástica inerente ao processo de coleta de dados, do alfa Level e dos dados.

Ref: Rothman chapter 15

Question 56

Vantagens do IC

Answer 56

• dá significância estatística de forma dicotomica para o alfa usado no nível de confiança.

-dá ideia de direção, magnitude e variabilidade randômica da estimativa ponto.

Ref: Rothman chapter 15

Question 57

Desvantagem principal IC e p-valor

Answer 57

Não fazem nada para avaliar vieses q podem estar presentes.

Ref: Rothman chapter 15

Question 58

Componentes principais do IC

Answer 58

Estimativa-ponto, limites de confiança e nível de confiança (1 - alfa)

Ref: Rothman chapter 15

Question 59

Relação IC e alfa

Answer 59

IC é a faixa de valores compatíveis em q P fica dentro do alfa. O nível de confiança é dado por 1-alfa.
Quanto maior o alfa, menor o nível de confiança do IC e mais preciso ele aparenta ser.

Nesse sentido, o IC 90 está contido dentro do IC 95.

Você consegue ser mais preciso na estimativa quando é permitido errar mais em termos de falso-positivo.

Ref: Rothman chapter 15

Question 60

Como avaliar semelhança de intervalos de confiança?

Answer 60

O melhor jeito é pelo overlap das funções deles, mesmo mentalmente. Os limites do intervalo de confiança não servem tanto pra interpretação dele propriamente dita, mas sim para ver o spread que indica a precisão.