Validade de decisão Flashcards
(35 cards)
O que são curvas ROC?
São ferramentas gráficas utilizadas para avaliar o desempenho de testes de diagnóstico ou modelos de classificação binária, ou seja, testes que procuram distinguir entre duas categorias, tipicamente “positivo” (indivíduos com a condição) e “negativo” (indivíduos sem a condição).
As curvas ROC são úteis para quê?
- Visualizar o desempenho de um teste em diferentes pontos de corte
- comparar a precisão diagnóstica de diferentes testes ou modelos
- Identificar o ponto de corte ideal que equilibra a sensibilidade (taxa de verdadeiros positivos) e especificidade (taxa de verdadeiros negativos)
Qual o pressuposto/ideia por detrás das curvas ROC?
Um teste eficaz deve identificar corretamente os indivíduos com a condição (verdadeiros positivos) e os indivíduos sem a condição (verdadeiros negativos).
O que é que a curva ROC ilustra?
Ilustra o compromisso entre a sensibilidade e a especificidade em cada ponto de corte, permitindo uma avaliação mais precisa do desempenho global do teste.
O que é o ponto de corte?
Permite-nos diferenciar os verdadeiros positivos e verdadeiros negativos (não existe um ponto de corte perfeito).
É o ponto que nos permite dizer se o sujeito tem ou não aquela condição.
A decisão de dar prioridade à sensibilidade ou especificidade (tolerar mais falsos positivos ou falsos negativos) depende de quê?
Depende do contexto e da finalidade do teste.
Em contextos de rastreio, damos prioridade a quê?
Sensibilidade, para evitar que casos relevantes passem despercebidos, mesmo que isso implique alguns falsos positivos.
Em contextos de confirmação diagnóstica, damos prioridade a quê?
Especificidade pois, como o objetivo é confirmar um diagnóstico e evitar intervenções desnecessárias, queremos reduzir o número de falsos positivos.
Quais são as decisões que devem informar a curva ROC?
- aplicar o teste ou modelo
- ordenar os resultados
- definir os pontos de corte
- representar graficamente os valores
Em que consiste a etapa de aplicar o teste ou modelo?
O primeiro passo consiste em aplicar o teste ou modelo a indivíduos cuja condição já é conhecida (por exemplo, se tem ou não ansiedade).
Em que consiste a etapa de ordenar os resultados?
O teste atribui a cada individuo uma pontuação ou probabilidade. Estes resultados são organizados por ordem decrescente
Em que consiste a etapa de definir os pontos de corte?
Para cada ponto de corte possível, calcula-se:
- o número de verdadeiros positivos (casos corretamente identificados como tendo a condição)
- o número de falsos negativos (casos incorretamente identificados como tendo a condição)
Em que consiste a etapa de representar graficamente os valores?
- O eixo horizontal (x) corresponde à taxa de falsos positivos (1 - especificidade)
- O eixo vertical (y) corresponde à taxa de verdadeiros positivos (sensibilidade)
O que mostra a linha resultante da curva ROC?
- mostra como o teste se comporta em todos os pontos de corte possíveis
- quanto mais próxima a curva estiver do canto superior esquerdo do gráfico, melhor é a capacidade do teste para distinguir entre indivíduos com e sem condição
- uma curva próxima da diagonal indica que o teste não tem melhor desempenho do que uma decisão aleatória
O que mede o eixo Y (vertical)?
- sensibilidade: taxa de verdadeiros positivos (casos positivos que o teste identifica corretamente)
O que mede o eixo X (horizontal)?
- 1-especificidade: taxa de falsos positivos (casos negativos que o teste classifica incorretamente como positivos)
- especificidade: taxa de verdadeiros negativos (casos negativos que o teste identifica corretamente)
Qual é a fórmula da sensibilidade e o que mede?
VP / (VP+FN)
Capacidade de identificar corretamente os casos positivos
Qual é a fórmula da especificidade e o que mede?
VN / (VN+FP)
Capacidade de identificar corretamente os casos negativos
Qual é a fórmula da precisão e o que mede?
VP / (VP+FP)
Entre os classificados como positivos, quantos são realmente positivos
Qual é a fórmula da exatidão e o que mede?
(VP+VN)/(VP+VN+FP+FN) Percentagem total de classificações corretas
O que é a AUC (área sobre a curva)?
É o espaço ocupado pela área acima do “random classifier”. O AUC deve ser o mais alto possível, quanto maior for AUC, melhor.
Como se classifica e interpreta AUC de 0.90 a 1?
- excelente
- o modelo tem uma discriminação excecional e desempenho quase perfeito
Como se classifica e interpreta AUC de 0.80 a 0.90?
- muito bom
- forte capacidade de distinguir entre classes, poucos erros
Como se classifica e interpreta AUC de 0.70 a 0.80?
- bom/aceitável
- modelo útil com capacidade discriminativa razoável, espaço para melhorias
