Clase 6 - Evaluación de modelos predictivos

Question 1

Clasificador por defecto

Answer 1

Predice siempre la moda (clase mayoritaria) o la media en los ejemplos de entrenamiento.

Question 2

Clasificador aleatorio

Answer 2

Predice aleatoriamente siguiendo una distribución de probabilidad definida por la variable de salida.

Question 3

Conjunto de datos no balanceados (clasificador por defecto es una buena comparación en este tipo de situaciones)

Answer 3

Cuando una clase predomina mucho respecto a otra.

Question 4

División de los datos en conjunto de entrenamiento y conjunto de prueba. (división en split).

Answer 4

Entrenamiento: se usa para generar el modelo.
Prueba: para evaluar la calidad del modelo.
Conjunto de aplicación (no se conoce el valor de las instancias).

Question 5

Matriz de confusión.

Answer 5

• Precisión: aciertos totales (TP+TN)/(P+N)
• Precisión de clase:
  TP/(TP+TN)
• Sensibilidad: TP/P
• Especificidad: TN/N
• 1-Specifity: FP/N

Question 6

Curva ROC (ajuste de clasificadores binarios)

Answer 6

Devuelven confianza de pertenecer a una clase.

Question 7

Overfitting

Answer 7

• Describe bien las instancias de entrenamiento, pero no el conjunto de prueba.

Question 8

Técnicas de valoración cruzada.

Answer 8

Validación cruzada k-veces.

División del conjunto de datos en k partes iguales.