Clase 3 - Overfitting y Model Validation Flashcards
Si el modelo tiene una muy buena performance en training pero mala en testing. ¿Qué puede estar pasando?
Overfitting. El modelo tiene demasiada flexibilidad, y “memorizó” los datos de train.
Si el modelo tiene una mala performance tanto en training como en testing. ¿Qué puede estar pasando?
Underfitting. El modelo no tiene la suficiente flexibilidad para capturar los patrones relevantes.
¿Qué decisiones se deben tomar antes de entrenar un modelo?
- Qué datos tomar como train set
- Qué preprocesamientos hacer
- Qué algoritmo de aprendizaje usar
- Qué valores de hiperparámetros usar
Supongamos que tenés un modelo y un dataset. Lo entrenás varias veces usando hold-out set pero te da siempre un valor de performance distinto. ¿Por qué?
Hay dos componentes aleatorios; la selección del training set, y la del testing set.
Cuando se selecciona un grupo distinto de train, el modelo entrena sobre instancias distintas.
Cuando se selecciona un grupo distinto de test, el modelo predice sobre instancias distintas. (Incluso ante un mismo test set, si cambia el train set cambian las predicciones).
¿Qué métodos existen para la validación de modelos?
En otras palabras, ¿de qué maneras podemos dividir en train y test?
- Hold-out set
- Leave One Out Cross Validation (LOOCV)
- K-fold
¿Qué es Hold-out set?
Es uno de los métodos de validación de modelos. Se caracteriza por hacer una división “imaginaria” entre datos conocidos y datos desconocidos.
Se selecciona un porcentaje de los datos para que sean los conocidos, y se entrena sobre ellos.
Luego se usan los datos “desconocidos”, el validation set, para estimar la performance del modelo.
¿Cuáles son los beneficios de Hold-out set?
Como no tiene iteraciones, es relativamente rápido de ejecutar. Esto lo hace muy útil para grandes volúmenes de información.
¿Cuáles son las contras de Hold-out set?
- La predicción es muy variable, por el elemento aleatorio de la división en train y test
- Si hay más datos en train, el modelo es mejor. Pero si hay muy pocos datos en test, la estimación de performance puede ser muy pesimista.
¿Cómo se recomienda seleccionar las submuestras en hold-out set, si los datos NO son cronológicos?
Se recomienda tomar una submuestra al azar.
¿Cómo se recomienda seleccionar las submuestras en hold-out set, si los datos SÍ son cronológicos? ¿Por qué?
Se recomienda tomar, o bien los primeros datos (para “predecir” cosas posteriores), o bien los últimos (para predecir cosas anteriores).
Si se toman datos al azar, vamos a terminar en una situación de Data Leakage.
¿Para qué existen los métodos de validación de modelos?
Dado un dataset, usamos estos métodos para poder analizar:
* ¿Qué modelo/s funcionan mejor?
* ¿Con qué hiperparámetros?
¿Qué es LOOCV?
Leave One Out Cross Validation es un método de validación de modelos. Funciona así:
* Elige un registro para que sea el conjunto de validation
* Entrena con el resto de los registros
* Predice el valor del registro de validation y, en base a eso, estima la performance
* Hace esto tantas veces como registros haya, de forma que todo registro sea el conjunto de validation exactamente una vez
* Calcula un promedio de todas las estimaciones de performance obtenidas
¿Cuáles son las ventajas de LOOCV?
- Los resultados no dependen de una partición al azar
- Cada uno de los modelos es entrenado con casi todas las observaciones
- Toda observación se usa sólo una vez para validar
¿Cuáles son las desventajas de LOOCV?
- Necesita mucho cómputo; entrena tantos modelos como registros hay en el dataset
- Sólo sirve para datasets chiquitos
- El estimador tiene propiedades estadísticas algo raras y no deseadas
¿Qué es K-Fold Cross Validation?
Método de validación que funciona de la siguiente manera:
* Divide el dataset en k secciones
* Elige k-1 para ser el training set, y la restante para que sea el validation set
* Entrena el modelo sobre el training set
* Estima la performance del modelo con el validation set
* Repite esto k veces, de forma que cada sección sea usada exactamente una vez para testear.
¿Cuáles son los valores más comunes de k para K-Fold Cross Validation?
3, 5 o 10.
¿Qué pasa si se usa un K-Fold con k=n?
Siendo n la cantidad de registros en el dataset
Tenemos un LOOCV
¿Qué pasa si se usa un K-Fold con k=2?
Tenemos un Hold-Out set.
¿Por qué es común dividir el dataset en tres grupos, en lugar de dos? ¿Cuáles son? ¿Para qué se usa cada uno?
Si dividimos solamente en train y test, podemos overfittear el conjunto de validation.
Por esto dividimos en Training, Validation y Testing; Training y Validation se usan en la validación de modelos, y Testing se usa al final, cuando ya seleccionamos un modelo, para estimar la performance con nuevos datos.
Supongamos que un dataset tiene datos de clientes de tres países diferentes. La empresa se expandió a un cuarto país, y quiere poder estimar algo respecto a estos nuevos clientes. ¿Qué método de validación de modelos debería usar?
Leave one group out cross validation; Como K-fold, pero cada sub-grupo corresponde a un país. Se entrena con dos países y se valida con el tercero.
¿Qué metodos de validación de modelos se deberían usar para una serie de datos cronológica?
O bien realizar una variante de los métodos anteriores que considere temporalidad, o bien Time-series cross validation.
