Clase 8 - Ensambles y boosting

Question 1

Bagging y Boosting trabajan de forma distinta. ¿Cómo es cada uno?

Answer 1

Bagging trabaja de forma paralela (hace varias cosas “al lado de otra” y junta los resultados), mientras que boosting trabaja de forma secuencial (cada paso entrena sobre lo del paso anterior).

Question 2

¿Cuál es la idea básica de Boosting?

(Los pasos genéricos con los que trabaja)

Answer 2

1. Entrena un árbol de decisión
2. Se fija en qué observaciones predijo mal
3. Construye un segundo árbol de decisión, enfocándose en las observaciones que predijo mal antes
4. Como predicción final, toma una cierta combinación entre las predicciones anteriores

Question 3

Dentro de un algoritmo de boosting. ¿Cómo son los árboles individuales?

Answer 3

Suelen ser pequeños y con pocos cortes

Question 4

¿Por qué es difícil de paralelizar un algoritmo de boosting?

Answer 4

Porque cada árbol nuevo adicional depende de lo que predijeron los anteriores. Entonces, para empezar el árbol nuevo, el anterior debe estar terminado.

Question 5

¿Cómo maneja XGBoost los valores faltantes?

Answer 5

Para cada variable, se fija cuál es la ganancia máxima si pasa los missings a la derecha, y cuál es la ganancia máxima si pasa los missings a la izquierda. Se elije el caso que mayor ganancia genere.

(Sparcity aware split-finding)

Question 6

¿Cuáles son los hiperparámetros más importantes de XGBoost?

Answer 6

• nrounds: número de árboles
• max_depth: profundidad máxima de los árboles
• eta: learning rate
• gamma: mínima reducción del error para generar un corte
• lambda: parámetro de regularización
• colsample_bytree: variables a muestrear y considerar en cada árbol
• min_child_weight: mínima cantidad de observaciones en los hijos para considerar un corte
• subsample: muestreo de observaciones a considerar en cada árbol