3. Model Validation

Question 1

What is model validation

Answer 1

Processo para garantir que:
1. O modelo generaliza bem para dados novos
2. Não está overfitted
3. Usa as métricas adequadas para o problema

Question 2

What is supervised learning

Answer 2

Quando o modelo aprende a mapear entradas - inputs - para saídas - outputs. O objetivo é encontrar uma funçao h(x) - hipoteses que se aproxime da funçao real.
Employ a training dataset and test the accuracy of the hypothesis found in a test dataset.

Question 3

What are the phases in CRISP-DM in Modeling phase

Answer 3

1. Select Modeling Technique (modeling technique, modeling assumptions)
2. Generate Test design (test design)
3. Build Model (Parameter setting, model, model description)
4. Assess Model (Model Assessment, revised parameter settings)

Question 4

What is train dataset

Answer 4

usado para ensinar o modelo (e ajustar os parametros)

Question 5

WHat is a test dataset

Answer 5

usado para avaliar o modelo (ver se generaliza bem)
Um modelo generaliza bem quando consegue corretamente prever o valor y para novas observações (daods que nunca viu antes)

Question 6

What is Model Validation

Answer 6

Model Validation é o processo de avaliar o desempenho do modelo em dados que ele nunca viu (dados fora do treino). O objetivo é medir o erro de generalização - ou seja - quão bem o modelo se comporta em situações reais

Question 7

Quais são os 2 principais metodos de validação de dados

Answer 7

1. hold out
2. cross validation

Question 8

Como funciona o K-Fold Cross Validation

Answer 8

Os dados sao separados em k folds, e sao usados como treino e testes em iterações diferentes, no final confere se a performance dos vários folds

Question 9

Quais são as vantagens do Kfold

Answer 9

1. Usa todos os dados de treino, para treinar e validar
2. Reduz o risco de overfitting ou underfitting por causa de uma má divisão
3. Dá uma estimativa + robusta ao modelo

Question 10

What are the main sampling methods

Answer 10

1. Random sampling
2. Stratified Sampling
3. Out of time sampling
4. Undersampling
5. Oversampling

Question 11

Como funciona random sampling

Answer 11

selects a random percentage of instances

Question 12

Como funciona Stratified Sampling

Answer 12

garante que a amostra mantenha a mesma distribuiçao de classes que o dataset original. isto é um fundamental em problemas com classes desbalançeadas

Question 13

como funciona out of time

Answer 13

usa a dimensão temporal para dividir os dados, por exemplo treinar com dados de 2023 e testar com 2024, é fundamental para problemas onde se está a tentar prever o futuro.

Question 14

Quais sao algumas metodos de undersampling

Answer 14

• random under sampling
• cluster
• tomek links
• ensemble learning

Question 15

Quais sao alguns metodos de oversampling

Answer 15

• random oversampling
• SMOTE
• SOMO
• ADASYN

Question 16

O que é bootstrap

Answer 16

Tecnica de amostragem com reposição. Cria várias amostras do dataset original, cada uma com o mesmo tamanho mas com repetições. É uma técnica muito usada com small datasets.

Question 17

What is overfitting

Answer 17

overfitting occurs when a model corresponds too closely or exactly to a dataset, and therefore may fail to generalize it, i.e. predict future observations reliably

Question 18

When do we have a good model

Answer 18

• capta os padrões reais dos dados sem memorizar ruido
• bom desempenho no treino e no test
• low bias e low variance
• o erro da validação cruzada e proximo do erro de treino e ambos sao baixos