Trade Off Bias-Variance

Question 1

Cosa intendiamo per varianza?

Cosa determina un alta varianza? Può causare…

Answer 1

Di quanto varia la predizione del nostro modello al variare dei dati nel training set.

Se la predizione cambia molto (high variance), è stata data molta attenzione al dataset e il modello è incapace di generalizzare.
Rischio di overfitting.

Question 2

Cosa è il bias?

Cosa determina un alto bias? Può causare…

Answer 2

Differenza tra la predizione media del nostro modello e il valore corretto che volevamo predire.

Se la predizione media si discosta molto dal valore corretto da predire allora high bias.
Rischio di underfitting.

Question 3

Situazione ideale che cerchiamo di raggiungere con il modello.

Answer 3

• Catturare con precisione le regolarità del training set.
• Saper generalizzare bene anche con dati non visti
  Ovvero -> Low Bias, Low Variance.

Question 4

Situazione reale.

Answer 4

Realtà:
- Modello che rappresenta bene il training set (low bias) ma si adatta eccessivamente ai dati rumorosi (high variance)
- Modello che non cattura le regolarità importanti del training set (high bias) ed è molto semplice (low variance).

Question 5

Matematicamente l’errore del modello da cos dipende?

Answer 5

MSE= Bias^2 + Variance + Err.Irriducibile^2