Polynomiale Regressie

Question 1

Overfitting en Underfitting bij regressie, hoe vermijden?

Answer 1

1: Trainen, testen en valideren.
Zo klein mogelijke training error en validation error. Visualiseren met model evolution graph.

2: Regularisatie
Tijdens het trainen: de performantie optimaliseren en het model eenvoudig houden. Performantie met error functie, complexiteit met regularisatie kost

Question 2

Regularisatie kost?

Answer 2

De L1-en L2-norm of de complexiteits kost noemt men ook wel de regularisatie kost.

λ bepaalt hoeveel van de regularisatie kost we meerekenen in de totale regressie kost.

Enkele voorbeelden:
λ=0 : de regularisatie kost wordt niet meegeteld
λ=0.01 of λ=0.1 : een deel van de regularisatie kost wordt meegeteld
λ=10 : een veelvoud van de regularisatie kost wordt meegeteld

λ parameter beïnvloed de werking, de performantie en de kwaliteit van een model.

Question 3

L1-regressie

Answer 3

Σ |coëfficiënt| –> Lasso-regressie

Zorg ervoor dat coëfficiënten klein worden en sommige zelfs nul worden, het model zal minder coëfficiënten overhouden.

voorbeeld: recommendersysteem
- -> niet elke film heeft invloed op andere film

Question 4

L2-regressie

Answer 4

Σ (coëfficiënt²) –> Ridge-regressie

Zorg ervoor dat coëfficiënten klein worden, maar ze zullen zelden nul worden

voorbeeld: beeldherkenning
- -> niet elke pixel is even belangrijk maar elke pixel telt