Flashcards in CM01 Deck (4)
Loading flashcards...
1
Validation croisée
Choix d'un N (5-10), partition de X en Xi, on apprend ^fi sur X/Xi, on calcule ^Rvc=1/N ∑^ri, on apprend ^f sur toutes les données -> on utilise tout pour l'apprentissage, ^Rvc estimateur sans biais de ^R(^f) mais coûteux (N sous-modèles) et pas d'estimateur sans biais de la variance (ri non indépendants)
2
Classifieur linéaire SVM
Support Vector Machines
f(x) = w.x + b (équation droite avec marge, f(x)=-1,0,1)
Largeur de la marge 1/||w||, minimiser ||w2||=w.w
Cas non séparable, minimisation quadratique 1/2 w.w + C∑ek (termes d'erreur, distance par rapport à la marge de leur zone), C petit maximise marge, C grand minimise erreur.
3
Classifieur Adaboost
Méthode ensembliste (plusieurs classifieurs simples), à chaque itération les exemples mal classés prennent de l'importance (n elements = n+1 droites possibles) k itérations = k^2 frontières possibles, classifieurs simples additionnés selon pondérations. Attention, trop de classifieurs simples = surapprentissage (validation croisée à faire), choix du classifieur simple (ou plus complexe)..
4
