Besonderheit der abh. variable
Ausschließlich binäre Werte
Problem der linearen Regression
Für bestimmte Werte der unabhängigen Variable, wird die abhängige Variable
negativ
oder > 1
was bei einer Wahrscheinlichkeit keinen Sinn ergibt
Lösung des linearen Problems
Logistische Regression: 0 < y < 1
0 < y: e^Regressionsfunktion
y < 1: e / (e+1)
S-förmiger Verlauf der Kurve
Logistische Umformung
e^α / (1 + e^α) = e^α / (e^0 + e^α) = e^(α-α) / e^(0-α) + e^(α-α) = e^0 / e^-α + e^0 = 1 / 1 + e^-α
Unterstellungen der log reg
nicht-linearer Zusammenhang zwischen y und x
linearer Zusammenhang zwischen z und x
Odds
Wahrscheinlichkeit / Gegenwahrscheinlichkeit
p / 1-p
ODDS ARE NOT PROBABILITY
Odds Ratio
Odds1 / Odds 2 = 4
Odds 1: Odds for getting heads on fair coin
Odds 2: Odds for getting heads on loaded coin
4 means, that the odds of getting heads are 4 times higher on the loaded coin than on the fair coin
Likelihood
Wahrscheinlichkeit, mit den geschätzten Parametern die beobachteten Werte zu erhalten
Perfekter Modellfit bei max. Likelihood L = 1
LogLikelihood
Ln(Likelihood)
Likelihood oft sehr klein (nahe Null) –> Numerische Genauigkeit
Perfekter Modellfit bei max. LogLikelihood LL = 0
Signifikanztest von Likelihood
Wann ist die LogLikelihood des geschätzten Modells hoch
Idee: Vergleich mit Loglikelihood des Null-Modells –> Likelihood Ratio test
Likelihood Ratio Test
Prüft, ob ein geschätztes Modell (Full-modell) besser erklärt als Null-Modell (Modell nur mit Konstante)
Chi^2 Test:
T:= -2*(LL{Null} - LL{Full}) = -2 * ln(L{null}/L{full}) ≈ χ^2
H0: Koeffizienten unabh. Var = 0
H1: Mindestens 1 Koeffizient ungleich Null
Hit-Rate
Aus Klassifikationstabelle: Vorhergesagte Ausprägung (0/1) versus Beobachtete Ausprägung
Korrekte Prognose: VA = 0 & BA = 0 + VA = 1 & BA = 1
Hit-Rate: Korrektre Prognose / Anzahl Beobachtungen