Föreläsning 2 - Maximum Likelihood Flashcards
What is a potential problem with Probit & Logit regarding functional form?
Vi tvingar modellen att anta en specifik funktionellform. Vi kan lösa det genom att använda icke-parametriska metoder.
What is a non-parametric method and what is it’s drawack?
Non parametric methods is statisticak methods that do not require that the population study meet certain assumptions or parameters. Such as following a certain distributioin, e.g the normal distribution.
”Vid icke parametriska modeller antar man ingen specifik fördelning utan skapar den från datan (funktionella formen). Man antar inget om den funktioinella formen.
Icke parametriska och logit skiljer sig, vilket implicerar att logit är felspecifiserad.”
The problems is:
1. “Curse of dimensionality” = med många OV kommer antalet celler vara enormt. Då får vi problem med precition eftersom vi har så få observationer per cell. Precisionen minskar alltså med antalet covariat och man behöver extremt stora samples.
- Svårt att visa rapportera och tolka
- Svårt att extrapolera. Vi kan inte estimera mätvärden utanför mätområdet.
What is the ide/principles of Maximum Likelihood?
I OLS är principen att vi väljer parametrar som minskar SSR. Vid ME är principen att vi givet vår output som vi har väljer de mest troliga parametrar för att generera denna.,
”Given the assumption on the underlaying probability distribution generating the data, choose the parameter values maximizing the probability of the observed outcome”
What is the properties of the MLE?
- Consistency. Plimθhatt -> θ
- Asymptotic normality
- Asymptotic Efficiency. It has (asymptotically) the minimum variance.
- Invariance…..???
Set up and derive the MLE Logit FOC and variance covariance matrix
Se FL2 concepts
Vilka är de tre klassiska testen i MLE framework
Likelihood ratio test
Wald test
Lagrange multiplier test / score test
Formulera Likelihood ratio testet och förklara hur det gåt till.
Se uppställning i FL2 koncept.
H0 = ingen skillnad på saturerad/unrestricted (most complex model) och reducerad/restricted. H1 = Det är skillnad.
In statistics, the likelihood-ratio test assesses the goodness of fit of two competing statistical models based on the ratio of their likelihoods, specifically one found by maximization over the entire parameter space and another found after imposing some constraint. If the constraint (i.e., the null hypothesis) is supported by the observed data, the two likelihoods should not differ by more than sampling error. Then we have a good model.
Under certain regularity conditions, if the hypothesized model actually does fit the data, G^2 follows a X^2 distribution, with degrees of freedom equaling the difference in the number of parameters in the saturated model and the number in the hypothesized model.
Likelihood ratio test jämför log likelihood estimatet i den modellen vi vill köra (”hypothesized” = ”restricted”) mot en fullt parametriserad modell (”unrestricted” = ”saturated”). Den saturerade modellen kommer per definition ha det högsta log likelihood. Om log likelihood estimatet från vår ”hypothesized” modell inte skiljer signifikant mot den saturerade kan åtminstånde inte den saturerade förklara mer, vilket talar för vår modell.
Detta test kan också användas som ett F-test, där restricted model är en enkel med bara interecept eller någon variabel och unrestricted är våra extra variabler. Vi vill då att modellerna ska skilja sig så att de extra variablerna har kraft!^
Difference in log = log of the ratio
Obs, 2(… och -2(…. beror på om man har restricted eller unrestricted först.
Vad är wald-testet?
Denna är väldigt lik t-testet, pseudo t-test
Squrt(W) = (thetahatt - theta_0)/SE(thetahatt)
Här använder vi bara unrestricted modell och kollar på SE
it has an asymptotic χ2-distribution under the null hypothesis, a fact that can be used to determine statistical significance
Räknat under HA
Vad är lagrange testet /score test?
Om restriktionerna håller, så är FOC nära noll. Om vi kan visa att det är skillda fråån noll kan vi rejecta H0.
Räknat under H0.
Vi estimerar bara restricted.
Vad säger Log-likelihood?
The log-likelihood is the expression that the software maximizes to determine optimal values of the estimated coefficients (β). Log-likelihood values cannot be used alone as an index of fit because they are a function of sample size but can be used to compare the fit of different coefficients.
“In statistics, the likelihood function measures the goodness of fit of a statistical model to a sample of data for given values of the unknown parameters.” Wiki
