Twierdzenie Gaussa-Markowa - Gauss–Markov theorem

W statystykach The twierdzenie Gaussa-Markowa (lub po prostu Gauss twierdzenie niektórych autorów) stwierdza, że zwykli najmniejszych kwadratów (OLS) Estymator ma najmniejszą wariancję próbkowania w obrębie klasy z liniowych nieobciążonych estymatorów , jeśli błędy w modelu regresji liniowej są nieskorelowane , mają równe wariancje i wartość oczekiwaną równą zero. Błędy nie muszą być ani normalne , ani niezależne i równomiernie rozłożone (tylko nieskorelowane ze średnią zerową i homoskedastyczne ze skończoną wariancją). Nie można odrzucić wymogu, aby estymator był nieobciążony, ponieważ estymatory obciążone istnieją z mniejszą wariancją. Zobacz na przykład estymator Jamesa-Steina (który również obniża liniowość), regresję grzbietową lub po prostu dowolny estymator zdegenerowany .

Twierdzenie zostało nazwane na cześć Carla Friedricha Gaussa i Andreya Markova , chociaż prace Gaussa znacznie poprzedzają prace Markowa. Ale podczas gdy Gauss wyprowadził wynik przy założeniu niezależności i normalności, Markow zredukował założenia do formy podanej powyżej. Dalsze uogólnienie na błędy niesferyczne podał Alexander Aitken .

Komunikat

Załóżmy, że mamy w notacji macierzowej,

{\podkreślenie {y}}=X{\podkreślenie {\beta}}+{\podkreślenie {\varepsilon}},\quad ({\podkreślenie {y}},{\podkreślenie {\varepsilon}}\ w \mathbb {R} ^{n},{\underline {\beta }}\in \mathbb {R} ^{K}{\text{ i }}X\in \mathbb {R} ^{n\times K})

rozszerzając się do,

{\ Displaystyle y_ {i} = \ suma _ {j = 1} ^ {K} \ beta _ {j} X_ {ij} + \ varepsilon _ {i} \ quad \ forall i = 1,2 \ ldots, n}

gdzie są nielosowe ale un parametry obserwowalne, są nieprzypadkowe i obserwowalne (zwane „zmienne objaśniające”), są przypadkowe, a więc są przypadkowe. Zmienne losowe nazywane są „zakłóceniem”, „szumem” lub po prostu „błędem” (w dalszej części artykułu zostaną porównane z „pozostałościami”; zobacz błędy i reszty w statystykach ). Zauważ, że aby uwzględnić stałą w powyższym modelu, można wybrać wprowadzenie stałej jako zmiennej z nowo wprowadzoną ostatnią kolumną X będącą jednością, tj. dla all . Należy zauważyć, że chociaż jako przykładowe odpowiedzi, można zaobserwować następujące oświadczenia i argumenty w tym założeń, dowodów i inni zakładają pod jedynym warunkiem wiedząc, ale nie ${\ Displaystyle \ beta _ {j}}$ ${\ Displaystyle X_ {ij}}$ ${\ Displaystyle \ varepsilon _ {i}}$ $y_{i}$ ${\ Displaystyle \ varepsilon _ {i}}$ ${\ Displaystyle \ beta _ {K+1}}$ ${\ Displaystyle X_ {i (K + 1)} = 1}$ $i$ $y_{i},$ $X_{ij}$ $y_{i}.$

Założenia Gaussa-Markowa dotyczą zbioru błędów losowych zmiennych : ${\ Displaystyle \ varepsilon _ {i}}$

Mają średnią zero: ${\ Displaystyle \ Operatorname {E} [\ varepsilon _ {i}] = 0.}$
Są homoscedastyczne , to znaczy wszystkie mają tę samą skończoną wariancję: dla wszystkich i ${\ Displaystyle \ Operatorname {Var} (\ varepsilon _ {i}) = \ sigma ^ {2} < \ infty}$ $i$
Określone terminy błędu nie są skorelowane: ${\ Displaystyle {\ tekst {Cov}} (\ varepsilon _ {i}, \ varepsilon _ {j}) = 0, \ dla wszystkich i \ neq j.}$

Liniowy estymator od jest liniową kombinacją ${\ Displaystyle \ beta _ {j}}$

{\ Displaystyle {\ widehat {\ beta}} _ {j} = c_ {1j} y_ {1} + \ cdots + c_ {nj} y_ {n}}

w którym współczynniki nie mogą zależeć od podstawowych współczynników , ponieważ nie są one obserwowalne, ale mogą zależeć od wartości , ponieważ dane te są obserwowalne. (Zależność współczynników od każdego z nich jest zwykle nieliniowa; estymator jest liniowy w każdym, a zatem w każdym losowym, dlatego jest to regresja „liniowa” .) Mówi się, że estymator jest bezstronny wtedy i tylko wtedy, gdy $c_{ij}$ ${\ Displaystyle \ beta _ {j}}$ ${\ Displaystyle X_ {ij}}$ ${\ Displaystyle X_ {ij}}$ $y_{i}$ $\varepsilon,$

{\ Displaystyle \ operatorname {E} \ lewo [{\ widehat {\ beta}} _ {j} \ prawo] = \ beta _ {j}}

niezależnie od wartości . Teraz niech będzie jakaś liniowa kombinacja współczynników. Wtedy średni kwadratowy błąd odpowiedniej estymacji wynosi ${\ Displaystyle X_ {ij}}$ ${\textstyle \sum _{j=1}^{K}\lambda _{j}\beta _{j}}$

{\ Displaystyle \ Operatorname {E} \ lewo [\ lewo (\ suma _ {j = 1} ^ {K} \ lambda _ {j} \ lewo ({\ widehat {\ beta}} _ {j} - \ beta) _{j}\right)\right)^{2}\right],}

innymi słowy, jest to oczekiwanie kwadratu sumy ważonej (poprzez parametry) różnic między estymatorami a odpowiadającymi im parametrami, które mają być oszacowane. (Ponieważ rozważamy przypadek, w którym wszystkie oszacowania parametrów są nieobciążone, ten błąd średniokwadratowy jest taki sam jak wariancja kombinacji liniowej.) Najlepszy liniowy nieobciążony estymator (NIEBIESKI) wektora parametrów to taki o najmniejszym błąd średniokwadratowy dla każdego wektora parametrów kombinacji liniowej. Jest to równoznaczne z warunkiem, że ${\ Displaystyle \ beta}$ ${\ Displaystyle \ beta _ {j}}$ ${\ Displaystyle \ lambda}$

{\ Displaystyle \ operatorname {Var} \ lewo ({\ widetilde {\ beta}} \ prawo) - \ operatorname {Var} \ lewo ({\ widehat {\ beta}} \ prawej)}

jest dodatnią półokreśloną macierzą dla każdego innego liniowego nieobciążonego estymatora . ${\widetylda {\beta}}$

Zwykły Estymator najmniejszych kwadratów (OLS) jest funkcją

{\ Displaystyle {\ widehat {\ beta}} = (X'X) ^ {-1} X'y}

o a (gdzie oznacza transpozycję z ), która minimalizuje sumę kwadratów reszt (wartości misprediction) $y$ ${\ Displaystyle X}$ $X'$ ${\ Displaystyle X}$

{\ Displaystyle \ suma _ {i = 1} ^ {n} \ lewo (y_ {i} - {\ widehat {y}} _ {i} \ prawej) ^ {2} = \ suma _ {i = 1} ^{n}\left(y_{i}-\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}\right)^{2}.}

Twierdzenie mówi teraz, że estymator OLS jest NIEBIESKI. Główną ideą dowodu jest to, że estymator najmniejszych kwadratów nie jest skorelowany z każdym liniowym nieobciążonym estymatorem równym zero, tj. z każdą kombinacją liniową, której współczynniki nie zależą od nieobserwowalnego, ale którego wartość oczekiwana jest zawsze równa zero. $a_{1}y_{1}+\cdots +a_{n}y_{n}$ ${\ Displaystyle \ beta}$

Uwaga

Dowód, że MNK rzeczywiście MINIMALIZUJE sumę kwadratów reszt może postępować w następujący sposób z obliczeniem macierzy Hess i wykazaniem, że jest ona dodatnio określona.

Funkcja MSE, którą chcemy zminimalizować, to

{\ Displaystyle f (\ beta _ {0}, \ beta _ {1}, \ kropki, \ beta _ {p}) = \ suma _ {i = 1} ^ {n} (y_ {i} - \ beta _{0}-\beta _{1}x_{i1}-\dots -\beta _{p}x_{ip})^{2}}

dla modelu regresji wielokrotnej ze zmiennymi p . Pierwsza pochodna to

{\ Displaystyle {\ zacząć {wyrównany} {\ Frac {d} {d {\ boldsymbol {\ beta}}}} f & = -2X ^ {\ mathsf {T}} \ lewo (\ mathbf {y} -X { \boldsymbol {\beta }}\right)\\&=-2{\begin{bmatrix}\sum _{i=1}^{n}(y_{i}-\dots -\beta _{p}x_ {ip})\\\sum _{i=1}^{n}x_{i1}(y_{i}-\dots -\beta _{p}x_{ip})\\\vdots \\\sum _{i=1}^{n}x_{ip}(y_{i}-\dots -\beta _{p}x_{ip})\end{bmatrix}}\\&=\mathbf {0} _ {p+1},\koniec{wyrównany}}}

gdzie X to macierz projektu

{\ Displaystyle X = {\ zacząć {bmatrix} 1 & x_ {11} & \ cdots & x_ {1 p} \ \ 1 & x_ {21} \ cdots & x_ {2 p} \ \ & & \ vdots \ \ 1 & x_ {n1} i \ cdots & x_ {np}\end{bmatrix}}\in \mathbb {R} ^{n\times (p+1)};\qquad n\geq p+1}

Heskie matrycy z drugiej pochodnej jest

{\ Displaystyle {\ mathcal {H}} = 2 {\ zacznij {bmatrix} n i \ suma _ {i = 1} ^ {n} x_ {i1} i \ cdots i \ suma _ {i = 1} ^ {n }x_{ip}\\\sum _{i=1}^{n}x_{i1}&\sum _{i=1}^{n}x_{i1}^{2}&\cdots &\sum _{i=1}^{n}x_{i1}x_{ip}\\\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{ip}& \sum _{i=1}^{n}x_{ip}x_{i1}&\cdots &\sum _{i=1}^{n}x_{ip}^{2}\end{bmatrix}} =2X^{T}X}

Zakładając, że kolumny są liniowo niezależne, czyli jest odwracalne, niech , wtedy ${\ Displaystyle X}$ ${\ Displaystyle X ^ {T} X}$ ${\ Displaystyle X = {\ zacząć {bmatrix} \ mathbf {v_ {1}} i \ mathbf {v_ {2}} i \ cdots i \ mathbf {v} _ {p + 1} \ koniec {bmatrix}}}$

{\ Displaystyle k_ {1} \ mathbf {v_ {1}} + \ kropki + k_ {p + 1} \ mathbf {v} _ {p + 1} = \ mathbf {0} \ iff k_ {1} = \ kropki =k_{p+1}=0}

Teraz niech będzie wektorem własnym . ${\ Displaystyle \ mathbf {k} = (k_ {1}, \ kropki, k_ {p + 1}) ^ {T} \ w \ mathbb {R} ^ {(p + 1) \ razy 1}}$ ${\ Displaystyle {\ Mathcal {H}}}$

{\ Displaystyle \ mathbf {k} \ neq \ mathbf {0} \ implikuje \ lewo (k_ {1} \ mathbf {v_ {1}} + \ kropki + k_ {p + 1} \ mathbf {v} _ {p +1}\prawo)^{2}>0}

Pod względem mnożenia wektorów oznacza to

{\ Displaystyle {\ zacząć {bmatrix} k_ {1} i \ cdots & k_ {p + 1} \ koniec {bmatrix}} {\ zacząć {bmatrix} \ mathbf {v_ {1}} \ \ \ vdots \ \ \ mathbf {v} _{p+1}\end{bmatrix}}{\begin{bmatrix}\mathbf {v_{1}} &\cdots &\mathbf {v} _{p+1}\end{bmatrix}} {\begin{bmatrix}k_{1}\\\vdots \\k_{p+1}\end{bmatrix}}=\mathbf {k} ^{\mathsf {T}}{\mathcal {H}}\ mathbf {k} =\lambda \mathbf {k} ^{\mathsf {T}}\mathbf {k} >0}

gdzie jest wartością własną odpowiadającą . Co więcej,

{\ Displaystyle \ lambda}

\mathbf {k}

{\ Displaystyle \ mathbf {k} ^ {\ mathsf {T}} \ mathbf {k} = \ suma _ {i = 1} ^ {p + 1} k_ {i} ^ {2}> 0 \ sugeruje \ lambda >0}

Wreszcie, ponieważ wektor własny był arbitralny, oznacza to, że wszystkie wartości własne są dodatnie, a zatem są dodatnio określone. A zatem, $\mathbf {k}$ ${\ Displaystyle {\ Mathcal {H}}}$ ${\ Displaystyle {\ Mathcal {H}}}$

{\ Displaystyle {\ boldsymbol {\ beta}} = \ lewo (X ^ {\ mathsf {T}} X \ prawej) ^ {-1} X ^ {\ mathsf {T}} Y}

jest rzeczywiście lokalnym minimum.

Dowód

Niech kolejny liniowy estymatorem z którym jest matryca niezerowe. Ponieważ ograniczamy się do bezstronnych estymatorów, minimalny błąd średniokwadratowy implikuje minimalną wariancję. Celem jest zatem pokazanie, że taki estymator ma wariancję nie mniejszą niż estymator MNK. Obliczamy: ${\ Displaystyle {\ tylda {\ beta}} = Cy}$ ${\ Displaystyle \ beta}$ ${\ Displaystyle C = (X'X) ^ {-1} X'+ D}$ ${\ Displaystyle D}$ ${\ Displaystyle K \ razy n}$ ${\widehat {\beta}},$

{\ Displaystyle {\ zacząć {wyrównany} \ nazwa operatora {E} \ lewo [{\ tylda {\ beta}} \ prawo] & = \ nazwa operatora {E} [Cy] \ \ & = \ nazwa operatora {E} \ lewo [ \left((X'X)^{-1}X'+D\right)(X\beta +\varepsilon )\right]\\&=\left((X'X)^{-1}X' +D\right)X\beta +\left((X'X)^{-1}X'+D\right)\operatorname {E} [\varepsilon ]\\&=\left((X'X) ^{-1}X'+D\right)X\beta &&\operatorname {E} [\varepsilon ]=0\\&=(X'X)^{-1}X'X\beta +DX\beta \\&=(I_{K}+DX)\beta .\\\end{wyrównany}}}

W związku z tym, ponieważ jest un obserwowalne, jest bezstronna wtedy i tylko wtedy . Następnie: ${\ Displaystyle \ beta}$ ${\tylda {\beta}}$ ${\ Displaystyle DX = 0}$

{\ Displaystyle {\ zacząć {wyrównany} \ operatorname {Var} \ lewo ({\ tylda {\ beta}} \ prawo) & = \ operatorname {Var} (Cy) \ \ & = C {\ tekst { Var}} (y)C'\\&=\sigma ^{2}CC'\\&=\sigma ^{2}\left((X'X)^{-1}X'+D\right)\left( X(X'X)^{-1}+D'\right)\\&=\sigma ^{2}\left((X'X)^{-1}X'X(X'X)^{ -1}+(X'X)^{-1}X'D'+DX(X'X)^{-1}+DD'\right)\\&=\sigma ^{2}(X'X )^{-1}+\sigma ^{2}(X'X)^{-1}(DX)'+\sigma ^{2}DX(X'X)^{-1}+\sigma ^{ 2}DD'\\&=\sigma ^{2}(X'X)^{-1}+\sigma ^{2}DD'&&DX=0\\&=\operatorname {Var} \left({\ widehat {\beta }}\right)+\sigma ^{2}DD'&&\sigma ^{2}(X'X)^{-1}=\operatorname {Var} \left({\widehat {\beta }}\right)\end{wyrównany}}}

Ponieważ DD' jest macierzą dodatnią półokreśloną, przewyższa ją o dodatnią półokreśloną macierz. ${\ Displaystyle \ Operatorname {Var} \ lewo ({\ tylda {\ beta}} \ po prawej)}$ ${\ Displaystyle \ operatorname {Var} \ lewo ({\ widehat {\ beta}} \ po prawej)}$

Uwagi na dowodzie

Jak stwierdzono wcześniej, warunek jest pozytywna półokreśloną matryca jest równoważne z właściwością, że najlepszym liniowy nieobciążonym estymatorem jest (najlepiej w tym sensie, że ma minimalnej wariancji). Aby to zobaczyć, niech inny liniowy bezstronny estymator . ${\ Displaystyle \ operatorname {Var} \ lewo ({\ tylda {\ beta}} \ prawo) - \ operatorname {Var} \ lewo ({\ widehat {\ beta}} \ prawej)}$ ${\ Displaystyle \ dobrze ^ {t} \ beta}$ $\ell ^{t}{\widehat {\beta}}$ ${\ Displaystyle \ell ^ {t} {\ tylda {\ beta}}}$ ${\ Displaystyle \ dobrze ^ {t} \ beta}$

{\ Displaystyle {\ zacząć {wyrównany} \ operatorname {Var} \ lewo (\ ell ^ {t} {\ tylda {\ beta}} \ po prawej) & = \ ell ^ { t} \ operatorname {Var} \ po lewej ( {\tilde {\beta }}\right)\ell \\&=\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell +\ell ^{t}DD^ {t}\ell \\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+(D^{t}\ell )^{t}(D ^{t}\ell )&&\sigma ^{2}\ell ^{t}(X'X)^{-1}\ell =\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\\&=\operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)+\|D^{t}\ell \|\ \&\geq \operatorname {Var} \left(\ell ^{t}{\widehat {\beta }}\right)\end{aligned}}}

Co więcej, równość obowiązuje wtedy i tylko wtedy, gdy . Obliczamy ${\ Displaystyle D ^ {t} \ ell = 0}$

{\ Displaystyle {\ zacząć {wyrównany} \ ell ^ {t} {\ tylda {\ beta}} i = \ e ^ {t} \ lewo (((X'X) ^ {-1} X'+ D) Y\right)&&{\text{ z góry}}\\&=\ell ^{t}(X'X)^{-1}X'Y+\ell ^{t}DY\\&=\ell ^ {t}{\widehat {\beta }}+(D^{t}\ell )^{t}Y\\&=\ell ^{t}{\widehat {\beta }}&&D^{t}\ ell =0\end{wyrównany}}}

Dowodzi to, że równość zachodzi wtedy i tylko wtedy, gdy daje to niepowtarzalność estymatora OLS jako NIEBIESKI. ${\ Displaystyle \ ell ^ {t} {\ tylda {\ beta}} = \ ^ {t} {\ widehat {\ beta}}}$

Uogólniony estymator najmniejszych kwadratów

W uogólnione najmniejszych kwadratów (GLS), opracowany przez Aitken rozciąga twierdzenie Gaussa-Markowa do przypadku, w którym błąd wektor nie-skalarne macierzy kowariancji. Estymator Aitken jest również NIEBIESKI.

Twierdzenie Gaussa-Markowa jak stwierdzono w ekonometrii

W większości sposobów leczenia OLS zakłada się , że regresory (interesujące parametry) w macierzy projektu są ustalone w powtarzanych próbkach. Założenie to jest uważane za nieodpowiednie dla nauki w przeważającej mierze nieeksperymentalnej, takiej jak ekonometria . Zamiast tego, założenia twierdzenia Gaussa-Markowa są podane w zależności od . ${\ Displaystyle \ mathbf {X}}$ ${\ Displaystyle \ mathbf {X}}$

Liniowość

Zakłada się, że zmienna zależna jest liniową funkcją zmiennych określonych w modelu. Specyfikacja musi być liniowa w swoich parametrach. Nie oznacza to, że musi istnieć liniowa zależność między zmienną niezależną i zmienną zależną. Zmienne niezależne mogą przybierać formy nieliniowe, o ile parametry są liniowe. Równanie kwalifikuje się jako liniowe, podczas gdy można je przekształcić w liniowe, zastępując innym parametrem, powiedzmy . Równanie z parametrem zależnym od zmiennej niezależnej nie kwalifikuje się jako liniowe, na przykład , gdzie jest funkcją . ${\ Displaystyle y = \ beta _ {0} + \ beta _ {1} x ^ {2},}$ ${\ Displaystyle y = \ beta _ {0} + \ beta _ {1} ^ {2} x}$ ${\ Displaystyle \ beta _ {1} ^ {2}}$ ${\ Displaystyle \ gamma}$ ${\ Displaystyle y = \ beta _ {0} + \ beta _ {1} (x) \ cdot x}$ ${\ Displaystyle \ beta _ {1} (x)}$ $x$

Przekształcenia danych są często używane do przekształcania równania w postać liniową. Na przykład funkcja Cobba-Douglasa — często używana w ekonomii — jest nieliniowa:

{\ Displaystyle Y = AL ^ {\ alfa} K ^ {1-\ alfa} e ^ {\ varepsilon}}

Ale można to wyrazić w postaci liniowej, biorąc logarytm naturalny obu stron:

{\ Displaystyle \ ln Y = \ ln A + \ alfa \ ln L + (1-\ alfa) \ ln K + \ varepsilon = \ beta _ {0} + \ beta _ {1} \ ln L + \ beta _ {2} \ w K+\varepsilon }

Założenie to obejmuje również kwestie specyfikacji: założenie, że wybrano odpowiednią formę funkcjonalną i nie ma pominiętych zmiennych .

Należy jednak mieć świadomość, że parametry minimalizujące reszty transformowanego równania niekoniecznie minimalizują reszty równania oryginalnego.

Ścisła egzogeniczność

We wszystkich obserwacjach oczekiwanie — uwarunkowane regresorami — składnika błędu wynosi zero: ${\ Displaystyle n}$

{\ Displaystyle \ operatorname {E} [\, \ varepsilon _ {i} \ mid \ mathbf {X} ] = \ operatorname {E} [\, \ varepsilon _ {i} \ mid \ mathbf {x} _ {1 },\kropki ,\mathbf {x} _{n}]=0.}

gdzie jest wektorem danych regresorów dla i- tej obserwacji, a co za tym idzie jest macierzą danych lub macierzą projektu. ${\ Displaystyle \ mathbf {x} _ {i} = {\ zacząć {bmatrix} x_ {i1} i x_ {i2} i \ cdots & x_ {ik} \ koniec {bmatrix}} ^ {\ mathsf {T}}}$ ${\ Displaystyle \ mathbf {X} = {\ zacząć {bmatrix} \ mathbf {x} _ {1} ^ {\ mathsf {T}} i \ mathbf {x} _ {2} ^ {\ mathsf {T}} &\cdots &\mathbf {x} _{n}^{\mathsf {T}}\end{bmacierz}}^{\mathsf {T}}}$

Z geometrycznego punktu widzenia założenie to implikuje, że i są do siebie ortogonalne , tak że ich iloczyn wewnętrzny (tj. moment poprzeczny) wynosi zero. ${\ Displaystyle \ mathbf {x} _ {i}}$ ${\ Displaystyle \ varepsilon _ {i}}$

{\ Displaystyle \ operatorname {E} [\, \ mathbf {x} _ {j} \ cdot \ varepsilon _ {i} \,] = {\ zacząć {bmatrix} \ operatorname {E} [\, {x} _ {j1}\cdot \varepsilon _{i}\,]\\\nazwa operatora {E} [\,{x}_{j2}\cdot \varepsilon _{i}\,]\\\vdots \\\nazwa operatora {E} [\,{x}_{jk}\cdot \varepsilon _{i}\,]\end{bmatrix}}=\mathbf {0} \quad {\text{dla wszystkich }}i,j\ Zajazd}

To założenie jest łamane, jeśli zmienne objaśniające są stochastyczne, na przykład gdy są mierzone z błędem lub są endogeniczne . Endogeniczność może być wynikiem jednoczesności , gdzie przyczynowość przepływa tam i z powrotem między zmienną zależną i niezależną. W celu rozwiązania tego problemu powszechnie stosuje się techniki zmiennych instrumentalnych .

Pełna ranga

Przykładowa macierz danych musi mieć pełną rangę kolumny . ${\ Displaystyle \ mathbf {X}}$

{\ Displaystyle \ operatorname {ranga} (\ mathbf {X}) = k}

W przeciwnym razie nie jest odwracalne i nie można obliczyć estymatora OLS. ${\ Displaystyle \ mathbf {X} '\ mathbf {X}}$

Naruszeniem tego założenia jest doskonała wielowspółliniowość , tzn. niektóre zmienne objaśniające są zależne liniowo. Jeden ze scenariuszy, w którym tak się stanie, nazywa się „pułapką na zmienną fikcyjną”, gdy podstawowa zmienna fikcyjna nie jest pominięta, co skutkuje doskonałą korelacją między zmiennymi fikcyjnymi a wyrazem stałym.

Współliniowość (o ile nie jest „doskonała”) może występować, co skutkuje mniej wydajnym, ale nadal bezstronnym oszacowaniem. Szacunki będą mniej precyzyjne i bardziej wrażliwe na poszczególne zestawy danych. Wielokoliniowość można wykryć między innymi na podstawie numeru warunku lub współczynnika inflacji wariancji .

Błędy sferyczne

Zewnętrzny iloczyn wektora błędu musi być kulista.

\operatorname {E} [\,{\boldsymbol {\varepsilon}}{\boldsymbol {\varepsilon ^{\mathsf {T}}}}\mid \mathbf {X}]=\operator {Var} [ \,{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\begin{bmatrix}\sigma ^{2}&0&\cdots &0\\0&\sigma ^{2}&\cdots &0\\ \vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma ^{2}\end{bmatrix}}=\sigma ^{2}\mathbf {I} \quad {\text{z }} \sigma ^{2}>0

Oznacza to, że składnik błędu ma jednolitą wariancję ( homoskedastyczność ) i nie ma zależności szeregowej. Jeśli to założenie zostanie naruszone, OLS jest nadal bezstronny, ale nieefektywny. Termin „błędy sferyczne” opisuje wielowymiarowy rozkład normalny: jeśli w wielowymiarowej gęstości normalnej, równanie jest wzorem na kulę o środku μ o promieniu σ w przestrzeni n-wymiarowej. $\operatorname {Var} [\,{\boldsymbol {\varepsilon}}\mid \mathbf {X}]=\sigma ^{2}\mathbf {I}$ $f(\varepsilon)=c$

Heteroskedastyczność występuje, gdy wielkość błędu jest skorelowana ze zmienną niezależną. Na przykład w regresji dotyczącej wydatków na żywność i dochodów błąd jest skorelowany z dochodem. Osoby o niskich dochodach wydają na ogół podobną kwotę na żywność, podczas gdy osoby o wysokich dochodach mogą wydawać bardzo duże kwoty lub nawet tak mało, jak osoby o niskich dochodach. Heteroskedastyka może być również spowodowana zmianami w praktykach pomiarowych. Na przykład, gdy urzędy statystyczne poprawiają swoje dane, błąd pomiaru maleje, więc składnik błędu maleje z czasem.

To założenie jest naruszone, gdy występuje autokorelacja . Autokorelację można zwizualizować na wykresie danych, gdy istnieje większe prawdopodobieństwo, że dana obserwacja leży powyżej dopasowanej linii, jeśli sąsiednie obserwacje również leżą powyżej dopasowanej linii regresji. Autokorelacja jest powszechna w danych szeregów czasowych, w których seria danych może wykazywać „bezwładność”. Jeśli zmienna zależna zajmuje trochę czasu, aby w pełni zaabsorbować wstrząs. Może również wystąpić autokorelacja przestrzenna, obszary geograficzne mogą mieć podobne błędy. Autokorelacja może być wynikiem błędnej specyfikacji, takiej jak wybór niewłaściwej formy funkcjonalnej. W takich przypadkach korekta specyfikacji jest jednym z możliwych sposobów radzenia sobie z autokorelacją.

W przypadku występowania błędów sferycznych, uogólniony estymator najmniejszych kwadratów może być NIEBIESKI.

Zobacz też

Inne bezstronne statystyki

Najlepsza liniowa bezstronna prognoza (BLUP)
Nieobciążony estymator minimalnej wariancji (MVUE)

Bibliografia

Dalsza lektura

Davidson, James (2000). „Analiza statystyczna modelu regresji”. Teoria ekonometryczna . Oksford: Blackwell. s. 17–36. Numer ISBN 0-631-17837-6.
Goldberger, Artur (1991). „Klasyczna regresja”. Kurs Ekonometrii . Cambridge: Wydawnictwo Uniwersytetu Harvarda. s. 160 -169. Numer ISBN 0-674-17544-1.
Theil, Henri (1971). „Najmniej kwadratów i standardowy model liniowy”. Zasady ekonometrii . Nowy Jork: John Wiley i synowie. s. 101 -162. Numer ISBN 0-471-85845-5.

Linki zewnętrzne

Najwcześniejsze znane zastosowania niektórych słów matematyki: G (krótka historia i wyjaśnienie nazwy)
Dowód twierdzenia Gaussa Markowa dla wielokrotnej regresji liniowej (wykorzystuje algebrę macierzową)
Dowód twierdzenia Gaussa Markowa przy użyciu geometrii

Languages

In other projects