Błędy standardowe zgodne z heteroskedastyką - Heteroscedasticity-consistent standard errors

Temat błędów standardowych heteroskedastyczności ( HC ) pojawia się w statystyce i ekonometrii w kontekście regresji liniowej i analizy szeregów czasowych . Są one również znane jako błędy standardowe odporne na heteroskedastyczność (lub po prostu błędy standardowe odporne ), błędy standardowe Eickera-Hubera-White'a (również błędy standardowe Hubera-White'a lub błędy standardowe White ), aby rozpoznać wkład Friedhelma Eickera , Petera J. Hubera i Halberta White'a .

W modelowaniu regresji i szeregów czasowych podstawowe formy modeli wykorzystują założenie, że błędy lub zakłócenia u _i mają taką samą wariancję we wszystkich punktach obserwacji. Jeśli tak nie jest, mówi się, że błędy są heteroskedastyczne lub mają heteroskedastyczność , a to zachowanie zostanie odzwierciedlone w resztach oszacowanych na podstawie dopasowanego modelu. Błędy standardowe zgodne z heteroskedastyką służą do dopasowania modelu, który zawiera reszty heteroskedastyczne. Pierwsze takie podejście zaproponował Huber (1967), a od tego czasu opracowano dalsze ulepszone procedury dla danych przekrojowych, danych szeregów czasowych i estymacji GARCH . ${\displaystyle {\widehat {u}}_{i}}$

Błędy standardowe zgodne z heteroskedastyką, które różnią się od klasycznych błędów standardowych, mogą wskazywać na błędną specyfikację modelu. Zastąpienie błędów standardowych zgodnych z heteroskedastycznością nie rozwiązuje tej błędnej specyfikacji, która może prowadzić do błędu systematycznego we współczynnikach. W większości sytuacji problem należy znaleźć i naprawić. Inne rodzaje korekt błędów standardowych, takie jak klastrowane błędy standardowe , można uznać za rozszerzenie błędów standardowych HC.

Historia

Błędy standardowe zgodne z heteroskedastyką wprowadził Friedhelm Eicker , a spopularyzował w ekonometrii Halbert White .

Problem

Rozważ model regresji liniowej

${\ Displaystyle Y = X \ beta + U \,}$

gdzie X jest wektorem zmiennych objaśniających, a β jest wektorem kolumnowym k × 1 parametrów do oszacowania.

W zwykłych najmniejszych kwadratów (OLS) estymator

${\ Displaystyle {\ widehat {\ beta}} _ {\ tekst {OLS}} = (\ mathbb {X} '\ mathbb {X} ) ^ {-1} \ mathbb {X} '\ mathbb {Y}. \,}$

gdzie oznacza macierz skumulowanych wartości zaobserwowanych w danych. ${\ Displaystyle \ mathbb {X}}$${\ Displaystyle X_ {i}'}$

Jeżeli błędy próbki mają równą wariancję σ ² i nie są skorelowane , wówczas oszacowanie metodą najmniejszych kwadratów β jest NIEBIESKIE (najlepszy liniowy nieobciążony estymator), a jego wariancja jest szacowana za pomocą

${\ Displaystyle V_ {\ tekst {OLS}} \ lewo [{\ widehat {\ beta}} _ {\ tekst {OLS}} \ prawo] = s ^ {2} (\ mathbb {X} '\ mathbb {X } )^{-1},\quad s^{2}={\frac {\sum _{i}{\widehat {u}}_{i}^{2}}{nk}}}$

gdzie są reszty regresji. ${\ Displaystyle {\ widehat {u}} _ {i} = Y_ {i}-X_ {i} {\ widehat {\ beta}} _ {\ tekst {OLS}}}$

Gdy warunki błędu nie mają stałej wariancji (tj. założenie jest nieprawdziwe), estymator MNK traci swoje pożądane właściwości. Formuła na wariancję nie może być teraz uproszczona: ${\ Displaystyle \ Operatorname {E} [uu'] = \ Sigma ^ {2} I_ {n}}$

${\ Displaystyle V \ lewo [{\ widehat {\ beta}} _ {\ tekst {OLS}} \ prawej] = V [(\ mathbb {X} '\ mathbb {X}) ^ {-1} \ mathbb { X} '\mathbb {Y} ]=(\mathbb {X} '\mathbb {X} )^{-1}\mathbb {X} '\Sigma \mathbb {X} (\mathbb {X} '\mathbb {X} )^{-1}}$

gdzie ${\ Displaystyle \ Sigma = V [u].}$

Chociaż estymator punktowy MNK pozostaje bezstronny, nie jest „najlepszy” w sensie posiadania minimalnego błędu średniokwadratowego, a estymator wariancji MNK nie zapewnia spójnego oszacowania wariancji szacunków MNK. ${\ Displaystyle V_ {\ tekst {OLS}} \ lewo [{\ widehat {\ beta}} _ {\ tekst {OLS}} \ prawo]}$

Jednak w przypadku każdego modelu nieliniowego (na przykład modeli logitowych i probitowych ) heteroskedastyczność ma poważniejsze konsekwencje: oszacowania maksymalnego prawdopodobieństwa parametrów będą obciążone (w nieznanym kierunku), a także niespójne (chyba że funkcja wiarygodności zmodyfikowane, aby poprawnie uwzględnić dokładną formę heteroskedastyczności). Jak zauważył Greene , „zwykłe obliczenie solidnej macierzy kowariancji dla inaczej niespójnego estymatora nie zapewnia jej wykupu”.

Rozwiązanie

Jeżeli błędy regresji są niezależne, ale mają wyraźne wariancje σ _i ² , to można je oszacować za pomocą . Daje to estymator White'a (1980), często określany jako HCE (heteroskedasticity-consistent estymator): ${\displaystyle u_{i}}$${\ Displaystyle \ Sigma = \ operatorname {diag} (\ sigma _ {1} ^ {2}, \ ldots, \ sigma _ {n} ^ {2})}$${\ Displaystyle {\ widehat {\ sigma}} _ {i} ^ {2} = {\ widehat {u}} _ {i} ^ {2}}$

${\ Displaystyle {\ zacząć {wyrównany} v_ {\ tekst {HCE}} \ lewo [{\ widehat {\ beta}} _ {\ tekst {OLS}} \ prawo] & = {\ Frac {1} {n} }\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\left({\frac {1}{n}} \sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{2}\right)\left({\frac {1}{n}}\sum _{ i}X_{i}X_{i}'\right)^{-1}\\&=(\mathbb {X} '\mathbb {X} )^{-1}(\mathbb {X} '\operatorname {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat {u}}_{n}^{2})\mathbb {X} )(\mathbb {X } '\mathbb {X} )^{-1},\end{wyrównany}}}$

gdzie jak wyżej oznacza macierz skumulowanych wartości z danych. Estymator można wyprowadzić w terminach uogólnionej metody momentów (GMM). ${\ Displaystyle \ mathbb {X}}$${\ Displaystyle X_ {i}'}$

Często opisane w literaturze (obejmującej papier White), jest macierzą kowariancji z -consistent dystrybucji ograniczającą: ${\displaystyle {\widehat {\omega}}_{n}}$${\displaystyle {\sqrt {n}}}$

${\ Displaystyle {\ sqrt {n}} ({\ widehat {\ beta}} _ {n} - \ beta) \ {\ xrightarrow {d}} \, N (0, \ Omega),}$

gdzie

${\ Displaystyle \ Omega = \ operatorname {E} [XX '] ^ {-1} \ operatorname {Var} [Xu] \ operatorname {E} [XX '] ^ {-1}}$

oraz

${\ Displaystyle {\ zacząć {wyrównany} {\ widehat {\ Omega}} _ {n} i = \ lewo ({\ Frac {1} {n}} \ suma _ {i} X_ {i} X_ {i} '\right)^{-1}\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'{\widehat {u}}_{i}^{ 2}\right)\left({\frac {1}{n}}\sum _{i}X_{i}X_{i}'\right)^{-1}\\&=n(\mathbb { X} '\mathbb {X} )^{-1}(\mathbb {X} '\nazwa operatora {diag} ({\widehat {u}}_{1}^{2},\ldots ,{\widehat { u}}_{n}^{2})\mathbb {X} )(\mathbb {X} '\mathbb {X} )^{-1}\end{wyrównany}}}$

Zatem,

${\ Displaystyle {\ widehat {\ Omega }} _ {n} = n \ cdot v_ {\ tekst {HCE}} [{\ widehat {\ beta}} _ {\ tekst {OLS}}]}$

oraz

${\displaystyle {\widehat {\operatorname {Var}}}[Xu]={\frac {1}{n}}\sum _ {i}X_{i}X_{i}'{\widehat {u}} _{i}^{2}={\frac {1}{n}}\mathbb {X} '\nazwa operatora {diag} ({\widehat {u}}_{1}^{2},\ldots , {\widehat {u}}_{n}^{2})\mathbb {X} .}$

To, która macierz kowariancji jest przedmiotem zainteresowania, jest kwestią kontekstu.

Alternatywne estymatory zostały zaproponowane przez MacKinnona i White'a (1985), które korygują nierówne wariancje reszt regresji ze względu na różne dźwignie . W przeciwieństwie do asymptotycznego estymatora White'a, ich estymatory są bezstronne, gdy dane są homoskedastyczne.

Zobacz też

Oprogramowanie

• EViews : EViews wersja 8 oferuje trzy różne metody niezawodnej metody najmniejszych kwadratów: estymacja M (Huber, 1973), estymacja S (Rousseeuw i Yohai, 1984) i estymacja MM (Yohai 1987).
• MATLAB : Zobacz hacfunkcję w przyborniku Ekonometrii.
• Python : Pakiet Statsmodel oferuje różne solidne oszacowania błędów standardowych, zobacz statsmodels.regression.linear_model.RegressionResults, aby uzyskać dalsze opisy
• R : vcovHC()polecenie z pakietu kanapkowego .
• RATS : robusterrors opcja jest dostępna w wielu poleceń regresji i optymalizacji ( regresji liniowej LinReg , nlls , etc.).
• Stata : robustopcja stosowana w wielu procedurach opartych na pseudoprawdopodobieństwie.
• Gretl : opcja --robustkilku poleceń szacowania (takich jak ols) w kontekście przekrojowego zbioru danych generuje solidne błędy standardowe.

Bibliografia

Dalsza lektura

• Wyzwoleniec, David A. (2006). „Na tak zwanej«Huber Sandwich Estymator»i«Solidne Błędy standardowe » ”. Statystyk amerykański . 60 (4): 299–302. doi : 10.1198/000313006X152207 . S2CID  6222876 .
• Hardin, James W. (2003). „Oszacowanie wariancji kanapki”. W Fomby, Thomas B.; Hill, R. Carter (wyd.). Szacowanie maksymalnego prawdopodobieństwa błędnie określonych modeli: dwadzieścia lat później . Amsterdam: Elsevier. s. 45-74. Numer ISBN 0-7623-1075-8.
• Hayes, Andrew F.; Cai, Li (2007). „Korzystanie z estymatorów błędów standardowych zgodnych z heteroskedastycznością w regresji OLS: wprowadzenie i implementacja oprogramowania” . Metody badania zachowania . 39 (4): 709–722. doi : 10.3758/BF03192961 . PMID  18183883 .
• król Gary ; Roberts, Margaret E. (2015). „Jak solidne błędy standardowe ujawniają problemy metodologiczne, których nie naprawiają i co z tym zrobić” . Analiza polityczna . 23 (2): 159–179. doi : 10.1093/pan/mpu015 .
• Wooldridge, Jeffrey M. (2009). „Wnioskowanie heteroskedastyczno-odporne po estymacji OLS”. Ekonometria wprowadzająca: nowoczesne podejście (wyd. czwarte). Mason: Południowo-Zachodni. s. 265-271. Numer ISBN 978-0-324-66054-8.
• Buja, Andreas i in. „Modele jako przybliżenia - spisek losowych regresorów i odchyleń modelu przeciwko klasycznemu wnioskowaniu w regresji”. Nauki statystyczne (2015): 1. pdf