Regresja kwantylowa — Quantile regression

Część serii na
Analiza regresji
Modele
Regresja liniowa Prosta regresja Regresja wielomianowa Ogólny model liniowy
Uogólniony model liniowy Dyskretny wybór Regresja dwumianowa Regresja binarna Regresja logistyczna Wielomianowa regresja logistyczna Logit mieszany Probit Probit wielomianowy Zamówiony logit Zamówiony probit Poissona
Model wielopoziomowy Naprawiono efekty Efekty losowe Liniowy model efektów mieszanych Nieliniowy model efektów mieszanych
Regresja nieliniowa Nieparametryczny Półparametryczny Solidny Kwantyl Izotoniczny Główne składniki Najmniejszy kąt Lokalny Segmentowane
Błędy w zmiennych
Oszacowanie
Najmniej kwadratów Liniowy Nieliniowy
Zwykły Ważony Uogólnione
Częściowy Całkowity Nieujemny Regresja grzbietowa Uregulowany
Najmniejsze bezwzględne odchylenia Iteracyjnie ponownie ważony Bayesowski Bayesowskie wielowymiarowe
Tło
Walidacja regresji Średnia i przewidywana odpowiedź Błędy i pozostałości Dobroć dopasowania Studentyzowane rezydualne Twierdzenie Gaussa-Markowa
Portal matematyczny
v T mi

Regresja kwantylowa to rodzaj analizy regresji stosowanej w statystyce i ekonometrii. Podczas gdy metoda najmniejszych kwadratów szacuje średnią warunkową zmiennej odpowiedzi w odniesieniu do wartości zmiennych predykcyjnych, regresja kwantylowa szacuje medianę warunkową (lub inne kwantyle ) zmiennej odpowiedzi. Regresja kwantylowa jest rozszerzeniem regresji liniowej stosowanej, gdy warunki regresji liniowej nie są spełnione.

Zalety i zastosowania

Jedną z zalet regresji kwantylowej w porównaniu ze zwykłą regresją metodą najmniejszych kwadratów jest to, że oszacowania regresji kwantylowej są bardziej odporne na wartości odstające w pomiarach odpowiedzi. Jednak główna atrakcja regresji kwantylowej wykracza poza to i jest korzystna, gdy interesujące są warunkowe funkcje kwantylowe. Różne miary tendencji centralnej i dyspersji statystycznej mogą być przydatne do uzyskania bardziej kompleksowej analizy związku między zmiennymi.

W ekologii regresja kwantylowa została zaproponowana i wykorzystana jako sposób na odkrycie bardziej użytecznych predykcyjnych relacji między zmiennymi w przypadkach, gdy nie ma związku lub jest tylko słaba zależność między średnimi takich zmiennych. Potrzebę i powodzenie regresji kwantylowej w ekologii przypisuje się złożoności interakcji między różnymi czynnikami, które prowadzą do danych o nierównej zmienności jednej zmiennej dla różnych zakresów innej zmiennej.

Innym zastosowaniem regresji kwantylowej są obszary wykresów wzrostu, gdzie krzywe centylowe są powszechnie używane do wykrywania nieprawidłowego wzrostu.

Historia

Pomysł szacowania mediany nachylenia regresji, główne twierdzenie o minimalizowaniu sumy absolutnych odchyleń oraz algorytm geometryczny do konstruowania mediany regresji, zaproponował w 1760 r. Ruđer Josip Bošković , jezuicki ksiądz katolicki z Dubrownika. Interesował się eliptycznością Ziemi, opierając się na sugestii Izaaka Newtona, że ​​jej obrót może spowodować jej wybrzuszenie na równiku z odpowiednim spłaszczeniem na biegunach. W końcu stworzył pierwszą geometryczną procedurę wyznaczania równika wirującej planety na podstawie trzech obserwacji cechy powierzchni. Co ważniejsze dla regresji kwantylowej, był w stanie opracować pierwszy dowód najmniejszego kryterium absolutnego i poprzedził najmniejsze kwadraty wprowadzone przez Legendre'a w 1805 roku o pięćdziesiąt lat.

Inni myśliciele zaczęli budować na idei Boškovića, tacy jak Pierre-Simon Laplace , który opracował tak zwaną „metodę sytuacji”. Doprowadziło to do mediany liczby mnogiej Francisa Edgewortha – geometrycznego podejścia do regresji mediany – i jest uznawane za prekursora metody simplex . Prace Boškovića, Laplace'a i Edgewortha zostały uznane za wstęp do wkładu Rogera Koenkera w regresję kwantylową .

Obliczenia regresji mediany dla większych zbiorów danych są dość żmudne w porównaniu z metodą najmniejszych kwadratów, dlatego historycznie generowała ona brak popularności wśród statystyków, aż do powszechnego przyjęcia komputerów w drugiej połowie XX wieku.

Kwantyle

Regresja kwantylowa wyraża kwantyle warunkowe zmiennej zależnej jako liniową funkcję zmiennych objaśniających. Kluczowe dla praktyczności regresji kwantylowej jest to, że kwantyle mogą być wyrażone jako rozwiązanie problemu minimalizacji, co pokażemy w tej sekcji przed omówieniem kwantyli warunkowych w następnej sekcji.

Kwantyl zmiennej losowej

Niech będzie zmienną losową o wartości rzeczywistej z dystrybuantą skumulowaną . Kwantylem p Y jest przez ${\ Displaystyle Y}$ ${\ Displaystyle F_ {Y} (y) = P (Y \ leq r)}$${\ Displaystyle \ tau}$

${\ Displaystyle q_ {Y} (\ tau) = F_ {Y} ^ {-1} (\ tau) = \ inf \ lewo \ {y: F_ {Y} (y) \ geq \ tau \ prawej \}}$

gdzie ${\ Displaystyle \ tau \ w (0,1).}$

Zdefiniuj funkcję straty jako , gdzie jest funkcją wskaźnika . ${\ Displaystyle \ rho _ {\ tau} (y) = r (\ tau - \ mathbb {ja} _ {(y <0)})}$${\displaystyle \mathbb {ja}}$

Konkretny kwantyl można znaleźć minimalizując oczekiwaną stratę w odniesieniu do :(s. 5–6): ${\ Displaystyle Yu}$${\ Displaystyle u}$

${\ Displaystyle q_ {Y} (\ tau ) = {\ underset {u} {\ mbox {arg min}}} E (\ rho _ {\ tau} (Yu)) = {\ underset {u} {\ mbox {arg min}}}{\biggl \{}(\tau -1)\int _{-\infty }^{u}(yu)dF_{Y}(y)+\tau \int _{u}^ {\infty }(yu)dF_{Y}(y){\biggr \}}.}$

Można to wykazać, obliczając pochodną oczekiwanej straty za pomocą całki Leibniza , ustawiając ją na 0 i pozwalając być rozwiązaniem ${\displaystyle q_{\tau}}$

${\ Displaystyle 0 = (1-\ tau) \ int _ {- \ infty} ^ {q_ {\ tau}} dF_ {Y} (y) - \ tau \ int _ {q_ {\ tau}} ^ {\ wiele }dF_{Y}(y).}$

To równanie redukuje się do

${\ Displaystyle 0 = F_ {Y} (q_ {\ tau}) - \ tau,}$

a potem do

${\ Displaystyle F_ {Y} (q_ {\ tau}) = \ tau.}$

Jeśli rozwiązanie nie jest jednoznaczne, to musimy wziąć najmniejsze takie rozwiązanie, aby otrzymać kwantyl zmiennej losowej Y . ${\displaystyle q_{\tau}}$${\ Displaystyle \ tau}$

Przykład

Pozwolić być dyskretną zmienną losową, która przyjmuje wartości z równych prawdopodobieństw. Zadanie polega na znalezieniu mediany Y, a tym samym dobieramy wartość . Wtedy oczekiwana strata wynosi ${\ Displaystyle Y}$${\displaystyle y_{i}=i}$${\displaystyle i=1,2,\kropki,9}$${\ Displaystyle \ tau = 0,5}$${\ Displaystyle Yu}$

${\ Displaystyle L (u) = E (\ rho _ {\ tau} (Yu)) = {\ Frac {(\ tau -1)} {9}} \ suma _ {y_ {i} <u}}$${\ Displaystyle (y_ {i}-u)}$${\ Displaystyle + {\ Frac {\ tau} {9}} \ suma _ {y_ {i} \ geq u}}$${\ Displaystyle (y_ {i}-u)}$${\ Displaystyle = {\ Frac {0,5} {9}} {\ Bigl (}}$${\displaystyle -}$${\ Displaystyle \ suma _ {y_ {i} <u}}$${\ Displaystyle (y_ {i}-u)}$${\ Displaystyle + \ suma _ {y_ {i} \ geq u}}$${\ Displaystyle (y_ {i}-u)}$${\ Displaystyle {\ Bigr}}.}$

Ponieważ jest stałą, można ją pobrać z funkcji oczekiwanej straty (jest to prawdą tylko wtedy, gdy ). Wtedy przy u =3, ${\ Displaystyle {0,5/9}}$${\ Displaystyle \ tau = 0,5}$

${\ Displaystyle L (3) \ propto \ suma _ {i = 1} ^ {2}}$${\displaystyle -(i-3)}$${\ Displaystyle + \ suma _ {i = 3} ^ {9}}$${\displaystyle (i-3)}$${\ Displaystyle = [(2+1)+(0+1+2+...+6)]=24.}$

Załóżmy, że u jest zwiększone o 1 jednostkę. Wówczas oczekiwana strata zostanie zmieniona poprzez zmianę u na 4. Jeżeli u =5, oczekiwana strata wynosi ${\ Displaystyle (3)-(6) = -3}$

${\ Displaystyle L (5) \ propto \ suma _ {i = 1} ^ {4}i + \ suma _ {i = 0} ^ {4}i = 20}$

a każda zmiana w u zwiększy oczekiwaną stratę. Zatem u =5 jest medianą. Poniższa tabela przedstawia oczekiwaną stratę (podzieloną przez ) dla różnych wartości u . ${\ Displaystyle {0,5/9}}$

ty	1	2	3	4	5	6	7	8	9
Oczekiwana strata	36	29	24	21	20	21	24	29	36

Intuicja

Rozważmy i niech q będzie wstępnym przypuszczeniem dla . Oczekiwana strata oszacowana na q to ${\ Displaystyle \ tau = 0,5}$${\displaystyle q_{\tau}}$

${\ Displaystyle L (q) = -0,5 \ inft _ {- \ infty} ^ {q} (yq) dF_ {Y} (y) + 0,5 \ inft _ {q} ^ {\ infty} (yq) dF_ { Y}(y).}$

Aby zminimalizować oczekiwaną stratę, przesuwamy nieco wartość q, aby zobaczyć, czy oczekiwana strata wzrośnie, czy spadnie. Załóżmy, że zwiększamy q o 1 jednostkę. Wtedy zmiana oczekiwanej straty byłaby

${\ Displaystyle \ int _ {- \ infty} ^ {q} 1dF_ {Y} (y) - \ int _ {q} ^ {\ infty} 1dF_ {Y} (y).}$

Pierwszy człon równania i drugi człon równania to . Dlatego zmiana funkcji oczekiwanej straty jest ujemna wtedy i tylko wtedy , gdy , czyli wtedy i tylko wtedy, gdy q jest mniejsze od mediany. Podobnie, jeśli zmniejszymy q o 1 jednostkę, zmiana oczekiwanej funkcji straty jest ujemna wtedy i tylko wtedy, gdy q jest większe niż mediana. ${\ Displaystyle F_ {Y} (q)}$${\ Displaystyle 1-F_ {Y} (q)}$${\ Displaystyle F_ {Y} (q) <0,5}$

Aby zminimalizować oczekiwaną funkcję straty, zwiększylibyśmy (zmniejszyli) L ( q ), jeśli q jest mniejsze (większe) niż mediana, aż q osiągnie medianę. Ideą minimalizacji jest policzenie liczby punktów (ważonych gęstością), które są większe lub mniejsze niż q, a następnie przeniesienie q do punktu, w którym q jest większe niż % punktów. ${\displaystyle 100\tau}$

Kwantyl próbki

Próbka kwantyl można otrzymać rozwiązując następujący problem minimalizacji ${\ Displaystyle \ tau}$

${\ Displaystyle {\ kapelusz {q}} _ {\ tau} = {\ underset {q \ w \ mathbb {R}} {\ mbox {arg min}}} \ suma _ {i = 1} ^ {n} \rho _{\tau }(y_{i}-q),}$

${\ Displaystyle = {\ underset {q \ w \ mathbb {R}} {\ mbox {arg min}}} \ lewo [(\ tau -1) \ suma _ {y_ {i} <q} (y_ {i }-q)+\tau \sum _{y_{i}\geq q}(y_{i}-q)\right]}$,

gdzie funkcja jest funkcją nachylonej wartości bezwzględnej. Intuicja jest taka sama jak w przypadku kwantyla populacji. ${\ Displaystyle \ rho _ {\ tau}}$

Warunkowa regresja kwantylowa i kwantylowa

Th warunkowy kwantylem podana jest th kwantylem na rozkład warunkowy z podana , ${\ Displaystyle \ tau}$${\ Displaystyle Y}$${\ Displaystyle X}$${\ Displaystyle \ tau}$${\ Displaystyle Y}$${\ Displaystyle X}$

${\ Displaystyle Q_ {Y | X} (\ tau) = \ inf \ lewo \ {y: F_ {Y | X} (y) \ geq \ tau \ prawo \}}$.

Kwantyl warunkowy oznaczymy wielkimi literami, aby wskazać, że jest to zmienna losowa. ${\displaystyle Q}$

W regresji kwantylowej dla kwantyla-tego zakładamy, że kwantyl warunkowy jest podany jako liniowa funkcja zmiennych objaśniających: ${\ Displaystyle \ tau}$${\ Displaystyle \ tau}$

${\ Displaystyle Q_ {Y | X} (\ tau) = X \ beta _ {\ tau}}$.

Biorąc pod uwagę dystrybuantę , można uzyskać rozwiązując ${\ Displaystyle Y}$${\ Displaystyle \ beta _ {\ tau}}$

${\ Displaystyle \ beta _ {\ tau} = {\ underset {\ beta \ w \ mathbb {R} ^ {k}} {\ mbox {arg min}}} E (\ rho _ {\ tau} (YX \ beta)).}$

Rozwiązanie analogu próbki daje estymator . ${\ Displaystyle \ beta}$

${\ Displaystyle {\ kapelusz {\ beta _ {\ tau}}} = {\ underset {\ beta \ w \ mathbb {R} ^ {k}} {\ mbox {arg min}}} \ suma _ {i = 1}^{n}(\rho _{\tau }(Y_{i}-X_{i}\beta)).}$

Należy zauważyć, że gdy funkcja straty jest proporcjonalna do funkcji wartości bezwzględnej, a zatem mediana regresji jest taka sama jak regresja liniowa o najmniejsze odchylenia bezwzględne . ${\ Displaystyle \ tau = 0,5}$${\ Displaystyle \ rho _ {\ tau}}$

Obliczanie oszacowań parametrów regresji

Formy matematyczne wynikające z regresji kwantylowej różnią się od tych powstałych w metodzie najmniejszych kwadratów . Metoda najmniejszych kwadratów prowadzi do rozpatrzenia problemów w wewnętrznej przestrzeni iloczynu , polegających na rzutowaniu na podprzestrzenie , dzięki czemu problem minimalizacji błędów kwadratów można sprowadzić do zadania numerycznej algebry liniowej . Regresja kwantylowa nie ma takiej struktury, a zamiast tego problem minimalizacji można przeformułować jako problem programowania liniowego

${\ Displaystyle {\ underset {\ beta, u ^ {+}, u ^ {-} \ w \ mathbb {R} ^ {k} \ razy \ mathbb {R} _ {+} ^ {2n}} {\ min }}\lewo\{\tau 1_{n}^{'}u^{+}+(1-\tau )1_{n}^{'}u^{-}|X\beta +u^{ +}-u^{-}=T\prawo\},}$

gdzie

${\ Displaystyle u_ {j} ^ {+} = \ max (u_ {j}, 0)}$ ,    ${\ Displaystyle u_ {j} ^ {-} = - \ min (u_ {j}, 0).}$

Do rozwiązania problemu programowania liniowego można zastosować metody simpleks lub metody punktów wewnętrznych .

Właściwości asymptotyczne

Dla , w pewnych warunkach regularności, jest asymptotycznie normalny : ${\ Displaystyle \ tau \ w (0,1)}$${\displaystyle {\kapelusz {\beta}}_{\tau}}$

${\ Displaystyle {\ sqrt {n}} ({\ kapelusz {\ beta}} _ {\ tau} - \ beta _ {\ tau}) {\ overset {d} {\ rightarrow}} N (0, \ tau (1-\tau )D^{-1}\Omega _{x}D^{-1}),}$

gdzie

${\ Displaystyle D = E (f_ {Y} (X \ beta) XX ^ {\ prime})}$ oraz ${\ Displaystyle \ Omega _ {x} = E (X ^ {\ Prime} X).}$

Bezpośrednia estymacja asymptotycznej macierzy wariancji-kowariancji nie zawsze jest zadowalająca. Wnioskowanie o parametrach regresji kwantylowej można przeprowadzić za pomocą testów regresji rang-score lub metod bootstrap.

Równoważność

Zapoznaj się z estymatorem niezmienniczym, aby poznać tło dotyczące niezmienności lub zobacz ekwiwariancję .

Skala równoważności

Dla każdego i${\displaystyle a>0}$${\ Displaystyle \ tau \ w [0,1]}$

${\displaystyle {\kapelusz {\beta}}(\tau;aY,X)=a{\kapelusz {\beta}}(\tau;Y,X)}$

${\displaystyle {\kapelusz {\beta}}(\tau;-aY,X)=-a{\kapelusz {\beta}}(1-\tau;Y,X).}$

Przesunięcie równoważności

Dla każdego i${\ Displaystyle \ gamma \ w R ^ {k}}$${\ Displaystyle \ tau \ w [0,1]}$

${\displaystyle {\kapelusz {\beta}}(\tau;Y+X\gamma,X)={\kapelusz {\beta}}(\tau;Y,X)+\gamma.}$

Równoważność do reparametryzacji projektu

Niech będzie dowolną nieosobliwą macierzą i${\ Displaystyle A}$${\displaystyle p\razy p}$${\ Displaystyle \ tau \ w [0,1]}$

${\displaystyle {\kapelusz {\beta}}(\tau;Y,XA)=A^{-1}{\kapelusz {\beta}}(\tau;Y,X).}$

Niezmienność wobec przekształceń monotonicznych

Jeśli jest funkcją niezmniejszającą się na , obowiązuje następująca właściwość niezmienności : ${\ Displaystyle h}$${\ Displaystyle \ mathbb {R}}$

${\ Displaystyle h (Q_ {Y | X} (\ tau)) \ równoważne Q_ {h (Y) | X} (\ tau).}$

Przykład 1):

Jeśli i , to . Średnia regresja nie ma tej samej własności, ponieważ${\ Displaystyle W = \ exp (Y)}$${\ Displaystyle Q_ {Y | X} (\ tau) = X \ beta _ {\ tau}}$${\ Displaystyle Q_ {W | X} (\ tau) = \ exp (X \ beta _ {\ tau})}$${\ Displaystyle \ operatorname {E} (\ ln (Y)) \ neq \ ln (\ operatorname {E} (Y)).}$

Bayesowskie metody regresji kwantylowej

Ponieważ regresja kwantylowa zwykle nie zakłada parametrycznej wiarygodności dla rozkładów warunkowych Y|X, metody bayesowskie działają z prawdopodobieństwem roboczym. Wygodnym wyborem jest asymetryczne wiarogodność Laplace'a, ponieważ mod powstałego a posteriori pod płaskim apresem jest zwykłymi oszacowaniami regresji kwantylowej. Wnioskowanie a posteriori należy jednak interpretować ostrożnie. Yang, Wang i On dostarczyli korektę wariancji a posteriori dla prawidłowego wnioskowania. Ponadto Yang i He wykazali, że można mieć asymptotycznie ważne wnioskowanie a posteriori, jeśli prawdopodobieństwo robocze zostanie wybrane jako prawdopodobieństwo empiryczne.

Metody uczenia maszynowego dla regresji kwantylowej

Oprócz prostej regresji liniowej istnieje kilka metod uczenia maszynowego, które można rozszerzyć na regresję kwantylową. Przełączenie z kwadratu błędu na funkcję utraty wartości bezwzględnej nachylenia umożliwia algorytmom uczenia opartym na zniżaniu gradientu nauczenie się określonego kwantyla zamiast średniej. Oznacza to, że możemy zastosować wszystkie algorytmy sieci neuronowych i głębokiego uczenia się do regresji kwantylowej. Algorytmy uczenia oparte na drzewach są również dostępne dla regresji kwantylowej (patrz np. Lasy regresji kwantyli, jako proste uogólnienie Lasów losowych ).

Ocenzurowana regresja kwantylowa

Jeśli zmienna odpowiedzi podlega cenzurze, warunkowa średnia nie jest identyfikowalna bez dodatkowych założeń dystrybucyjnych, ale warunkowy kwantyl jest często identyfikowalny. Najnowsze prace dotyczące cenzurowanej regresji kwantylowej można znaleźć w: Portnoy i Wang i Wang

Przykład (2):

Niech i . Następnie . Jest to model cenzurowanej regresji kwantylowej: szacunkowe wartości można uzyskać bez żadnych założeń co do rozkładu, ale kosztem trudności obliczeniowych, których niektórych można uniknąć, stosując prostą procedurę trzystopniowej cenzurowanej regresji kwantylowej jako aproksymację. ${\ Displaystyle Y ^ {c} = \ max (0, Y)}$${\ Displaystyle Q_ {Y | X} = X \ beta _ {\ tau}}$${\ Displaystyle Q_ {Y ^ {c} | X} (\ tau) = \ max (0, X \ beta _ {\ tau})}$

W przypadku losowego cenzurowania zmiennych odpowiedzi, ocenzurowana regresja kwantylowa Portnoya (2003) zapewnia spójne oszacowania wszystkich możliwych do zidentyfikowania funkcji kwantylowych w oparciu o odpowiednie ponowne ważenie każdego z cenzurowanych punktów.

Realizacje

Liczne pakiety oprogramowania statystycznego zawierają implementacje regresji kwantylowej:

• Funkcja Matlabquantreg
• Opinie , od wersji 6.
• gretl ma quantregpolecenie.
• R oferuje kilka pakietów, które wdrażają regresji kwantyli, przede wszystkim quantregprzez Roger Koenker , ale również gbm, quantregForest, qrnniqgam
• Python , przez Scikit-gardenistatsmodels
• SAS do proc quantreg(wer. 9.2) i proc quantselect(wer. 9.3).
• Stata , za pomocą qregpolecenia.
• Vowpal Wabbit , za pośrednictwem --loss_function quantile.
• Pakiet MathematicaQuantileRegression.m hostowany w projekcie MathematicaForPrediction na GitHub.

Bibliografia

Dalsza lektura

• Angrist, Joshua D. ; Pischke, Jörn-Steffen (2009). "Regresja kwantylowa" . Głównie nieszkodliwa ekonometria: towarzysz empirysty . Wydawnictwo Uniwersytetu Princeton. s. 269–291. Numer ISBN 978-0-691-12034-8.
• Koenker, Roger (2005). Regresja kwantylowa . Wydawnictwo Uniwersytetu Cambridge. Numer ISBN 978-0-521-60827-5.