Estymacja macierzy kowariancji - Estimation of covariance matrices

W statystykach , czasami macierz kowariancji o wektor losowy nie jest znana, ale musi zostać oszacowana . Estymacja macierzy kowariancji zajmuje się zatem pytaniem, jak aproksymować rzeczywistą macierz kowariancji na podstawie próbki z rozkładu wielowymiarowego . Proste przypadki, w których obserwacje są kompletne, można rozwiązać za pomocą macierzy kowariancji próbki . Próbkowa macierz kowariancji (SCM) jest nieobciążonym i wydajnym estymatorem macierzy kowariancji, jeśli przestrzeń macierzy kowariancji jest postrzegana jako zewnętrzny wypukły stożek w R ^{p × p} ; Jednakże, mierzona za pomocą wewnętrznej geometrii z dodatnio określony matryc , SCM jest dociskany i nieefektywne estymatora. Ponadto, jeśli zmienna losowa ma rozkład normalny , próbkowa macierz kowariancji ma rozkład Wisharta, a jego nieco inaczej skalowana wersja jest oszacowaniem maksymalnego prawdopodobieństwa . Sprawy, w których brakuje danych, wymagają głębszego rozważenia. Inną kwestią jest odporność na wartości odstające , na które macierze kowariancji próbki są bardzo wrażliwe.

Analizy statystyczne danych wielowymiarowych często obejmują badania eksploracyjne sposobu, w jaki zmienne zmieniają się w stosunku do siebie, a po tym mogą następować wyraźne modele statystyczne obejmujące macierz kowariancji zmiennych. Zatem estymacja macierzy kowariancji bezpośrednio z danych obserwacyjnych odgrywa dwie role:

• dostarczenie wstępnych szacunków, które można wykorzystać do badania wzajemnych relacji;
• dostarczenie przykładowych szacunków, które można wykorzystać do sprawdzenia modelu.

Oszacowania macierzy kowariancji są wymagane na początkowych etapach analizy głównych składowych i analizy czynnikowej , a także biorą udział w wersjach analizy regresji, które traktują zmienne zależne w zbiorze danych, łącznie ze zmienną niezależną jako wynik próby losowej .

Estymacja w kontekście ogólnym

Biorąc pod uwagę próbki składa się z n niezależnych obserwacji x ₁ , ..., x _n z p -wymiarowego wektora losowego X ∈ R ^{P x 1} (a p x 1 kolumny wektor), co stanowi nieobciążony estymatora z ( p x p ) macierz kowariancji

${\ Displaystyle \ operatorname {\ Sigma} = \ operatorname {E} \ lewo [\ lewo (X \ operatorname {E} [X] \ prawo) \ lewo (X \ operator {E} [X] \ prawo) ^{\mathrm {T} }\right]}$

jest przykładową macierzą kowariancji

${\ Displaystyle \ mathbf {Q} = {1 \ nad {n-1}} \ suma _ {i = 1} ^ {n} (x_ {i} - {\ nadkreślenie {x}}) (x_ {i} -{\overline {x}})^{\mathrm {T}},}$

gdzie jest i -ta obserwacja p -wymiarowego wektora losowego, a wektor ${\displaystyle x_{i}}$

${\ Displaystyle {\ overline {x}} = {1 \ nad {n}} \ suma _ {i = 1} ^ {n} x_ {i}}$

jest średnią próbki . Dzieje się tak niezależnie od rozkładu zmiennej losowej X , oczywiście pod warunkiem, że istnieją teoretyczne średnie i kowariancje. Powód dla czynnika n  − 1 zamiast n jest zasadniczo taki sam jak powód pojawienia się tego samego czynnika w nieobciążonych oszacowaniach wariancji próby i kowariancji próby , co wiąże się z faktem, że średnia nie jest znana i jest zastępowana przez próbę średnia (patrz poprawka Bessela ).

W przypadkach, gdy wiadomo, że rozkład zmiennej losowej X należy do pewnej rodziny rozkładów, na podstawie tego założenia można wyprowadzić inne szacunki. Dobrze znanym przypadkiem jest sytuacja, w której zmienna losowa X ma rozkład normalny : w tym przypadku estymator największej wiarygodności macierzy kowariancji jest nieco inny od oszacowania bezobciążonego i jest wyrażony wzorem

${\ Displaystyle \ mathbf {Q_ {n}} = {1 \ ponad n} \ suma _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (x_ {i} - {\overline {x}})^{\mathrm {T}}.}$

Wyprowadzenie tego wyniku podano poniżej. Oczywiście różnica między estymatorem nieobciążonym a estymatorem największego prawdopodobieństwa maleje dla dużego n .

W ogólnym przypadku bezobciążone oszacowanie macierzy kowariancji zapewnia akceptowalne oszacowanie, gdy wektory danych w obserwowanym zbiorze danych są wszystkie, to znaczy nie zawierają brakujących elementów . Jednym z podejść do estymacji macierzy kowariancji jest traktowanie estymacji każdej wariancji lub kowariancji parami oddzielnie i wykorzystanie wszystkich obserwacji, dla których obie zmienne mają prawidłowe wartości. Zakładając, że brakujących danych brakuje losowo, daje to oszacowanie macierzy kowariancji, która jest nieobciążona. Jednak w przypadku wielu zastosowań oszacowanie to może nie być akceptowalne, ponieważ nie ma gwarancji, że oszacowana macierz kowariancji będzie dodatnia półokreślona. Może to prowadzić do szacowanych korelacji mających wartości bezwzględne, które są większe niż jeden, i/lub nieodwracalnej macierzy kowariancji.

Podczas szacowania kowariancji krzyżowej pary sygnałów, które są szerokopasmowe stacjonarne , brakujące próbki nie muszą być losowe (np. prawidłowe jest podpróbkowanie według arbitralnego czynnika).

Estymacja maksymalnego prawdopodobieństwa dla wielowymiarowego rozkładu normalnego

Losowy wektor X ∈ R ^p (a P x 1 „wektor kolumna”) ma wielowymiarowego normalnego dystrybucyjnych z nieosobliwa macierzy kowariancji Σ właśnie jeśli Σ ∈ R ^{P x P} jest macierzą dodatnio określony i funkcja gęstości prawdopodobieństwa z X jest

${\ Displaystyle f (x) = (2 \ pi ) ^ {- {\ Frac {p} {2}}} \ \ det (\ Sigma) ^ {- {\ Frac {1} {2}}} \ exp \left(-{1 \over 2}(x-\mu )^{\mathrm {T} }\Sigma ^{-1}(x-\mu )\right)}$

gdzie ľ ∈ R ^{P x 1} jest oczekiwana wartość od X . Kowariancji Σ jest wielowymiarowy analogowych, co w jednym kierunku będzie wariancji i

${\ Displaystyle (2 \ pi ) ^ {- {\ Frac {p} {2}}} \ det (\ Sigma) ^ {- {\ Frac {1} {2}}}}$

normalizuje gęstość tak, że integruje się do 1. ${\displaystyle f(x)}$

Załóżmy teraz, że X ₁ , ..., X _n są niezależnymi i identycznie rozłożonymi próbkami z powyższego rozkładu. Na podstawie zaobserwowanych wartości x ₁ , ..., x _n tej próbki , chcemy oszacować Σ.

Pierwsze kroki

Funkcja wiarygodności to:

${\ Displaystyle {\ mathcal {L}} (\ mu \ Sigma) = (2 \ pi) ^ {- {\ Frac {np} {2}}} \ \ prod _ {i = 1} ^ {n }\det(\Sigma )^{-{\frac {1}{2}}}\exp \left(-{\frac {1}{2}}(x_{i}-\mu )^{\mathrm {T} }\Sigma ^{-1}(x_{i}-\mu )\right)}$

Dość łatwo można wykazać, że oszacowanie maksymalnego prawdopodobieństwa średniego wektora μ jest wektorem „ średniej próbki ”:

${\ Displaystyle {\ overline {x}} = {\ Frac {x_ {1}+ \ cdots + x_ {n}} {n}}.}$

Zobacz sekcję o estymacji w artykule o normalnym rozkładzie po szczegóły; tutaj proces jest podobny.

Ponieważ oszacowanie nie zależy od Σ, możemy po prostu podstawić je za μ w funkcji wiarogodności , otrzymując ${\displaystyle {\bar {x}}}$

${\ Displaystyle {\ mathcal {L}} ({\ overline {x}}, \ Sigma) \ propto \ det (\ Sigma) ^ {- {\ Frac {n} {2}}} \ exp \ lewo (- {1 \over 2}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{\mathrm {T} }\Sigma ^{-1}(x_{ i}-{\overline {x}})\right),}$

a następnie poszukaj wartości Σ, która maksymalizuje prawdopodobieństwo danych (w praktyce łatwiej jest pracować z log  ). ${\displaystyle {\mathcal {L}}}$

Ślad macierzy 1×1

Teraz dochodzimy do pierwszego zaskakującego kroku: traktujemy skalar jako ślad macierzy 1×1. Umożliwia to użycie tożsamości tr( AB ) = tr( BA ) zawsze, gdy A i B są macierzami tak ukształtowanymi, że oba produkty istnieją. dostajemy ${\ Displaystyle (x_ {i} - {\ overline {x}}) ^ {\ operatorname {T}} \ Sigma ^ {-1} (x_ {i} - {\ overline {x}})}$

${\ Displaystyle {\ zacząć {wyrównany} {\ mathcal {L}} ({\ overline {x}}, \ Sigma) i \ propto \ det (\ Sigma) ^ {- {\ Frac {n} {2}} }\exp \left(-{1 \over 2}\sum _{i=1}^{n}\left(\left(x_{i}-{\overline {x}}\right)^{\mathrm {T} }\Sigma ^{-1}\left(x_{i}-{\overline {x}}\right)\right)\right)\\&=\det(\Sigma )^{-{\ frac {n}{2}}}\exp \left(-{1 \over 2}\sum _{i=1}^{n}\operatorname {tr} \left(\left(x_{i}-{ \overline {x}}\right)\left(x_{i}-{\overline {x}}\right)^{\mathrm {T} }\Sigma ^{-1}\right)\right)\\ &=\det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\operatorname {tr} \left(\sum _{i=1} ^{n}\left(x_{i}-{\overline {x}}\right)\left(x_{i}-{\overline {x}}\right)^{\mathrm {T} }\Sigma ^{-1}\right)\right)\\&=\det(\Sigma )^{-{\frac {n}{2}}}\exp \left(-{1 \over 2}\operatorname { tr} \left(S\Sigma ^{-1}\right)\right)\end{aligned}}}$

gdzie

${\ Displaystyle S = \ suma _ {i = 1} ^ {n} (x_ {i} - {\ overline {x}}) (x_ {i} - {\ overline {x}}) ^ {\ operatorname { T} }\in \mathbf {R} ^{p\times p}.}$

${\displaystyle S}$jest czasami nazywana macierzą rozrzutu i jest dodatnio określona, ​​jeśli istnieje podzbiór danych składający się z afinicznie niezależnych obserwacji (co założymy). ${\displaystyle p}$

Korzystanie z twierdzenia spektralnego

Z spektralnej twierdzenia o liniowym Algebra że dodatnio określony symetrycznych macierzy S ma unikalną dodatniej określony symetryczny pierwiastek S ^1/2 . Możemy ponownie użyć do zapisu „właściwości cykliczności” śladu

${\ Displaystyle \ det (\ Sigma ) ^ {- {\ Frac {n} {2}}} \ exp \ lewo (- {1 \ ponad 2} \ operatorname {tr} \ lewo (S ^ {\ Frac {1 }{2}}\Sigma ^{-1}S^{\frac {1}{2}}\right)\right).}$

Niech B = S ^1/2 Σ ^-1 S ^1/2 . Wtedy powyższe wyrażenie staje się

${\ Displaystyle \ det (S) ^ {- {\ Frac {n} {2}}} \ det (B) ^ {\ Frac {n} {2}} \ exp \ lewo (- {1 \ ponad 2} \operatorname {tr} (B)\right).}$

Macierz dodatnio określona B może być diagonalizowana, a następnie problem ze znalezieniem wartości B, która maksymalizuje

${\ Displaystyle \ det (B) ^ {\ Frac {n} {2}} \ exp \ lewo (- {1 \ ponad 2} \ operatorname {tr} (B) \ prawej)}$

Ponieważ ślad macierzy kwadratowej jest równy sumie wartości własnych ( „ślad i wartości własne” ), równanie sprowadza się do problemu znalezienia wartości własnych λ ₁ , ..., λ _{p ,} które maksymalizują

${\ Displaystyle \ Lambda _ {i} ^ {\ Frac {n} {2}} \ exp \ lewo (- {\ Frac {\ Lambda _ {i}} {2}} \ po prawej).}$

To jest tylko problem rachunku różniczkowego i otrzymujemy λ _i = n dla wszystkich i. Załóżmy zatem, że Q jest macierzą wektorów własnych, wtedy

${\ Displaystyle B = Q (nI_ {p}) Q ^ {-1} = nI_ {p}}$

tj. n razy macierz tożsamości p × p .

Etapy końcowe

Wreszcie dostajemy

${\ Displaystyle \ Sigma = S ^ {\ Frac {1} {2}} B ^ {-1} S ^ {\ Frac {1} {2}} = S ^ {\ Frac {1} {2}} \ lewo({\frac {1}{n}}I_{p}\right)S^{\frac {1}{2}}={\frac {S}{n}},}$

tj. p × p „przykładowa macierz kowariancji”

${\ Displaystyle {S \ nad n} = {1 \ nad n} \ suma _ {i = 1} ^ {n} (X_ {i} - {\ nadkreślenie {X}}) (X_ {i} - {\ nadkreślenie {X}})^{\mathrm {T} }}$

jest estymatorem maksymalnego prawdopodobieństwa „macierzy kowariancji populacji” Σ. W tym momencie używamy dużej litery X, a nie małej litery x, ponieważ myślimy o niej „jako estymator, a nie jako oszacowanie”, tj. jako coś losowego, którego rozkład prawdopodobieństwa moglibyśmy zyskać dzięki poznaniu. Można wykazać, że macierz losowa S ma rozkład Wisharta o n − 1 stopniach swobody. To znaczy:

${\ Displaystyle \ suma _ {i = 1} ^ {n} (X_ {i} - {\ overline {X}}) (X_ {i} - {\ overline {X}}) ^ {\ operatorname {T} }\sim W_{p}(\Sigma ,n-1).}$

Alternatywne pochodzenie

Alternatywne wyprowadzenie estymatora największej wiarogodności można przeprowadzić za pomocą wzorów na rachunek macierzowy (patrz też różniczka wyznacznika i różniczka macierzy odwrotnej ). Weryfikuje również powyższy fakt o oszacowaniu maksymalnego prawdopodobieństwa średniej. Przepisz prawdopodobieństwo w formularzu dziennika, korzystając ze sztuczki śledzenia:

${\ Displaystyle \ ln {\ mathcal {L}} (\ mu \ Sigma) = \ nazwa operatora {stała} - {n \ ponad 2} \ ln \ det (\ Sigma) - {1 \ ponad 2} \ nazwa operatora { tr} \left[\Sigma ^{-1}\sum _{i=1}^{n}(x_{i}-\mu )(x_{i}-\mu )^{\mathrm {T} } \dobrze].}$

Różnica tego logarytmicznego prawdopodobieństwa to:

${\ Displaystyle d \ ln {\ mathcal {L}} (\ mu \ Sigma) = - {\ Frac {n} {2}} \ operatorname {tr} \ lewo [\ Sigma ^ {-1} \ lewo \ {d\Sigma \right\}\right]-{1 \over 2}\operatorname {tr} \left[-\Sigma ^{-1}\{d\Sigma \}\Sigma ^{-1}\sum _{i=1}^{n}(x_{i}-\mu )(x_{i}-\mu )^{\mathrm {T} }-2\Sigma ^{-1}\sum _{i =1}^{n}(x_{i}-\mu )\{d\mu \}^{\mathrm {T} }\right].}$

W naturalny sposób dzieli się na część związaną z estymacją średniej oraz na część związaną z estymacją wariancji. Pierwszy warunek zamówienie do maksimum , jest spełniony, gdy terminy pomnożenie i są identycznie zero. Zakładając, że (oszacowanie największego prawdopodobieństwa) jest nieosobliwe, warunek pierwszego rzędu dla oszacowania wektora średniej jest ${\ Displaystyle d \ ln {\ mathcal {L}} (\ mu \ Sigma) = 0}$${\displaystyle d\mu}$${\displaystyle d\sigma}$${\ Displaystyle \ Sigma}$

${\ Displaystyle \ suma _ {i = 1} ^ {n} (x_ {i} - \ mu) = 0,}$

co prowadzi do estymatora największej wiarygodności

${\ Displaystyle {\ widehat {\ mu}} = {\ bar {X}} = {1 \ ponad n} \ suma _ {i = 1} ^ {n} X_ {i}.}$

To pozwala nam uprościć

${\ Displaystyle \ suma _ {i = 1} ^ {n} (x_ {i} - \ mu) (x_ {i} - \ mu) ^ {\ operatorname {T}} = \ suma _ {i = 1} ^{n}(x_{i}-{\bar {x}})(x_{i}-{\bar {x}})^{\mathrm {T} }=S}$

jak zdefiniowano powyżej. Następnie terminy obejmujące w można łączyć jako ${\displaystyle d\sigma}$${\displaystyle d\lnl}$

${\ Displaystyle - {1 \ ponad 2} \ operatorname {tr} \ po lewej (\ Sigma ^ {-1} \ po lewej \ {d \ Sigma \ po prawej \} \ po lewej [nI_ {p} - \ Sigma ^ {-1 }S\w prawo]\w prawo).}$

Warunek pierwszego rzędu zostanie spełniony , gdy wyraz w nawiasie kwadratowym ma wartość (o wartości macierzy) zero. Wstępne pomnożenie tego ostatniego przez i dzielenie przez daje ${\ Displaystyle d \ ln {\ mathcal {L}} (\ mu \ Sigma) = 0}$${\ Displaystyle \ Sigma}$${\ Displaystyle n}$

${\ Displaystyle {\ widehat {\ Sigma}} = {1 \ ponad n} S}$

co oczywiście pokrywa się z podanym wcześniej kanonicznym wyprowadzeniem.

Dwyer wskazuje, że dekompozycja na dwa terminy, takie jak powyżej, jest „niepotrzebna” i wyprowadza estymator w dwóch liniach pracy. Zauważ, że może nie być trywialne wykazanie, że taki pochodny estymator jest unikalnym globalnym maksymalizatorem funkcji wiarygodności.

Estymacja macierzy kowariancji wewnętrznej

Wewnętrzne oczekiwanie

Biorąc pod uwagę próbki z n niezależnie uwagi x ₁ , ..., x _n z p -wymiarowej zerową średnią gaussowskiego zmiennej losowej X z kowariancji R The maksymalne prawdopodobieństwo estymator z R jest przez

${\ Displaystyle {\ kapelusz {\ mathbf {R}}} = {1 \ ponad n} \ suma _ {i = 1} ^ {n} x_ {i} x_ {i} ^ {\ operatorname {T}}. }$

Parametr należy do zbioru macierzy dodatnio określonych , który jest rozmaitością Riemanna , a nie przestrzenią wektorową , stąd zwykłe pojęcia oczekiwania w przestrzeni wektorowej , tj. „ ”, a obciążenie estymatora musi być uogólnione na rozmaitości, aby mieć sens problem estymacji macierzy kowariancji. Można tego dokonać, definiując oczekiwanie wielowartościowego estymatora względem punktu o wielorakiej wartości jako ${\ Displaystyle R}$${\ Displaystyle \ operatorname {E} [{\ kapelusz {\ mathbf {R}}}]}$${\displaystyle {\kapelusz {\mathbf {R}}}}$${\ Displaystyle R}$

${\ Displaystyle \ operatorname {e} _ {\ mathbf {R} } [{\ kapelusz {\ mathbf {R}}}] \ {\ stackrel {\ operatorname {def}} {=}} \ \ exp _ {\ mathbf {R} }\mathrm {E} \left[\exp _{\mathbf {R} }^{-1}{\hat {\mathbf {R} }}\right]}$

gdzie

${\ Displaystyle \ exp _ {\ mathbf {R} } ({\ kapelusz {\ mathbf {R}}}) = \ mathbf {R} ^ {\ Frac {1} {2}} \ exp \ lewo (\ mathbf {R} ^{-{\frac {1}{2}}}{\hat {\mathbf {R} }}\mathbf {R} ^{-{\frac {1}{2}}}\right) \mathbf {R} ^{\frac {1}{2}}}$

${\ Displaystyle \ exp _ {\ mathbf {R} } ^ {-1} ({\ kapelusz {\ mathbf {R}}}) = \ mathbf {R} ^ {\ Frac {1} {2}} \ lewo (\log \mathbf {R} ^{-{\frac {1}{2}}}{\hat {\mathbf {R} }}\mathbf {R} ^{-{\frac {1}{2} }}\right)\mathbf {R} ^{\frac {1}{2}}}$

to mapa wykładniczy i odwrotne odwzorowanie exp odpowiednio „Exp” i „log” oznacza zwykłą macierz wykładniczy i matryca logarytm i E [·] jest zwykłym operator wartości oczekiwanej zdefiniowano w przestrzeń wektorową, w tym przypadku przestrzeni styczna z kolektor.

Obciążenie próbki macierzy kowariancji

Wewnętrzną Odchylenie pole wektorowe estymatora SCM określa się jako ${\displaystyle {\kapelusz {\mathbf {R}}}}$

${\ Displaystyle \ mathbf {B} ({\ kapelusz {\ mathbf {R}}}) = \ exp _ {\ mathbf {R}} ^ {-1} \ mathrm {E} _ {\ mathbf {R}} \left[{\hat {\mathbf {R} }}\right]=\mathrm {E} \left[\exp _{\mathbf {R} }^{-1}{\hat {\mathbf {R} }}\dobrze]}$

Wewnętrzny błąd estymatora jest następnie podawany przez . ${\ Displaystyle \ exp _ {\ mathbf {R} } \ mathbf {B} ({\ kapelusz {\ mathbf {R}}})}$

W przypadku złożonych zmiennych losowych Gaussa to pole wektora odchylenia może być równe

${\ Displaystyle \ mathbf {B} ({\ kapelusz {\ mathbf {R}}}) = - \ beta (p, n) \ mathbf {R}}$

gdzie

${\ Displaystyle \ beta (p, n) = {\ Frac {1} {p}} \ lewo (p \ log n + p \ psi (n p + 1) + (n p + 1) \ psi (n-p+2)+\psi (n+1)-(n+1)\psi (n+2)\prawo)}$

a ψ(·) jest funkcją digammy . Wewnętrzne obciążenie macierzy kowariancji próbki wynosi

${\ Displaystyle \ exp _ {\ mathbf {R} } \ mathbf {B} ({\ kapelusz {\ mathbf {R}}}) = e ^ {- \ beta (p, n)} \ mathbf {R}}$

a SCM jest asymptotycznie nieobciążony jako n → ∞.

Podobnie, wewnętrzna nieefektywność macierzy kowariancji próbki zależy od krzywizny Riemanna przestrzeni macierzy dodatnio określonych.

Szacowanie skurczu

Jeżeli wielkość próby n jest mała, a liczba rozważanych zmiennych p jest duża, powyższe empiryczne estymatory kowariancji i korelacji są bardzo niestabilne. W szczególności możliwe jest dostarczenie estymatorów, które znacznie poprawiają oszacowanie maksymalnego prawdopodobieństwa w kategoriach błędu średniokwadratowego. Co więcej, dla n  <  p (liczba obserwacji jest mniejsza niż liczba zmiennych losowych) empiryczna ocena macierzy kowariancji staje się pojedyncza , tj. nie można jej odwrócić w celu obliczenia macierzy precyzji .

Jako alternatywę zaproponowano wiele metod poprawiających estymację macierzy kowariancji. Wszystkie te podejścia opierają się na koncepcji skurczu. Jest to domniemane w metodach bayesowskich oraz w metodach penalizacji największej wiarogodności i jawne w podejściu skurczu typu Steina .

Prostą wersję estymatora skurczu macierzy kowariancji reprezentuje estymator skurczu Ledoit-Wolf. Rozważa się wypukłą kombinację estymatora empirycznego ( ) z odpowiednio wybranym celem ( ), np. macierzą diagonalną. Następnie dobierany jest parametr mieszania ( ), aby zmaksymalizować oczekiwaną dokładność skurczonego estymatora. Można to zrobić przez walidację krzyżową lub stosując analityczne oszacowanie intensywności skurczu. Można wykazać, że wynikowy uregulowany estymator ( ) przewyższa estymator największej wiarygodności dla małych próbek. W przypadku dużych próbek intensywność skurczu zmniejszy się do zera, stąd w tym przypadku estymator skurczu będzie identyczny z estymatorem empirycznym. Oprócz zwiększonej wydajności oszacowanie skurczu ma tę dodatkową zaletę, że jest zawsze dodatnio określone i dobrze uwarunkowane. ${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle \ delta}$${\ Displaystyle \ delta A + (1-\ delta) B}$

Zaproponowano różne cele skurczu:

1. macierzą jednostkową , skalowane przez średnią próbek wariancji ;
2. modelu jednego indeksu ;
3. model stałej korelacji, w którym zachowane są wariancje próbki, ale zakłada się , że wszystkie współczynniki korelacji parami są sobie równe;
4. macierz dwuparametrowa, w której wszystkie wariancje są identyczne, a wszystkie kowariancje są identyczne (choć nie identyczne z wariancjami);
5. macierzą diagonalną próbka zawierająca odchylenia na przekątnej i zerami poza nią;
6. macierzą jednostkową .

Estymator skurczu można uogólnić do wielocelowego estymatora skurczu, który wykorzystuje kilka celów jednocześnie. Oprogramowanie do obliczania estymatora skurczu kowariancji jest dostępne w R (packages corpcor i ShrinkCovMat ), w Pythonie (library scikit-learn ) oraz w MATLAB .

Zobacz też

• Propagacja niepewności
• Średnia próbki i kowariancja próbki
• Składniki wariancji

Bibliografia