Stopnie swobody (statystyki) - Degrees of freedom (statistics)

W statystykach liczba stopni swobody to liczba wartości w ostatecznym obliczeniu statystyki, które mogą się dowolnie zmieniać.

Liczba niezależnych sposobów poruszania się układu dynamicznego bez naruszania nałożonych na niego ograniczeń nazywana jest liczbą stopni swobody. Innymi słowy, liczbę stopni swobody można zdefiniować jako minimalną liczbę niezależnych współrzędnych, które mogą całkowicie określić przestrzeń fazową , tj. pozycje i pęd w mechanice klasycznej , układu.

Szacunki parametrów statystycznych mogą opierać się na różnych ilościach informacji lub danych. Liczba niezależnych informacji, które wchodzą w skład oszacowania parametru, nazywa się stopniami swobody. Ogólnie stopnie swobody oszacowania parametru sąrówne liczbie niezależnych wyników wchodzących w skład oszacowania minus liczba parametrów użytych jako kroki pośrednie w oszacowaniu samego parametru (w większości przypadków wariancja próbki ma N  − 1 stopnie swobody, ponieważ jest obliczany z N losowych wyników minus jedyny 1 parametr oszacowany jako krok pośredni, czyli średnia z próby).

Matematycznie stopnie swobody to liczba wymiarów domeny losowego wektora lub zasadniczo liczba „wolnych” składników (ile składników musi być znanych, zanim wektor zostanie w pełni określony).

Termin ten jest najczęściej używany w kontekście modeli liniowych ( regresja liniowa , analiza wariancji ), gdzie pewne wektory losowe są ograniczone do podprzestrzeni liniowych , a liczba stopni swobody jest wymiarem podprzestrzeni . Stopnie swobody są również powszechnie kojarzone z kwadratami długości (lub „suma kwadratów” współrzędnych) takich wektorów oraz parametrami rozkładu chi-kwadrat i innymi, które pojawiają się w powiązanych problemach testowania statystycznego.

Chociaż podręczniki wprowadzające mogą wprowadzać stopnie swobody jako parametry rozkładu lub poprzez testowanie hipotez, to podstawowa geometria definiuje stopnie swobody i ma kluczowe znaczenie dla prawidłowego zrozumienia tego pojęcia.

Historia

Chociaż podstawowe pojęcie stopni swobody zostało rozpoznane już w 1821 r. w pracy niemieckiego astronoma i matematyka Carla Friedricha Gaussa , jego współczesna definicja i zastosowanie zostały po raz pierwszy opracowane przez angielskiego statystyka Williama Sealy'ego Gosseta w jego artykule z 1908 r. Biometrika „The Probable Error of a Mean”, wydana pod pseudonimem „Student”. Chociaż Gosset w rzeczywistości nie używał terminu „stopnie swobody”, wyjaśnił tę koncepcję w trakcie opracowywania tego, co stało się znane jako rozkład t-Studenta . Sam termin został spopularyzowany przez angielskiego statystyka i biologa Ronalda Fishera , poczynając od jego pracy z 1922 r. dotyczącej kwadratów chi.

Notacja

W równaniach typowym symbolem stopni swobody jest ν (mała grecka litera nu ). W tekście i tabelach powszechnie używany jest skrót „df”. RA Fisher użył n do symbolizowania stopni swobody, ale współczesne użycie zwykle rezerwuje n dla wielkości próbki.

Losowych wektorów

Geometrycznie stopnie swobody można interpretować jako wymiar pewnych podprzestrzeni wektorowych. Jako punkt wyjścia załóżmy, że mamy próbkę niezależnych obserwacji o rozkładzie normalnym,

${\displaystyle X_{1},\kropki,X_{n}.\,}$

Można to przedstawić jako n- wymiarowy losowy wektor :

${\ Displaystyle {\ zacząć {pmatrix} X_ {1} \ \ \ vdots \ \ X_ {n} \ koniec {pmatrix}}}.$

Ponieważ ten losowy wektor może leżeć w dowolnym miejscu w przestrzeni n- wymiarowej, ma on n stopni swobody.

Teraz niech będzie średnia z próby . Wektor losowy można rozłożyć jako sumę średniej próbki plus wektor reszt: ${\displaystyle {\bar {X}}}$

${\ Displaystyle {\ zacząć {pmatrix} X_ {1} \ \ \ vdots \ \ X_ {n} \ koniec {pmatrix}} = {\ bar {X}} {\ zacząć {pmatrix} 1 \ \ \ vdots \ \ 1\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar {X}}\\\vdots \\X_{n}-{\bar {X}}\end{pmatrix}} .}$

Pierwszy wektor po prawej stronie jest ograniczony do wielokrotności wektora jedynek, a jedyną swobodną wielkością jest . Ma zatem 1 stopień swobody. ${\displaystyle {\bar {X}}}$

Drugi wektor jest ograniczony relacją . Pierwszych n  − 1 składowych tego wektora może być dowolna. Jednakże, gdy znasz pierwsze n  − 1 składników, ograniczenie mówi ci wartość n- tego składnika. Dlatego ten wektor ma n  − 1 stopni swobody. ${\textstyle \sum _{i=1}^{n}(X_{i}-{\bar {X}})=0}$

Matematycznie, pierwszy wektor jest rzutem ukośnym wektora danych na podprzestrzeń rozpiętą przez wektor jedynek . Wymiarem tej podprzestrzeni jest 1 stopień swobody. Drugi wektor resztkowy jest rzutem najmniejszych kwadratów na ( n  − 1)-wymiarowe dopełnienie ortogonalne tej podprzestrzeni i ma n  − 1 stopni swobody.

W aplikacjach do testowania statystycznego często nie interesuje się bezpośrednio wektorów składowych, ale raczej ich kwadratowej długości. W powyższym przykładzie resztkowa suma kwadratów wynosi

${\ Displaystyle \ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) ^ {2} = {\ zacząć {Vmatrix} X_ {1} - {\ bar {X }}\\\vdots \\X_{n}-{\bar {X}}\end{Vmatrix}}^{2}.}$

Jeśli punkty danych mają rozkład normalny ze średnią 0 i wariancją , wówczas resztowa suma kwadratów ma skalowany rozkład chi-kwadrat (skalowany przez współczynnik ), z n  − 1 stopniami swobody. Stopnie swobody, tutaj parametr rozkładu, wciąż można interpretować jako wymiar leżącej pod spodem podprzestrzeni wektorowej. ${\ Displaystyle X_ {i}}$${\ Displaystyle \ sigma ^ {2}}$${\ Displaystyle \ sigma ^ {2}}$

Podobnie statystyka testu t dla jednej próby ,

${\ Displaystyle {\ Frac {{\ sqrt {n}} ({\ bar {X}} - \ mu _ {0})} {\ sqrt {\ suma \ limity _ {i = 1} ^ {n} ( X_{i}-{\bar {X}})^{2}/(n-1)}}}}$

jest zgodny z rozkładem t- Studenta z n  − 1 stopniem swobody, gdy hipotetyczna średnia jest prawidłowa. Ponownie stopnie swobody wynikają z wektora resztkowego w mianowniku. ${\ Displaystyle \ mu _ {0}}$

W modelach równań strukturalnych

Gdy wyniki modeli strukturalnych równanie (SEM) są przedstawione, na ogół zawierają jeden lub więcej wskaźników ogólnego dopasowania modelu, z których najbardziej rozpowszechnioną jest A χ ² statystyka. Stanowi to podstawę dla innych indeksów, które są powszechnie raportowane. Mimo to te inne statystyki, które są najczęściej interpretowane, gdy stopnie swobody w × ² są niezbędne do zrozumienia modelu dopasowanie, jak również natury samego modelu.

Stopnie swobody w SEM są obliczane jako różnica między liczbą unikalnych informacji wykorzystywanych jako dane wejściowe do analizy, czasami nazywanych znanymi, a liczbą parametrów, które są jednoznacznie oszacowane, czasami nazywane niewiadomymi. Na przykład w jednoczynnikowej konfirmacyjnej analizie czynnikowej z 4 pozycjami istnieje 10 znanych (sześć unikalnych kowariancji między czterema pozycjami i czterema wariancjami pozycji) oraz 8 niewiadomych (4 ładunki czynnikowe i 4 wariancje błędu) dla 2 stopni wolność. Stopnie swobody są ważne dla zrozumienia modelu dopasowania jeśli nie z innego powodu niż ten, wszystkie pozostałe były równe, tym mniej stopni swobody, tym lepsze wskaźniki takie jak × ² będzie.

Wykazano, że czytelnicy artykułów zawierających SEM mogą wykorzystać stopnie swobody do ustalenia, czy autorzy tych artykułów faktycznie podają prawidłowe statystyki dopasowania modelu. Na przykład w naukach organizacyjnych prawie połowa artykułów publikowanych w czołowych czasopismach podaje stopnie swobody, które są niezgodne z modelami opisanymi w tych artykułach, co pozostawia czytelnikowi zastanowienie się, które modele zostały faktycznie przetestowane.

Pozostałości

Typowym sposobem myślenia o stopniach swobody jest liczba niezależnych informacji dostępnych do oszacowania innej informacji. Mówiąc bardziej konkretnie, liczba stopni swobody to liczba niezależnych obserwacji w próbce danych, które są dostępne do oszacowania parametru populacji, z której ta próbka jest pobierana. Na przykład, jeśli mamy dwie obserwacje, przy obliczaniu średniej mamy dwie niezależne obserwacje; jednak przy obliczaniu wariancji mamy tylko jedną niezależną obserwację, ponieważ obie obserwacje są równie odległe od średniej próbki.

Przy dopasowywaniu modeli statystycznych do danych wektory reszt muszą leżeć w przestrzeni o mniejszym wymiarze niż liczba komponentów w wektorze. Ten mniejszy wymiar to liczba stopni swobody dla błędu , zwana także rezydualnymi stopniami swobody .

Przykład

Być może najprostszy przykład jest taki. Przypuszczać

${\ Displaystyle X_ {1}, \ kropki, X_ {n}}$

są zmiennymi losowymi, z których każda ma wartość oczekiwaną μ , a niech

${\ Displaystyle {\ overline {X}} _ {n} = {\ Frac {X_ {1}+ \ cdots + X_ {n}} {n}}}$

być „średnią próbki”. Następnie ilości

${\ Displaystyle X_ {i} - {\ overline {X}} _ {n}}$

są pozostałości, które mogą być brane pod uwagę szacunki dotyczące błędów x _I  -  μ . Suma reszt (w przeciwieństwie do sumy błędów) jest z konieczności równa 0. Jeśli znamy wartości n  − 1 reszt, możemy w ten sposób znaleźć ostatnią. Oznacza to, że muszą leżeć w przestrzeni o wymiarze n  − 1. Mówi się, że istnieje n  − 1 stopni swobody dla błędów.

Przykładem, który jest tylko nieznacznie mniej proste jest to, że z kwadratów najmniej oszacowania i B w modelu

${\ Displaystyle Y_ {i} = a + bx_ {i} + e_ {i} {\ tekst {dla}} i = 1 \ kropki, n}$

gdzie x _i jest podane, ale e _i, a więc Y _i są losowe. Niech i być szacunki najmniejszych kwadratów i b . Następnie pozostałości ${\displaystyle {\widehat {a}}}$${\displaystyle {\widehat {b}}}$

${\ Displaystyle {\ widehat {e}} _ {i} = y_ {i} - ({\ widehat {a}} + {\ widehat {b}} x_ {i})}$

muszą leżeć w przestrzeni określonej przez dwa równania

${\displaystyle {\widehat {e}}_{1}+\cdots +{\widehat {e}}_{n}=0}$

${\ Displaystyle x_ {1} {\ widehat {e}} _ {1} + \ cdots + x_ {n} {\ widehat {e}} _ {n} = 0.}$

Jeden mówi, że istnieje n  − 2 stopnie swobody błędu.

Notacyjnie, wielka litera Y jest używana w określaniu modelu, a mała y w definicji reszt; dzieje się tak dlatego, że te pierwsze są hipotetycznymi zmiennymi losowymi, a te drugie są rzeczywistymi danymi.

Możemy uogólnić to do regresji wielokrotnej obejmującej p parametrów i współzmiennych (np. p  − 1 predyktorów i jedna średnia (=punkt wolny w regresji)), w którym to przypadku koszt w stopniach swobody dopasowania wynosi p , pozostawiając n - p stopni wolności dla błędów

W modelach liniowych

Wykazanie rozkładów t i chi-kwadrat dla problemów z jedną próbą powyżej jest najprostszym przykładem, w którym powstają stopnie swobody. Jednak podobna geometria i rozkłady wektorów leżą u podstaw teorii modeli liniowych , w tym regresji liniowej i analizy wariancji . Przedstawiono tutaj wyraźny przykład oparty na porównaniu trzech średnich; geometrię modeli liniowych szerzej omawia Christensen (2002).

Załóżmy, że dokonano niezależnych obserwacji dla trzech populacji , i . Ograniczenie do trzech grup i równej wielkości próby upraszcza notację, ale idee łatwo uogólniać. ${\displaystyle X_{1},\ldots,X_{n}}$${\ Displaystyle Y_{1}, \ldots, Y_ {n}}$${\ Displaystyle Z_ {1}, \ ldots, Z_ {n}}$

Obserwacje można rozłożyć jako

${\ Displaystyle {\ zacząć {wyrównany} X_ {i} i = {\ bar {M}} + ({\ bar {X}} - {\ bar {M}}) + (X_ {i} - {\ bar {X}})\\Y_{i}&={\bar {M}}+({\bar {Y}}-{\bar {M}})+(Y_{i}-{\bar {Y }})\\Z_{i}&={\bar {M}}+({\bar {Z}}-{\bar {M}})+(Z_{i}-{\bar {Z}} )\end{wyrównany}}}$

gdzie są średnie poszczególnych próbek i jest średnią wszystkich 3 n obserwacji. W notacji wektorowej rozkład ten można zapisać jako ${\ Displaystyle {\ bar {X}}, {\ bar {Y}}, {\ bar {Z}}}$${\ Displaystyle {\ bar {M}} = ({\ bar {X}} + {\ bar {Y}} + {\ bar {Z}})/3}$

${\ Displaystyle {\ zacząć {pmatrix} X_ {1} \ \ \ vdots \ \ X_ {n} \ \ Y_ {1} \ \ \ vdots \ \ Y_ {n} \ \ Z_ {1} \ \ \ vdots \ \Z_{n}\end{pmatrix}}={\bar {M}}{\begin{pmatrix}1\\\vdots \\1\\1\\\vdots \\1\\1\\\vdots \\1\end{pmatrix}}+{\begin{pmatrix}{\bar {X}}-{\bar {M}}\\\vdots \\{\bar {X}}-{\bar {M }}\\{\bar {Y}}-{\bar {M}}\\\vdots \\{\bar {Y}}-{\bar {M}}\\{\bar {Z}}- {\bar {M}}\\\vdots \\{\bar {Z}}-{\bar {M}}\end{pmatrix}}+{\begin{pmatrix}X_{1}-{\bar { X}}\\\vdots \\X_{n}-{\bar {X}}\\Y_{1}-{\bar {Y}}\\\vdots \\Y_{n}-{\bar { Y}}\\Z_{1}-{\bar {Z}}\\\vdots \\Z_{n}-{\bar {Z}}\end{pmatrix}}.}$

Wektor obserwacji po lewej stronie ma 3 n stopni swobody. Po prawej stronie pierwszy wektor ma jeden stopień swobody (lub wymiar) dla ogólnej średniej. Drugi wektor zależy od trzech zmiennych losowych , i . Jednak muszą one sumować się do 0, a więc są ograniczone; wektor musi zatem leżeć w dwuwymiarowej podprzestrzeni i ma 2 stopnie swobody. Pozostałe 3 n  - 3 stopnie swobody znajdują się w wektorze rezydualnym (składającym się z n  - 1 stopni swobody w każdej z populacji). ${\ Displaystyle {\ bar {X}} - {\ bar {M}}}$${\ Displaystyle {\ bar {Y}} - {\ bar {M}}}$${\ Displaystyle {\ overline {Z}} - {\ overline {M}}}$

W analizie wariancji (ANOVA)

W testach statystycznych zwykle nie interesuje się samych wektorów składowych, ale raczej ich kwadratowej długości lub sumy kwadratów. Stopnie swobody związane z sumą kwadratów to stopnie swobody odpowiednich wektorów składowych.

Powyższy przykład z trzema populacjami jest przykładem jednokierunkowej analizy wariancji . Model lub leczenie, suma kwadratów to kwadrat długości drugiego wektora,

${\ Displaystyle {\ tekst {SST}} = n ({\ pasek {X}} - {\ pasek {M}}) ^ {2} + n ({\ pasek {Y}} - {\ pasek {M} })^{2}+n({\bar {Z}}-{\bar {M}})^{2}}$

z 2 stopniami swobody. Reszta lub błąd sumy kwadratów wynosi

${\ Displaystyle {\ tekst {SSE}} = \ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) ^ {2} + \ suma _ {i = 1} ^{n}(Y_{i}-{\bar {Y}})^{2}+\sum _{i=1}^{n}(Z_{i}-{\bar {Z}})^ {2}}$

z 3( n- 1) stopniami swobody. Oczywiście, książki wprowadzające na temat ANOVA zwykle podają wzory bez pokazywania wektorów, ale to właśnie ta podstawowa geometria daje początek wzorom SS i pokazuje, jak jednoznacznie określić stopnie swobody w każdej danej sytuacji.

Zgodnie z hipotezą zerową o braku różnicy między średnimi populacji (i zakładając, że standardowe założenia dotyczące regularności ANOVA są spełnione) sumy kwadratów mają wyskalowane rozkłady chi-kwadrat z odpowiednimi stopniami swobody. Statystyka testu F to stosunek po przeskalowaniu według stopni swobody. Jeśli nie ma różnicy między populacją, oznacza to, że stosunek ten jest zgodny z rozkładem F z 2 i 3 n  - 3 stopniami swobody.

W niektórych skomplikowanych ustawieniach, takich jak niezrównoważone projekty z podziałem wykresów , sumy kwadratów nie mają już skalowanych rozkładów chi-kwadrat. Porównanie sumy kwadratów ze stopniami swobody nie ma już sensu, a oprogramowanie może w takich przypadkach zgłaszać pewne ułamkowe „stopnie swobody”. Takie liczby nie mają prawdziwej interpretacji stopni swobody, ale po prostu zapewniają przybliżony rozkład chi-kwadrat dla odpowiedniej sumy kwadratów. Szczegóły takich przybliżeń wykraczają poza zakres tej strony.

W rozkładach prawdopodobieństwa

Kilka powszechnie spotykanych rozkładów statystycznych ( t Studenta , chi-kwadrat , F ) ma parametry, które są powszechnie określane jako stopnie swobody . Ta terminologia po prostu odzwierciedla, że ​​w wielu aplikacjach, w których występują te rozkłady, parametr odpowiada stopniom swobody bazowego wektora losowego, jak w poprzednim przykładzie ANOVA. Innym prostym przykładem jest: jeśli są niezależnymi normalnymi zmiennymi losowymi, statystyka ${\ Displaystyle X_ {i}; i = 1, \ ldots, n}$${\ Displaystyle (\ mu , \ sigma ^ {2})}$

${\ Displaystyle {\ Frac {\ suma _ {i = 1} ^ {n} (X_ {i} - {\ bar {X}}) ^ {2}} {\ sigma ^ {2}}}}$

ma rozkład chi-kwadrat z n  − 1 stopniem swobody. Tutaj stopnie swobody wynikają z resztkowej sumy kwadratów w liczniku, a z kolei z n  − 1 stopni swobody bazowego wektora resztkowego . ${\ Displaystyle \ {X_ {i} - {\ bar {X}} \}}$

W zastosowaniu tych rozkładów do modeli liniowych parametry stopni swobody mogą przyjmować tylko wartości całkowite . Podstawowe rodziny rozkładów dopuszczają wartości ułamkowe parametrów stopni swobody, które mogą pojawić się w bardziej zaawansowanych zastosowaniach. Jednym z zestawów przykładów są problemy, w których stosuje się przybliżenia chi-kwadrat oparte na efektywnych stopniach swobody . W innych zastosowaniach, takich jak modelowanie ciężkich rozkładem danych na lub F -Dystrybucja można stosować jako model empiryczny. W takich przypadkach nie ma określonych stopni swobody interpretacji parametrów rozkładu, mimo że terminologia może być nadal używana.

W niestandardowej regresji

Wiele niestandardowych metod regresji, w tym regularyzowana metoda najmniejszych kwadratów (np. regresja grzbietowa ), wygładzacze liniowe , wygładzanie splajnów i regresja półparametryczna nie jest opartych na zwykłych projekcjach najmniejszych kwadratów , ale raczej na regularyzowanych ( uogólnionych i/lub karanych) najmniejszych kwadratach , a więc stopnie swobody zdefiniowane w kategoriach wymiarowości zazwyczaj nie są przydatne w przypadku tych procedur. Jednak procedury te są nadal liniowe w obserwacjach, a dopasowane wartości regresji można wyrazić w postaci expressed

${\ Displaystyle {\ kapelusz {y}} = Cześć}$

gdzie jest wektorem dopasowanych wartości w każdej z oryginalnych wartości towarzyszących z dopasowanego modelu, y jest oryginalnym wektorem odpowiedzi, a H jest macierzą kapelusza lub, bardziej ogólnie, gładszą macierzą. ${\displaystyle {\kapelusz {y}}}$

W przypadku wnioskowania statystycznego nadal można tworzyć sumy kwadratów: modelowa suma kwadratów to ; szczątkowa suma kwadratów to . Jednakże, ponieważ H nie odpowiada zwykłemu dopasowaniu najmniejszych kwadratów (tj. nie jest rzutem ortogonalnym), te sumy kwadratów nie mają już (skalowanego, niecentralnego) rozkładu chi-kwadrat i określonych wymiarowo stopni -wolność nie jest pożyteczna. ${\ Displaystyle \ | Cześć \ | ^ {2}}$${\ Displaystyle \ | y-Hy \ | ^ {2}}$

Do skutecznych stopni swobody do dopasowania może być określona na różne sposoby, w celu realizacji dobroci dopasowania testy , krzyżowy i inne statystycznych wnioskowania procedur. Tutaj można odróżnić efektywne stopnie swobody regresji i rezydualne efektywne stopnie swobody .

Efektywne stopnie swobody regresji

Dla efektywnych stopni swobody regresji, odpowiednie definicje mogą obejmować ślad macierzy kapelusza, tr( H ), ślad kwadratowej postaci macierzy kapelusza, tr( H'H ), postać tr(2 H – H H' ) lub przybliżenie Satterthwaite'a , tr( H'H ) ² /tr( H'HH'H ) . W przypadku regresji liniowej macierz kapeluszowa H to X ( X  ' X ) ^-1 X ' , a wszystkie te definicje sprowadzają się do zwykłych stopni swobody. Zauważ, że

${\ Displaystyle \ Operatorname {tr} (H) = \ suma _ {i} h_ {ii} = \ suma _ {i} {\ Frac {\ częściowy {\ kapelusz {y}} _ {i}} {\ częściowy y_{i}}},}$

stopnie swobody regresji (a nie rezydualne) w modelach liniowych to „suma wrażliwości dopasowanych wartości w odniesieniu do obserwowanych wartości odpowiedzi”, tj. suma wyników dźwigni .

Jednym ze sposobów pomocy w konceptualizacji tego jest rozważenie prostej macierzy wygładzania, takiej jak rozmycie Gaussa , używanej do łagodzenia szumu danych. W przeciwieństwie do prostego dopasowania liniowego lub wielomianowego, obliczenie efektywnych stopni swobody funkcji wygładzania nie jest proste. W takich przypadkach ważne jest, aby oszacować stopnie swobody dozwolone przez macierz, tak aby resztkowe stopnie swobody mogły następnie zostać użyte do oszacowania testów statystycznych, takich jak . ${\ Displaystyle H}$${\ Displaystyle \ chi ^ {2}}$

Resztkowe efektywne stopnie swobody

Istnieją odpowiednie definicje resztkowych efektywnych stopni swobody (redf), w których H zastąpiono przez I  −  H . Na przykład, jeśli celem jest oszacowanie wariancji błędu, redf będzie zdefiniowany jako tr(( I  −  H )'( I  −  H )), a nieobciążone oszacowanie to (z ), ${\displaystyle {\kapelusz {r}}=y-hy}$

${\ Displaystyle {\ kapelusz {\ sigma}} ^ {2} = {\ Frac {\ | {\ kapelusz {R}} \ | ^ {2}} {\ operatorname {tr} \ lewo ((IH) '( IH)\prawo)}},}$

lub:

${\ Displaystyle {\ kapelusz {\ sigma}} ^ {2} = {\ Frac {\ | {\ kapelusz {r}} \ | ^ {2}} {n-\ operatorname {tr} (2H-HH ') }}={\frac {\|{\hat {r}}\|^{2}}{n-2\nazwa operatora {tr} (H)+\nazwa operatora {tr} (HH')}}}$

${\ Displaystyle {\ kapelusz {\ sigma}} ^ {2} \ około {\ Frac {\ | {\ kapelusz {R}} \ | ^ {2}} {n-1,25 \ operatorname {tr} (H) + 0.5}}.}$

Ostatnie przybliżenie powyżej zmniejsza koszt obliczeniowy z O ( n ² ) do tylko O ( n ). Ogólnie rzecz biorąc, licznik byłby minimalizowaną funkcją celu; np. jeśli macierz kapelusza zawiera macierz kowariancji obserwacji, Σ, wtedy staje się . ${\ Displaystyle \ | {\ kapelusz {R}} \ | ^ {2}}$${\ Displaystyle {\ kapelusz {R}} '\ Sigma ^ {-1} {\ kapelusz {R}}}$

Generał

Zauważ, że w przeciwieństwie do oryginalnego przypadku, dozwolone są niecałkowite stopnie swobody, chociaż wartość zwykle musi być ograniczona między 0 a n .

Rozważmy, jako przykład, k - najbliższego sąsiada smoother, który jest średnią k wartości zmierzonych najbliżej danego punktu. Następnie, w każdym z n zmierzonych punktów, waga pierwotnej wartości w kombinacji liniowej, która tworzy wartość przewidywaną, wynosi tylko 1/ k . Zatem ślad macierzy kapelusza wynosi n/k . Zatem gładkie koszty n/k efektywnych stopni swobody.

Jako inny przykład rozważ istnienie prawie zduplikowanych obserwacji. Naiwne zastosowanie klasycznego wzoru n − p doprowadziłoby do przeszacowania stopnia swobody reszt, tak jakby każda obserwacja była niezależna. Bardziej realistycznie jednak, macierz kapelusza H = X ( X  ' Σ ^-1 X ) ^-1 X ' Σ ^-1 obejmowałaby macierz kowariancji obserwacji Σ wskazującą na niezerową korelację między obserwacjami.

Bardziej ogólne sformułowanie efektywnego stopnia swobody skutkowałoby bardziej realistycznym oszacowaniem np. wariancji błędu σ ² , która z kolei skaluje nieznane parametry a posteriori odchylenie standardowe; stopień swobody wpłynie również na współczynnik rozszerzenia niezbędny do wytworzenia elipsy błędu dla danego poziomu ufności .

Inne preparaty

Podobne pojęcia to równoważne stopnie swobody w regresji nieparametrycznej , stopień swobody sygnału w badaniach atmosferycznych oraz niecałkowity stopień swobody w geodezji.

Resztowa suma kwadratów ma uogólniony rozkład chi-kwadrat , a teoria związana z tym rozkładem zapewnia alternatywną drogę do odpowiedzi podanych powyżej. ${\ Displaystyle \ | y-Hy \ | ^ {2}}$

Zobacz też

• Chi-kwadrat na stopień swobody
• Połączone stopnie swobody
• Replikacja (statystyki)
• Wielkość próbki
• Model statystyczny
• Zmienność

Bibliografia

Dalsza lektura

• Bowers, David (1982). Statystyki dla ekonomistów . Londyn: Macmillan. s. 175–178. Numer ISBN 0-333-30110-2.
• Eisenhauera, JG (2008). "Stopnie swobody". Statystyka nauczania . 30 (3): 75-78. doi : 10.1111/j.1467-9639.2008.00324.x .
• Dobrze, IJ (1973). „Jakie są stopnie wolności?”. Statystyk amerykański . 27 (5): 227–228. doi : 10.1080/00031305.1973.10479042 . JSTOR  3087407 .
• Walker, HW (1940). "Stopnie swobody". Dziennik Psychologii Wychowawczej . 31 (4): 253–269. doi : 10.1037/h0054588 . Transkrypcja C Olsena z erratą

Linki zewnętrzne

• Yu, Chong-ho (1997) Ilustrowanie stopni swobody pod względem wielkości próby i wymiarowości
• Dallal, GE. (2003) Stopnie wolności