Miara zmienności stawów
Znak kowariancji dwóch zmiennych losowych
X i
Y
W teorii prawdopodobieństwa i statystyki , kowariancja jest miarą wspólnej zmienności dwóch zmiennych losowych . Jeśli większe wartości jednej zmiennej odpowiadają głównie większym wartościom drugiej zmiennej i to samo dotyczy wartości mniejszych (to znaczy, że zmienne wykazują podobne zachowanie), kowariancja jest dodatnia. W przeciwnym przypadku, gdy większe wartości jednej zmiennej odpowiadają głównie mniejszym wartościom drugiej (czyli zmienne wykazują tendencję do przeciwnego zachowania), kowariancja jest ujemna. Znak kowariancji pokazuje zatem tendencję liniowej zależności między zmiennymi. Wielkość kowariancji nie jest łatwa do interpretacji, ponieważ nie jest znormalizowana, a zatem zależy od wielkości zmiennych. Wersji znormalizowanej kowariancji The współczynnik korelacji pokazuje jednak, by jego wielkość na wytrzymałość zależności liniowej.
Należy dokonać rozróżnienia między (1) kowariancją dwóch zmiennych losowych, która jest parametrem populacji , który może być postrzegany jako właściwość wspólnego rozkładu prawdopodobieństwa , a (2) kowariancją próby , która oprócz pełnienia funkcji deskryptora próbki, służy również jako szacunkowa wartość parametru populacji.
Definicja
Dla dwóch wspólnie rozproszonych rzeczywistych -valued zmiennych losowych i skończonej drugich momentów , kowariancja jest definiowana jako wartość oczekiwaną (lub średnią) produktu ich odchylenia od oczekiwanych wielkości indywidualnych:
|
|
( Równanie 1 )
|
gdzie jest oczekiwana wartość stanowi , znany również jako średnią . Kowariancja jest również czasami oznaczana lub , analogicznie do wariancji . Korzystając z właściwości liniowości oczekiwań, można to uprościć do wartości oczekiwanej ich iloczynu minus iloczyn ich wartości oczekiwanych:
ale to równanie jest podatne na katastrofalne anulowanie (patrz rozdział o obliczeniach numerycznych poniżej).
Te jednostki miary o kowariancji są te z czasów tych . Natomiast współczynniki korelacji , które zależą od kowariancji, są bezwymiarową miarą zależności liniowej. (W rzeczywistości współczynniki korelacji można po prostu rozumieć jako znormalizowaną wersję kowariancji).
Definicja złożonych zmiennych losowych
Kowariancję między dwiema złożonymi zmiennymi losowymi definiuje się jako
Zwróć uwagę na złożoną koniugację drugiego czynnika w definicji.
Można również zdefiniować pokrewną pseudokowariancję .
Dyskretne zmienne losowe
Jeśli (rzeczywista) para zmiennych losowych może przyjmować wartości dla , z równym prawdopodobieństwem , to kowariancję można równoważnie zapisać w kategoriach średnich i jako
Można go również wyrazić równoważnie, bez bezpośredniego odwoływania się do środków, jako
Bardziej ogólnie, jeśli istnieją możliwe realizacje , a mianowicie, ale z możliwie nierównym prawdopodobieństwem dla , to kowariancja jest
Przykład
Interpretacja geometryczna przykładu kowariancji. Każdy prostopadłościan jest prostokątem ograniczającym swojego punktu (
x ,
y ,
f (
x ,
y )) i
X i
Y oznaczają (punkt magenta). Kowariancja to suma objętości czerwonych prostopadłościanów minus niebieskie prostopadłościany.
Załóżmy, że i mają następującą łączną funkcję masy prawdopodobieństwa , w której sześć centralnych komórek daje dyskretne wspólne prawdopodobieństwa sześciu hipotetycznych realizacji :
|
x
|
|
|
5
|
6
|
7
|
tak
|
8
|
0
|
0,4
|
0,1
|
0,5
|
9
|
0,3
|
0
|
0,2
|
0,5
|
|
|
0,3
|
0,4
|
0,3
|
1
|
może przyjmować trzy wartości (5, 6 i 7) podczas gdy może przyjmować dwie (8 i 9). Ich środki to i . Następnie,
Nieruchomości
Kowariancja z samym sobą
Wariancja jest szczególnym przypadkiem kowariancji w którym obie zmienne są takie same (to znaczy, w którym jedna zmienna zawsze przyjmuje tę samą wartość, co drugi):
Kowariancja kombinacji liniowych
Jeżeli , , i są zmiennymi losowymi o wartościach rzeczywistych i są stałymi o wartościach rzeczywistych, to następujące fakty są konsekwencją definicji kowariancji:
Dla ciągu zmiennych losowych o wartościach rzeczywistych i stałych mamy
Tożsamość kowariancji Hoeffdinga
Przydatną tożsamością do obliczenia kowariancji między dwiema zmiennymi losowymi jest tożsamość kowariancji Hoeffdinga:
gdzie jest wspólną skumulowaną funkcją dystrybucyjną wektora losowego i są marginesami .
Nieskorelowanie i niezależność
Zmienne losowe, których kowariancja wynosi zero, nazywane są nieskorelowanymi . Podobnie nieskorelowane są również składowe wektorów losowych, których macierz kowariancji wynosi zero w każdym wejściu poza główną przekątną.
Jeśli i są niezależnymi zmiennymi losowymi , to ich kowariancja wynosi zero. Wynika to z faktu, że w warunkach niepodległości
Odwrotność jednak generalnie nie jest prawdziwa. Na przykład niech być równomiernie rozłożone w i let . Oczywiście i nie są niezależne, ale
W tym przypadku zależność między i jest nieliniowa, natomiast korelacja i kowariancja są miarami liniowej zależności między dwiema zmiennymi losowymi. Ten przykład pokazuje, że jeśli dwie zmienne losowe są nieskorelowane, nie oznacza to na ogół, że są one niezależne. Jednakże, jeśli dwie zmienne są wspólnie rozkład normalny (ale nie, jeśli są one jedynie indywidualnie rozkład normalny ), uncorrelatedness ma oznaczać niezależność.
Związek z produktami wewnętrznymi
Wiele właściwości kowariancji można elegancko wydobyć, obserwując, że spełnia ona podobne właściwości jak iloczyn skalarny :
-
bilinear : dla stałych i i zmiennych losowych ,
- symetryczny:
-
dodatnie półokreślone : dla wszystkich zmiennych losowych i implikuje, że jest prawie na pewno stałe .
W rzeczywistości te właściwości implikują, że kowariancja definiuje iloczyn skalarny w przestrzeni wektorowej ilorazu, uzyskany przez wzięcie podprzestrzeni zmiennych losowych o skończonym drugim momencie i zidentyfikowanie dowolnych dwóch, które różnią się stałą. (Ta identyfikacja zamienia dodatnią półokreślenie powyżej w dodatnią określoność). Ta ilorazowa przestrzeń wektorowa jest izomorficzna z podprzestrzenią zmiennych losowych o skończonej drugiej chwili i średniej zerowej; w tej podprzestrzeni kowariancja jest dokładnie iloczynem wewnętrznym L 2 funkcji o wartościach rzeczywistych w przestrzeni próbek.
W rezultacie dla zmiennych losowych o skończonej wariancji nierówność
utrzymuje się przez nierówność Cauchy-Schwarza .
Dowód: Jeśli , to jest to banalne. W przeciwnym razie niech zmienna losowa
Potem będzie
Obliczanie kowariancji próbki
Próbki kowariancji między zmiennymi opartymi na obserwacjach każdej z nich, pobrane z populacji nieobserwowanej w inny sposób, są podane przez macierz z wpisami
który jest oszacowaniem kowariancji między zmienną a zmienną .
Próbka średnią i macierz kowariancji są próbki pakietów szacunki z średnią a macierz kowariancji z wektorem losowym , wektorem, którego j ty element jest jedną ze zmiennych losowych. Powodem, dla którego macierz kowariancji próbki jest w mianowniku, a nie zasadniczo, jest to, że średnia populacji nie jest znana i jest zastępowana średnią próbki . Jeśli znana jest średnia populacji , analogiczne bezstronne oszacowanie jest podane przez
-
.
Uogólnienia
Macierz autokowariancji rzeczywistych wektorów losowych
Przez wektor z wspólnie rozproszonych zmiennych losowych o skończonych drugich momentów jego macierzy kowariancji automatycznego (znany także jako matryca wariancji kowariancji lub po prostu macierzą kowariancji ) (również oznaczony i ) określa się jako
Niech będzie wektorem losowym z macierzą kowariancji Σ i niech A będzie macierzą, która może działać po lewej stronie. Macierz kowariancji iloczynu macierzy-wektora AX to:
Jest to bezpośredni wynik liniowości oczekiwań i jest przydatny podczas stosowania transformacji liniowej , takiej jak transformacja wybielająca , do wektora.
Macierz kowariancji krzyżowej rzeczywistych wektorów losowych
Dla rzeczywistych wektorów losowych i , macierz kowariancji krzyżowej jest równa
|
|
( Równanie 2 )
|
gdzie jest transpozycja wektora (lub macierzy) .
-Ty element tej matrycy wynosi kowariancji pomiędzy ı -tym skalarnej składnika i w j -ty element skalarnego . W szczególności, jest transpozycja od .
Obliczenia numeryczne
Kiedy równanie jest podatne na katastrofalne anulowanie, jeśli i nie jest obliczone dokładnie i dlatego należy go unikać w programach komputerowych, gdy dane nie zostały wcześniej wyśrodkowane. W takim przypadku należy preferować algorytmy stabilne numerycznie .
Kowariancja jest czasami nazywana miarą „zależności liniowej” między dwiema zmiennymi losowymi. Nie oznacza to tego samego, co w kontekście algebry liniowej (patrz zależność liniowa ). Gdy kowariancja jest znormalizowana, otrzymuje się współczynnik korelacji Pearsona , który daje dobroć dopasowania dla najlepszej możliwej funkcji liniowej opisującej relację między zmiennymi. W tym sensie kowariancja jest liniowym miernikiem zależności.
Aplikacje
W genetyce i biologii molekularnej
Kowariancja jest ważną miarą w biologii . Pewne sekwencje DNA są konserwatywne bardziej niż inne wśród gatunków, a zatem w celu zbadania drugorzędowych i trzeciorzędowych struktur białek lub struktur RNA , sekwencje są porównywane w blisko spokrewnionych gatunkach. Jeśli zostaną znalezione zmiany sekwencji lub w niekodującym RNA (takim jak mikroRNA ) nie zostaną znalezione żadne zmiany , sekwencje okazują się niezbędne dla wspólnych motywów strukturalnych, takich jak pętla RNA. W genetyce kowariancja służy jako podstawa do obliczania macierzy relacji genetycznych (GRM) (inaczej macierzy pokrewieństwa), umożliwiającej wnioskowanie o strukturze populacji z próby bez znanych bliskich krewnych, a także wnioskowanie o szacowaniu dziedziczności cech złożonych.
W teorii ewolucji i doboru naturalnego , równanie Cena opisuje jak cecha genetyczna zmienia częstotliwość w czasie. Równanie wykorzystuje kowariancję między cechą a przystosowaniem , aby dać matematyczny opis ewolucji i doboru naturalnego. Zapewnia sposób na zrozumienie wpływu transmisji genów i doboru naturalnego na proporcję genów w każdym nowym pokoleniu populacji. Równanie Price'a zostało wyprowadzone przez George'a R. Price'a , aby ponownie wyprowadzić pracę WD Hamiltona dotyczącą doboru krewniaczego . Przykłady równania ceny zostały skonstruowane dla różnych przypadków ewolucyjnych.
W ekonomii finansowej
Kowariancje odgrywają kluczową rolę w ekonomii finansowej , zwłaszcza we współczesnej teorii portfela oraz w modelu wyceny aktywów kapitałowych . Kowariancje między zwrotami z różnych aktywów są wykorzystywane do określenia, przy pewnych założeniach, względnych kwot różnych aktywów, które inwestorzy powinni (w analizie normatywnej ) lub zgodnie z przewidywaniami (w analizie pozytywnej ) zdecydują się utrzymać w kontekście dywersyfikacji .
W asymilacji danych meteorologicznych i oceanograficznych
Macierz kowariancji jest ważna w szacowaniu warunków początkowych wymaganych do uruchomienia modeli prognozy pogody, procedury znanej jako asymilacja danych . „Macierz kowariancji błędu prognozy” jest zwykle konstruowana między perturbacjami wokół stanu średniego (średniej klimatologicznej lub zespołowej). „Macierz kowariancji błędu obserwacji” jest skonstruowana w celu reprezentowania wielkości połączonych błędów obserwacji (na przekątnej) i błędów skorelowanych między pomiarami (poza przekątną). Jest to przykład jego szerokiego zastosowania w filtrowaniu Kalmana i bardziej ogólnej estymacji stanu dla systemów zmiennych w czasie.
W mikrometeorologii
Kowariancji wirów technika jest kluczowym technika pomiarowa przeszkody atmosferyczne gdzie kowariancja pomiędzy chwilowym odchyleniem w pionowej prędkości wiatru od wartości średniej i odchylenia chwilowego stężenia gazu jest podstawą do obliczania pionowe strumienie burzliwe.
W przetwarzaniu sygnału
Macierz kowariancji służy do uchwycenia zmienności widmowej sygnału.
W statystyce i przetwarzaniu obrazów
Macierz kowariancji jest używana w analizie głównych składowych w celu zmniejszenia wymiarowości cech podczas wstępnego przetwarzania danych .
Zobacz też
Bibliografia