Kowariancja — Covariance

Znak kowariancji dwóch zmiennych losowych X i Y

W teorii prawdopodobieństwa i statystyki , kowariancja jest miarą wspólnej zmienności dwóch zmiennych losowych . Jeśli większe wartości jednej zmiennej odpowiadają głównie większym wartościom drugiej zmiennej i to samo dotyczy wartości mniejszych (to znaczy, że zmienne wykazują podobne zachowanie), kowariancja jest dodatnia. W przeciwnym przypadku, gdy większe wartości jednej zmiennej odpowiadają głównie mniejszym wartościom drugiej (czyli zmienne wykazują tendencję do przeciwnego zachowania), kowariancja jest ujemna. Znak kowariancji pokazuje zatem tendencję liniowej zależności między zmiennymi. Wielkość kowariancji nie jest łatwa do interpretacji, ponieważ nie jest znormalizowana, a zatem zależy od wielkości zmiennych. Wersji znormalizowanej kowariancji The współczynnik korelacji pokazuje jednak, by jego wielkość na wytrzymałość zależności liniowej.

Należy dokonać rozróżnienia między (1) kowariancją dwóch zmiennych losowych, która jest parametrem populacji , który może być postrzegany jako właściwość wspólnego rozkładu prawdopodobieństwa , a (2) kowariancją próby , która oprócz pełnienia funkcji deskryptora próbki, służy również jako szacunkowa wartość parametru populacji.

Definicja

Dla dwóch wspólnie rozproszonych rzeczywistych -valued zmiennych losowych i skończonej drugich momentów , kowariancja jest definiowana jako wartość oczekiwaną (lub średnią) produktu ich odchylenia od oczekiwanych wielkości indywidualnych:

 

 

 

 

( Równanie 1 )

gdzie jest oczekiwana wartość stanowi , znany również jako średnią . Kowariancja jest również czasami oznaczana lub , analogicznie do wariancji . Korzystając z właściwości liniowości oczekiwań, można to uprościć do wartości oczekiwanej ich iloczynu minus iloczyn ich wartości oczekiwanych:

ale to równanie jest podatne na katastrofalne anulowanie (patrz rozdział o obliczeniach numerycznych poniżej).

Te jednostki miary o kowariancji są te z czasów tych . Natomiast współczynniki korelacji , które zależą od kowariancji, są bezwymiarową miarą zależności liniowej. (W rzeczywistości współczynniki korelacji można po prostu rozumieć jako znormalizowaną wersję kowariancji).

Definicja złożonych zmiennych losowych

Kowariancję między dwiema złożonymi zmiennymi losowymi definiuje się jako

Zwróć uwagę na złożoną koniugację drugiego czynnika w definicji.

Można również zdefiniować pokrewną pseudokowariancję .

Dyskretne zmienne losowe

Jeśli (rzeczywista) para zmiennych losowych może przyjmować wartości dla , z równym prawdopodobieństwem , to kowariancję można równoważnie zapisać w kategoriach średnich i jako

Można go również wyrazić równoważnie, bez bezpośredniego odwoływania się do środków, jako

Bardziej ogólnie, jeśli istnieją możliwe realizacje , a mianowicie, ale z możliwie nierównym prawdopodobieństwem dla , to kowariancja jest

Przykład

Interpretacja geometryczna przykładu kowariancji. Każdy prostopadłościan jest prostokątem ograniczającym swojego punktu ( x , y , f  ( x , y )) i X i Y oznaczają (punkt magenta). Kowariancja to suma objętości czerwonych prostopadłościanów minus niebieskie prostopadłościany.

Załóżmy, że i mają następującą łączną funkcję masy prawdopodobieństwa , w której sześć centralnych komórek daje dyskretne wspólne prawdopodobieństwa sześciu hipotetycznych realizacji :

x
5 6 7
tak 8 0 0,4 0,1 0,5
9 0,3 0 0,2 0,5
0,3 0,4 0,3 1

może przyjmować trzy wartości (5, 6 i 7) podczas gdy może przyjmować dwie (8 i 9). Ich środki to i . Następnie,

Nieruchomości

Kowariancja z samym sobą

Wariancja jest szczególnym przypadkiem kowariancji w którym obie zmienne są takie same (to znaczy, w którym jedna zmienna zawsze przyjmuje tę samą wartość, co drugi):

Kowariancja kombinacji liniowych

Jeżeli , , i są zmiennymi losowymi o wartościach rzeczywistych i są stałymi o wartościach rzeczywistych, to następujące fakty są konsekwencją definicji kowariancji:

Dla ciągu zmiennych losowych o wartościach rzeczywistych i stałych mamy

Tożsamość kowariancji Hoeffdinga

Przydatną tożsamością do obliczenia kowariancji między dwiema zmiennymi losowymi jest tożsamość kowariancji Hoeffdinga:

gdzie jest wspólną skumulowaną funkcją dystrybucyjną wektora losowego i są marginesami .

Nieskorelowanie i niezależność

Zmienne losowe, których kowariancja wynosi zero, nazywane są nieskorelowanymi . Podobnie nieskorelowane są również składowe wektorów losowych, których macierz kowariancji wynosi zero w każdym wejściu poza główną przekątną.

Jeśli i są niezależnymi zmiennymi losowymi , to ich kowariancja wynosi zero. Wynika to z faktu, że w warunkach niepodległości

Odwrotność jednak generalnie nie jest prawdziwa. Na przykład niech być równomiernie rozłożone w i let . Oczywiście i nie są niezależne, ale

W tym przypadku zależność między i jest nieliniowa, natomiast korelacja i kowariancja są miarami liniowej zależności między dwiema zmiennymi losowymi. Ten przykład pokazuje, że jeśli dwie zmienne losowe są nieskorelowane, nie oznacza to na ogół, że są one niezależne. Jednakże, jeśli dwie zmienne są wspólnie rozkład normalny (ale nie, jeśli są one jedynie indywidualnie rozkład normalny ), uncorrelatedness ma oznaczać niezależność.

Związek z produktami wewnętrznymi

Wiele właściwości kowariancji można elegancko wydobyć, obserwując, że spełnia ona podobne właściwości jak iloczyn skalarny :

  1. bilinear : dla stałych i i zmiennych losowych ,
  2. symetryczny:
  3. dodatnie półokreślone : dla wszystkich zmiennych losowych i implikuje, że jest prawie na pewno stałe .

W rzeczywistości te właściwości implikują, że kowariancja definiuje iloczyn skalarny w przestrzeni wektorowej ilorazu, uzyskany przez wzięcie podprzestrzeni zmiennych losowych o skończonym drugim momencie i zidentyfikowanie dowolnych dwóch, które różnią się stałą. (Ta identyfikacja zamienia dodatnią półokreślenie powyżej w dodatnią określoność). Ta ilorazowa przestrzeń wektorowa jest izomorficzna z podprzestrzenią zmiennych losowych o skończonej drugiej chwili i średniej zerowej; w tej podprzestrzeni kowariancja jest dokładnie iloczynem wewnętrznym L 2 funkcji o wartościach rzeczywistych w przestrzeni próbek.

W rezultacie dla zmiennych losowych o skończonej wariancji nierówność

utrzymuje się przez nierówność Cauchy-Schwarza .

Dowód: Jeśli , to jest to banalne. W przeciwnym razie niech zmienna losowa

Potem będzie

Obliczanie kowariancji próbki

Próbki kowariancji między zmiennymi opartymi na obserwacjach każdej z nich, pobrane z populacji nieobserwowanej w inny sposób, są podane przez macierz z wpisami

który jest oszacowaniem kowariancji między zmienną a zmienną .

Próbka średnią i macierz kowariancji są próbki pakietów szacunki z średnią a macierz kowariancji z wektorem losowym , wektorem, którego j ty element jest jedną ze zmiennych losowych. Powodem, dla którego macierz kowariancji próbki jest w mianowniku, a nie zasadniczo, jest to, że średnia populacji nie jest znana i jest zastępowana średnią próbki . Jeśli znana jest średnia populacji , analogiczne bezstronne oszacowanie jest podane przez

.

Uogólnienia

Macierz autokowariancji rzeczywistych wektorów losowych

Przez wektor z wspólnie rozproszonych zmiennych losowych o skończonych drugich momentów jego macierzy kowariancji automatycznego (znany także jako matryca wariancji kowariancji lub po prostu macierzą kowariancji ) (również oznaczony i ) określa się jako

Niech będzie wektorem losowym z macierzą kowariancji Σ i niech A będzie macierzą, która może działać po lewej stronie. Macierz kowariancji iloczynu macierzy-wektora AX to:

Jest to bezpośredni wynik liniowości oczekiwań i jest przydatny podczas stosowania transformacji liniowej , takiej jak transformacja wybielająca , do wektora.

Macierz kowariancji krzyżowej rzeczywistych wektorów losowych

Dla rzeczywistych wektorów losowych i , macierz kowariancji krzyżowej jest równa

 

 

 

 

( Równanie 2 )

gdzie jest transpozycja wektora (lub macierzy) .

-Ty element tej matrycy wynosi kowariancji pomiędzy ı -tym skalarnej składnika i w j -ty element skalarnego . W szczególności, jest transpozycja od .

Obliczenia numeryczne

Kiedy równanie jest podatne na katastrofalne anulowanie, jeśli i nie jest obliczone dokładnie i dlatego należy go unikać w programach komputerowych, gdy dane nie zostały wcześniej wyśrodkowane. W takim przypadku należy preferować algorytmy stabilne numerycznie .

Uwagi

Kowariancja jest czasami nazywana miarą „zależności liniowej” między dwiema zmiennymi losowymi. Nie oznacza to tego samego, co w kontekście algebry liniowej (patrz zależność liniowa ). Gdy kowariancja jest znormalizowana, otrzymuje się współczynnik korelacji Pearsona , który daje dobroć dopasowania dla najlepszej możliwej funkcji liniowej opisującej relację między zmiennymi. W tym sensie kowariancja jest liniowym miernikiem zależności.

Aplikacje

W genetyce i biologii molekularnej

Kowariancja jest ważną miarą w biologii . Pewne sekwencje DNA są konserwatywne bardziej niż inne wśród gatunków, a zatem w celu zbadania drugorzędowych i trzeciorzędowych struktur białek lub struktur RNA , sekwencje są porównywane w blisko spokrewnionych gatunkach. Jeśli zostaną znalezione zmiany sekwencji lub w niekodującym RNA (takim jak mikroRNA ) nie zostaną znalezione żadne zmiany , sekwencje okazują się niezbędne dla wspólnych motywów strukturalnych, takich jak pętla RNA. W genetyce kowariancja służy jako podstawa do obliczania macierzy relacji genetycznych (GRM) (inaczej macierzy pokrewieństwa), umożliwiającej wnioskowanie o strukturze populacji z próby bez znanych bliskich krewnych, a także wnioskowanie o szacowaniu dziedziczności cech złożonych.

W teorii ewolucji i doboru naturalnego , równanie Cena opisuje jak cecha genetyczna zmienia częstotliwość w czasie. Równanie wykorzystuje kowariancję między cechą a przystosowaniem , aby dać matematyczny opis ewolucji i doboru naturalnego. Zapewnia sposób na zrozumienie wpływu transmisji genów i doboru naturalnego na proporcję genów w każdym nowym pokoleniu populacji. Równanie Price'a zostało wyprowadzone przez George'a R. Price'a , aby ponownie wyprowadzić pracę WD Hamiltona dotyczącą doboru krewniaczego . Przykłady równania ceny zostały skonstruowane dla różnych przypadków ewolucyjnych.

W ekonomii finansowej

Kowariancje odgrywają kluczową rolę w ekonomii finansowej , zwłaszcza we współczesnej teorii portfela oraz w modelu wyceny aktywów kapitałowych . Kowariancje między zwrotami z różnych aktywów są wykorzystywane do określenia, przy pewnych założeniach, względnych kwot różnych aktywów, które inwestorzy powinni (w analizie normatywnej ) lub zgodnie z przewidywaniami (w analizie pozytywnej ) zdecydują się utrzymać w kontekście dywersyfikacji .

W asymilacji danych meteorologicznych i oceanograficznych

Macierz kowariancji jest ważna w szacowaniu warunków początkowych wymaganych do uruchomienia modeli prognozy pogody, procedury znanej jako asymilacja danych . „Macierz kowariancji błędu prognozy” jest zwykle konstruowana między perturbacjami wokół stanu średniego (średniej klimatologicznej lub zespołowej). „Macierz kowariancji błędu obserwacji” jest skonstruowana w celu reprezentowania wielkości połączonych błędów obserwacji (na przekątnej) i błędów skorelowanych między pomiarami (poza przekątną). Jest to przykład jego szerokiego zastosowania w filtrowaniu Kalmana i bardziej ogólnej estymacji stanu dla systemów zmiennych w czasie.

W mikrometeorologii

Kowariancji wirów technika jest kluczowym technika pomiarowa przeszkody atmosferyczne gdzie kowariancja pomiędzy chwilowym odchyleniem w pionowej prędkości wiatru od wartości średniej i odchylenia chwilowego stężenia gazu jest podstawą do obliczania pionowe strumienie burzliwe.

W przetwarzaniu sygnału

Macierz kowariancji służy do uchwycenia zmienności widmowej sygnału.

W statystyce i przetwarzaniu obrazów

Macierz kowariancji jest używana w analizie głównych składowych w celu zmniejszenia wymiarowości cech podczas wstępnego przetwarzania danych .

Zobacz też

Bibliografia