Ważenie odwrotnej wariancji — Inverse-variance weighting

W statystykach , odwrotny wariancji ważenie to metoda agregacji dwóch lub więcej losowych zmiennych w celu zminimalizowania wariancji średniej ważonej. Każda zmienna losowa jest ważona odwrotnie proporcjonalnie do jej wariancji, czyli proporcjonalnie do jej precyzji .

Biorąc pod uwagę sekwencję niezależnych obserwacji y _i z wariancjami σ _i ² , średnia ważona odwrotnej wariancji jest dana przez

${\ Displaystyle {\ kapelusz {y}} = {\ Frac {\ suma _ {i} y_ {i} / \ sigma _ {i} ^ {2}} {\ suma _ {i} 1/\ sigma _ { i}^{2}}}.}$

Średnia ważona z odwrotną wariancją ma najmniejszą wariancję spośród wszystkich średnich ważonych, co można obliczyć jako

${\ Displaystyle Var ({\ kapelusz {y}}) = {\ Frac {1} {\ suma _ {i} 1/\ sigma _ {i} ^ {2}}}.}$

Jeżeli wszystkie wariancje pomiarów są równe, to średnia ważona z odwrotną wariancją staje się średnią prostą.

Ważenie odwrotnej wariancji jest zwykle stosowane w metaanalizie statystycznej lub fuzji czujników w celu połączenia wyników z niezależnych pomiarów.

Kontekst

Załóżmy, że eksperymentator chce zmierzyć wartość pewnej wielkości, powiedzmy, przyspieszenie ziemskie , którego prawdziwa wartość to . Uważny eksperymentator dokonuje wielu pomiarów, które oznaczamy zmiennymi losowymi . Jeśli wszystkie są zaszumione, ale bezstronne, tj. urządzenie pomiarowe nie przeszacowuje lub nie zaniża systematycznie wartości prawdziwej, a błędy są rozrzucone symetrycznie, wtedy wartość oczekiwana . Rozrzut w pomiarze charakteryzuje się wtedy wariancją zmiennych losowych , a jeśli pomiary są wykonywane w identycznych scenariuszach, to wszystkie są takie same, do czego będziemy się odwoływać przez . Biorąc pod uwagę pomiary, typowy estymator dla , oznaczony jako , jest podany przez prostą średnią . Zauważ, że ta średnia empiryczna jest również zmienną losową, której wartość oczekiwana jest, ale również ma rozrzut. Jeżeli poszczególne pomiary nie są skorelowane, kwadrat błędu oszacowania jest określony wzorem . Stąd, jeśli wszystkie są równe, to błąd w oszacowaniu zmniejsza się wraz ze wzrostem as , co powoduje, że preferowane są dalsze obserwacje. ${\ Displaystyle \ mu}$${\ Displaystyle n}$ ${\displaystyle X_{1},X_{2},...,X_{n}}$ ${\ Displaystyle E [X_ {i}] = \ mu}$ ${\displaystyle \forall ja}$${\ Displaystyle Var (X_ {i}): = \ sigma _ {i} ^ {2}}$${\ Displaystyle \ sigma _ {i}}$${\displaystyle \sigma}$${\ Displaystyle n}$${\ Displaystyle \ mu}$${\displaystyle {\kapelusz {\mu}}}$ ${\ Displaystyle {\ overline {X}} = {\ Frac {1} {n}} \ suma _ {i} X_ {i}}$${\ Displaystyle E [{\ overline {X}}]}$${\ Displaystyle \ mu}$${\ Displaystyle Var ({\ overline {X}}) = {\ Frac {1} {n ^ {2}}} \ suma _ {i} \ sigma _ {i} ^ {2} = \ lewo ({\ szczelina {\sigma }{\sqrt {n}}}\prawo)^{2}}$${\ Displaystyle \ sigma _ {i}}$${\ Displaystyle n}$${\displaystyle 1/{\sqrt {n}}}$

Zamiast powtarzać pomiary jednym przyrządem, jeśli eksperymentator wykonuje tę samą ilość przy pomocy różnych przyrządów o różnej jakości pomiarów, to nie ma powodu, aby oczekiwać, że różne będą takie same. Niektóre instrumenty mogą być głośniejsze niż inne. W przykładzie pomiaru przyspieszenia ziemskiego, różne "przyrządy" mogą mierzyć z prostego wahadła , z analizy ruchu pocisku itp. Prosta średnia nie jest już optymalnym estymatorem, ponieważ błąd może faktycznie przekroczyć błąd w najmniej zaszumionym pomiarze, jeśli różne pomiary mają bardzo różne błędy. Zamiast odrzucać zaszumione pomiary, które zwiększają błąd końcowy, eksperymentator może połączyć wszystkie pomiary z odpowiednimi wagami, aby nadać większą wagę najmniej zaszumionym pomiarom i odwrotnie. Biorąc pod uwagę wiedzę , optymalnym estymatorem do pomiaru byłaby średnia ważona pomiarów , dla konkretnego doboru wag . Wariancja estymatora , która dla optymalnego doboru wag staje się${\ Displaystyle n}$${\ Displaystyle n}$${\ Displaystyle n}$${\ Displaystyle \ sigma _ {i}}$${\displaystyle g}$${\displaystyle {\overline {X}}}$${\ Displaystyle \ sigma _ {1} ^ {2} \ sigma _ {2} ^ {2} ... \ sigma _ {n} ^ {2}}$${\ Displaystyle \ mu}$${\ Displaystyle {\ kapelusz {\ mu}} = {\ Frac {\ suma _ {i} w_ {i} X_ {i}} {\ suma _ {i} w_ {i}}}}$${\ Displaystyle w_ {i} = 1 / \ sigma _ {i} ^ {2}}$${\ Displaystyle Var ({\ kapelusz {\ mu}}) = {\ Frac {\ suma _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2}} {\ lewo (\ suma _{i}w_{i}\prawo)^{2}}}}$${\ Displaystyle Var ({\ kapelusz {\ mu}} _ {\ tekst {opt}}) = \ lewo (\ suma _ {i} \ sigma _ {i} ^ {-2} \ prawej) ^ {-1 }.}$

Zauważ, że ponieważ estymator ma rozrzut mniejszy niż rozrzut w każdym indywidualnym pomiarze. Ponadto rozrzut maleje wraz z dodawaniem kolejnych pomiarów, jakkolwiek głośniejsze mogą być te pomiary. ${\ Displaystyle Var ({\ kapelusz {\ mu}} _ {\ tekst {opt}}) <\ min _ {j} \ sigma _ {j} ^ {2}}$${\ Displaystyle {\ kapelusz {\ mu}} _ {\ tekst {opcja}}}$

Pochodzenie

Rozważmy ogólną sumę ważoną , w której wagi są znormalizowane w taki sposób, że . Jeśli wszystkie są niezależne, wariancja jest dana przez ${\ Displaystyle Y = \ suma _ {i} w_ {i} X_ {i}}$${\displaystyle w_{i}}$${\ Displaystyle \ suma _ {i} w_ {i} = 1}$${\ Displaystyle X_ {i}}$${\ Displaystyle Y}$

${\ Displaystyle Var (Y) = \ suma _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2}}.$

Dla optymalności chcemy zminimalizować, co można zrobić, przyrównując gradient względem wag do zera, przy jednoczesnym zachowaniu ograniczenia, że . Używając mnożnika Lagrange'a do wymuszenia ograniczenia, wyrażamy wariancję ${\ Displaystyle Var (Y)}$${\ Displaystyle Var (Y)}$${\ Displaystyle \ suma _ {i} w_ {i} = 1}$ ${\displaystyle w_{0}}$

${\ Displaystyle Var (Y) = \ suma _ {i} w_ {i} ^ {2} \ sigma _ {i} ^ {2}-w_ {0} (\ suma _ {i} w_ {i} -1 ).}$

Dla , ${\displaystyle k>0}$

${\ Displaystyle 0 = {\ Frac {\ częściowy} {\ częściowy w_ {k}}} Var (Y) = 2w_ {k} \ sigma _ {k} ^ {2}-w_ {0}}$

co oznacza, że

${\ Displaystyle w_ {k} = {\ Frac {w_ {0}/2} {\ sigma _ {k} ^ {2}}}.}$

Głównym na wynos jest to . Ponieważ , ${\ Displaystyle w_ {k} \ propto 1 / \ sigma _ {k} ^ {2}}$${\ Displaystyle \ suma _ {i} w_ {i} = 1}$

${\ Displaystyle {\ Frac {2} {w_ {0}}} = \ suma _ {i} {\ Frac {1} {\ sigma _ {i} ^ {2}}}: = {\ Frac {1} {\sigma _{0}^{2}}}.}$

Poszczególne znormalizowane wagi to

${\ Displaystyle w_ {k} = {\ Frac {1} {\ Sigma _ {k} ^ {2}}} \ lewo (\ suma _ {i} {\ Frac {1} {\ Sigma _ {i} ^ {2}}}\right)^{-1}.}$

Łatwo zauważyć, że to rozwiązanie ekstremum odpowiada minimum z drugiego testu pochodnej cząstkowej, zauważając, że wariancja jest funkcją kwadratową wag. Zatem minimalna wariancja estymatora jest wtedy dana przez

${\ Displaystyle Var (Y) = \ suma _ {i} {\ Frac {\ sigma _ {0}^ {4}} \ sigma _ {i} ^ {4}}} \ sigma _ {i} ^ { 2}=\sigma _{0}^{4}\sum _{i}{\frac {1}{\sigma _{i}^{2}}}=\sigma _{0}^{4}{ \frac {1}{\sigma _{0}^{2}}}=\sigma _{0}^{2}={\frac {1}{\sum _{i}1/\sigma _{i }^{2}}}.}$

Rozkłady normalne

W przypadku zmiennych losowych o rozkładzie normalnym można również wyprowadzić średnie ważone z odwrotną wariancją jako oszacowanie maksymalnego prawdopodobieństwa dla wartości prawdziwej. Ponadto, z perspektywy bayesowskiej, rozkład a posteriori dla prawdziwej wartości przy obserwacjach o rozkładzie normalnym i płaskiej a priori jest rozkładem normalnym z odwrotną wariancją średniej ważonej jako średnią i wariancją${\displaystyle y_{i}}$${\ Displaystyle Var (Y)}$

Przypadek wielowymiarowy

W przypadku rozkładów wielowymiarowych równoważny argument prowadzi do optymalnego ważenia w oparciu o macierze kowariancji poszczególnych oszacowań : ${\ Displaystyle \ Sigma _ {i}}$${\displaystyle x_{i}}$

${\ Displaystyle {\ kapelusz {x}} = \ lewo (\ suma _ {i} \ Sigma _ {i} ^ {-1} \ prawej) ^ {-1} \ suma _ {i} \ Sigma _ {i }^{-1}x_{i}}$

${\ Displaystyle Var ({\ kapelusz {x}}) = \ lewo (\ suma _ {i} \ Sigma _ {i} ^ {-1} \ prawej) ^ {-1}}$

W przypadku rozkładów wielowymiarowych częściej stosuje się termin „precyzyjnie ważona średnia”.

Zobacz też

• Ważone najmniejsze kwadraty

Bibliografia