Centralne twierdzenie graniczne - Central limit theorem

W teorii prawdopodobieństwa , twierdzenie centralny limitu ( CLT ) określa, że w wielu sytuacjach, gdy niezależne zmienne losowe są sumowane, ich odpowiednio znormalizowane suma zmierza w kierunku rozkładu normalnego (nieformalnie krzywej dzwon ), nawet jeśli oryginalne same zmienne nie są zazwyczaj Rozpowszechniane. Twierdzenie to jest kluczowym pojęciem w teorii prawdopodobieństwa, ponieważ sugeruje, że metody probabilistyczne i statystyczne , które działają dla rozkładów normalnych, mogą mieć zastosowanie do wielu problemów związanych z innymi typami rozkładów. Twierdzenie to uległo wielu zmianom podczas formalnego rozwoju teorii prawdopodobieństwa. Poprzednie wersje tego twierdzenia pochodzą z 1811 r., ale w swojej współczesnej ogólnej formie ten fundamentalny wynik teorii prawdopodobieństwa został dokładnie określony dopiero w 1920 r., służąc tym samym jako pomost między klasyczną a współczesną teorią prawdopodobieństwa.

Jeżeli są losowe próbki pobierane z populacji o ogólnej średniej i skończonej wariancji , a jeżeli jest średnią z próby , to graniczną formą rozkładu , jest standardowy rozkład normalny.

Załóżmy na przykład, że otrzymano próbkę zawierającą wiele obserwacji , przy czym każda obserwacja jest generowana losowo w sposób niezależny od wartości innych obserwacji oraz że obliczana jest średnia arytmetyczna obserwowanych wartości. Jeśli ta procedura jest wykonywana wiele razy, centralne twierdzenie graniczne mówi, że rozkład prawdopodobieństwa średniej będzie bardzo zbliżony do rozkładu normalnego. Prostym przykładem tego jest to, że jeśli rzuci się monetą wiele razy , prawdopodobieństwo otrzymania określonej liczby orłów zbliży się do rozkładu normalnego, ze średnią równą połowie całkowitej liczby rzutów. Na granicy nieskończonej liczby przewrotów będzie równa rozkładowi normalnemu.

Centralne twierdzenie graniczne ma kilka wariantów. W swojej wspólnej postaci zmienne losowe muszą mieć identyczny rozkład. W wariantach zbieżność średniej z rozkładem normalnym występuje również dla rozkładów nieidentycznych lub dla obserwacji niesamodzielnych, jeśli spełniają określone warunki.

Najwcześniejszą wersją tego twierdzenia, zgodnie z którą rozkład normalny może być użyty jako przybliżenie do rozkładu dwumianowego , jest twierdzenie de Moivre-Laplace'a .

Niezależne sekwencje

Rozkład „wygładzany” przez sumowanie , pokazujący pierwotną gęstość rozkładu i trzy następujące po sobie sumy; zobacz Ilustracja centralnego twierdzenia granicznego dla dalszych szczegółów.
Bez względu na formę rozkładu populacji, rozkład próbkowania ma tendencję do Gaussa, a jego rozrzut jest określony przez centralne twierdzenie graniczne.

Klasyczny CLT

Niech będzie losową próbą wielkości — czyli sekwencją niezależnych i identycznie rozłożonych (iid) zmiennych losowych wylosowanych z rozkładu wartości oczekiwanej danej przez i skończonej wariancji danej przez . Załóżmy, że interesuje nas średnia próbki

tych zmiennych losowych. Zgodnie z prawem dużych liczb , średnie z próby zbiegają się prawie na pewno (a zatem również zbiegają się pod względem prawdopodobieństwa ) do wartości oczekiwanej jako . Klasyczne centralne twierdzenie graniczne opisuje wielkość i formę dystrybucji stochastycznych fluktuacji wokół liczby deterministycznej podczas tej zbieżności. Dokładniej, stwierdza, że jak staje się większy, rozkład różnicy między próbka średnia i jej granicy , po pomnożeniu przez współczynnik ( o ) jest zbliżony do rozkładu normalnego o średniej 0 i wariancji . Dla wystarczająco dużego n rozkład jest zbliżony do rozkładu normalnego ze średnią i wariancją . Przydatność twierdzenia polega na tym, że rozkład zbliża się do normalności niezależnie od kształtu rozkładu jednostki . Formalnie twierdzenie można sformułować w następujący sposób:

Lindeberg-Lévy CLT. Załóżmy, że jest sekwencją iid zmiennych losowych z i . Następnie, gdy zbliża się do nieskończoności, zmienne losowe zbiegają się w rozkładzie do normalnego :

W przypadku , zbieżność elementów rozprowadzających, że łączne funkcje rozkładu z zbiegają punktowo do CDF na dystrybucję: dla każdej rzeczywistej liczby ,

gdzie jest standardowy normalny cdf oceniany w . Konwergencja jest jednolita w tym sensie, że:

gdzie oznacza najmniejszą górną granicę (lub supremum ) zbioru.

Lyapunov CLT

Twierdzenie nosi imię rosyjskiego matematyka Aleksandra Lapunowa . W tym wariancie centralnego twierdzenia granicznego zmienne losowe muszą być niezależne, ale niekoniecznie o identycznym rozkładzie. Twierdzenie wymaga również, że zmienne losowe mają momenty jakiegoś celu , i że tempo wzrostu tych momentów jest ograniczona warunkiem Lapunowa podanej poniżej.

Lyapunov CLT. Załóżmy, że jest to sekwencja niezależnych zmiennych losowych, z których każda ma skończoną wartość oczekiwaną i wariancję . Definiować

Jeśli dla niektórych , stan Lapunowa

jest spełniony, to suma zbieżności w rozkładzie do standardowej normalnej zmiennej losowej, idąca do nieskończoności:

W praktyce zwykle najłatwiej jest sprawdzić stan Lapunowa na .

Jeżeli ciąg zmiennych losowych spełnia warunek Lapunowa, to spełnia również warunek Lindeberga. Jednak odwrotna implikacja nie jest aktualna.

Lindeberg CLT

W tym samym ustawieniu i z takim samym zapisem jak powyżej, warunek Lapunowa można zastąpić następującym słabszym (z Lindeberga w 1920 r.).

Załóżmy, że dla każdego

gdzie jest funkcja wskaźnika . Następnie rozkład sum standaryzowanych

zbiega się w kierunku standardowego rozkładu normalnego .

Wielowymiarowy CLT

Dowody wykorzystujące funkcje charakterystyczne można rozszerzyć do przypadków, w których każdy osobnik jest wektorem losowym w , ze średnim wektorem i macierzą kowariancji (wśród składników wektora), a te losowe wektory są niezależne i identycznie rozłożone. Sumowanie tych wektorów odbywa się w sposób komponentowy. Wielowymiarowe centralne twierdzenie graniczne stwierdza, że ​​po przeskalowaniu sumy zbiegają się do wielowymiarowego rozkładu normalnego .

Pozwolić

być wektorem k . Pogrubienie oznacza, że ​​jest to wektor losowy, a nie zmienna losowa (jednowymiarowa). Wtedy suma wektorów losowych będzie

a średnia to

i dlatego

Wielowymiarowe centralne twierdzenie graniczne stwierdza, że

gdzie macierz kowariancji jest równa

Szybkość zbieżności wyraża następujący wynik typu Berry-Esseen :

Twierdzenie. Niech będą niezależnymi losowymi wektorami, z których każdy ma średnią zero. Napisz i załóż jest odwracalne. Niech będzie dwuwymiarowym Gaussem z taką samą średnią i macierzą kowariancji jak . Następnie dla wszystkich zbiorów wypukłych ,

gdzie jest stałą uniwersalną , i oznacza normę euklidesową na .

Nie wiadomo, czy czynnik jest konieczny.

Uogólnione twierdzenie

Centralne twierdzenie graniczne stwierdza, że ​​suma wielu niezależnych i identycznie rozłożonych zmiennych losowych ze skończonymi wariancjami będzie dążyła do rozkładu normalnego wraz ze wzrostem liczby zmiennych. Uogólnienie na skutek Gnedenko i Kołmogorowa stanowi, że suma liczby zmiennych losowych z ogonem potęgowego ( Paretian ogona ) rozrzutu malejące w którym (a więc o nieskończonej wariancji) mają tendencję do rozkładu stabilnego jak liczba summands rośnie . Jeśli wtedy suma zbiega się do rozkładu stabilnego o parametrze stabilności równym 2, czyli do rozkładu Gaussa.

Procesy zależne

CLT w warunkach słabej zależności

Przydatnym uogólnieniem sekwencji niezależnych, identycznie rozłożonych zmiennych losowych jest mieszanie procesu losowego w dyskretnym czasie; „mieszanie” oznacza z grubsza, że ​​zmienne losowe czasowo odległe od siebie są prawie niezależne. W teorii ergodycznej i teorii prawdopodobieństwa stosuje się kilka rodzajów mieszania. Zobacz szczególnie silne mieszanie (zwane również α-mieszaniem) zdefiniowane przez gdzie jest tak zwany silny współczynnik mieszania .

Uproszczone sformułowanie centralnego twierdzenia granicznego w warunkach silnego mieszania to:

Twierdzenie. Załóżmy, że jest nieruchomy i miesza się z i that i . Oznacz , a następnie limit

istnieje, a jeśli następnie zbiega się w dystrybucji do .

W rzeczywistości,

gdzie seria zbiega się absolutnie.

Założenia nie można pominąć, ponieważ asymptotyczna normalność nie sprawdza się, gdzie jest inny ciąg stacjonarny .

Istnieje silniejsza wersja twierdzenia: założenie zastępuje się , a założenie zastępuje

Istnienie takich zapewnia konkluzję. Encyklopedyczne traktowanie twierdzeń granicznych w warunkach mieszania patrz ( Bradley 2007 ).

Różnica Martingale CLT

Twierdzenie . Niech martyngał zadowoli

  • w prawdopodobieństwie jako n → ∞ ,
  • dla każdego ε > 0 , jako n → ∞ ,

następnie zbiega się w dystrybucji do as .

Przestroga: ograniczony oczekiwanie nie powinno być mylone z oczekiwaniem warunkowego .

Uwagi

Dowód klasycznego CLT

Centralne twierdzenie graniczne ma dowód za pomocą funkcji charakterystycznych . Jest podobny do dowodu (słabego) prawa wielkich liczb .

Załóżmy, że są to niezależne zmienne losowe o identycznym rozkładzie, każda ze średnią i skończoną wariancją . Suma ma średnią i wariancję . Rozważ zmienną losową

gdzie w ostatnim kroku zdefiniowaliśmy nowe zmienne losowe , każda o zerowej średniej i jednostkowej wariancji ( ). Funkcja charakterystyczna od jest przez

gdzie w ostatnim kroku wykorzystaliśmy fakt, że wszystkie są identycznie rozłożone. Charakterystyczną funkcją jest, według twierdzenia Taylora ,

gdzie jest " mała notacja o " dla jakiejś funkcji, która schodzi do zera szybciej niż . Przez granicę funkcji wykładniczej ( ) charakterystyczna funkcja równa się

Wszystkie terminy wyższego rzędu znikają z limitu . Prawa strona jest równa funkcji charakterystycznej standardowego rozkładu normalnego , co implikuje twierdzenie Lévy'ego o ciągłości, że rozkład woli jest zbliżony do . Dlatego średnia próbki

jest taki, że

jest zbieżny do rozkładu normalnego , z którego wynika centralne twierdzenie graniczne.

Zbieżność do granic

Centralne twierdzenie graniczne daje jedynie rozkład asymptotyczny . Jako przybliżenie dla skończonej liczby obserwacji daje rozsądną aproksymację tylko wtedy, gdy jest blisko szczytu rozkładu normalnego; wymaga bardzo dużej liczby obserwacji, aby rozciągnąć się na ogony.

Zbieżność w centralnym twierdzeniu granicznym jest jednorodna, ponieważ skumulowana graniczna dystrybucja jest ciągła. Jeśli trzeci moment centralny istnieje i jest skończony, to prędkość zbieżności jest przynajmniej rzędu (patrz twierdzenie Berry-Esseena ). Metoda Steina może być wykorzystana nie tylko do udowodnienia centralnego twierdzenia granicznego, ale także do określenia granic współczynników zbieżności dla wybranych metryk.

Zbieżność do rozkładu normalnego jest monotonicznie, w tym sensie, że entropia z wzrasta monotonicznie od tego z normalnego.

Centralne twierdzenie graniczne dotyczy w szczególności sum niezależnych i identycznie rozłożonych dyskretnych zmiennych losowych . Suma dyskretnych zmiennych losowych jest nadal dyskretną zmienną losową , tak więc mamy do czynienia z sekwencją dyskretnych zmiennych losowych, których skumulowana funkcja rozkładu prawdopodobieństwa jest zbieżna w kierunku skumulowanego rozkładu prawdopodobieństwa odpowiadającego zmiennej ciągłej (czyli rozkładu normalnego ) . Oznacza to, że jeśli zbudujemy histogram realizacji sumy n niezależnych identycznych zmiennych dyskretnych, krzywa łącząca środki górnych ścian prostokątów tworzących histogram zbiega się w kierunku krzywej Gaussa, gdy n zbliża się do nieskończoności, ta relacja jest znane jako twierdzenie de Moivre-Laplace'a . Artykuł o rozkładzie dwumianowym szczegółowo opisuje takie zastosowanie centralnego twierdzenia granicznego w prostym przypadku zmiennej dyskretnej przyjmującej tylko dwie możliwe wartości.

Związek z prawem wielkich liczb

Prawo wielkich liczb oraz centralne twierdzenie graniczne są częściowymi rozwiązaniami ogólnego problemu: "Jakie jest ograniczające zachowanie S n, gdy n zbliża się do nieskończoności?" W analizie matematycznej szeregi asymptotyczne są jednym z najpopularniejszych narzędzi wykorzystywanych do podejścia do takich pytań.

Załóżmy, że mamy asymptotyczną ekspansję :

Dzieląc obie części przez φ 1 ( n ) i biorąc wartość graniczna będzie produkować 1 , współczynnik trwania najwyższym priorytecie w ekspansji, co stanowi szybkość, z jaką f ( n ) zmienia się w wiodących okresie.

Nieformalnie, można powiedzieć " f ( n ) rośnie w przybliżeniu w 1 φ 1 ( N ) ". Biorąc różnicę między f ( n ) i jej przybliżeniem, a następnie dzieląc przez następny wyraz w rozwinięciu, dochodzimy do bardziej wyrafinowanego stwierdzenia o f ( n ) :

Tutaj można powiedzieć, że różnica między funkcją i jej zbliżenia rośnie w przybliżeniu o 2 φ 2 ( n ) . Chodzi o to, że podzielenie funkcji przez odpowiednie funkcje normalizujące i przyjrzenie się ograniczającemu zachowaniu wyniku może nam wiele powiedzieć o ograniczającym zachowaniu samej oryginalnej funkcji.

Nieformalnie coś podobnego dzieje się, gdy suma S n niezależnych zmiennych losowych o identycznym rozkładzie X 1 , …, X n jest badana w klasycznej teorii prawdopodobieństwa. Jeśli każdy X i ma skończoną średnią μ , to zgodnie z prawem wielkich liczb, S n/nμ . Jeżeli dodatkowo każdy X i ma skończoną wariancję σ 2 , to według centralnego twierdzenia granicznego,

gdzie ξ ma rozkład jako N (0, σ 2 ) . Daje to wartości dwóch pierwszych stałych w nieformalnym rozwinięciu

W przypadku, gdy X i nie mają skończonej średniej lub wariancji, zbieżność przesuniętej i przeskalowanej sumy może również wystąpić z różnymi czynnikami centrowania i skalowania:

lub nieformalnie

Dystrybucje Ξ, które mogą powstać w ten sposób, nazywamy stabilnymi . Oczywiście rozkład normalny jest stabilny, ale istnieją również inne rozkłady stabilne, takie jak rozkład Cauchy'ego , dla których średnia lub wariancja nie są zdefiniowane. Współczynnik skalowania b n może być proporcjonalny do n c , dla dowolnego c1/2; może on również być pomnożona przez powolnie zmieniające funkcję z n .

Prawo iterowanego logarytmu Określa, co dzieje się „pomiędzy” z prawa wielkich liczb oraz centralne twierdzenie graniczne. Mówi w szczególności, że funkcja normalizująca n log log n , o pośrednim rozmiarze między n prawa wielkich liczb a n centralnego twierdzenia granicznego, zapewnia nietrywialne zachowanie ograniczające.

Alternatywne stwierdzenia twierdzenia

Funkcje gęstości

Gęstość sumy dwóch lub więcej zmiennych niezależnych jest splot ich gęstości (jeśli istnieją te gęstości). Zatem centralne twierdzenie graniczne można interpretować jako twierdzenie o właściwościach funkcji gęstości przy splocie: splot wielu funkcji gęstości dąży do normalnej gęstości, gdy liczba funkcji gęstości rośnie bez ograniczeń. Twierdzenia te wymagają silniejszych hipotez niż formy centralnego twierdzenia granicznego podane powyżej. Twierdzenia tego typu są często nazywane lokalnymi twierdzeniami granicznymi. Zobacz Petrov dla konkretnego lokalnego twierdzenia granicznego dla sum niezależnych i identycznie rozłożonych zmiennych losowych .

Funkcje charakterystyczne

Ponieważ funkcja charakterystyczna splotu jest iloczynem funkcji charakterystycznych danych gęstości, centralne twierdzenie graniczne ma jeszcze jedno przeformułowanie: iloczyn funkcji charakterystycznych wielu funkcji gęstości zbliża się do funkcji charakterystycznej gęstości normalnej. gdy liczba funkcji gęstości wzrasta bez ograniczeń, w warunkach podanych powyżej. W szczególności należy zastosować odpowiedni współczynnik skalujący do argumentu funkcji charakterystycznej.

Równoważne stwierdzenie można sformułować o transformatach Fouriera , ponieważ funkcja charakterystyczna jest zasadniczo transformatą Fouriera.

Obliczanie wariancji

Niech S n będzie sumą n zmiennych losowych. Wiele centralnych twierdzeń granicznych zapewnia warunki takie, że S n / Var( S n ) zbiega się w rozkładzie do N (0,1) (rozkład normalny ze średnią 0, wariancja 1) jako n → ∞ . W niektórych przypadkach można znaleźć stałą σ 2 i funkcję f(n) taką, że S n /(σ n⋅f ( n ) ) zbiega się w rozkładzie do N (0,1) jako n → ∞ .

Lemat. Załóżmy, że jest sekwencją o wartościach rzeczywistych i ściśle stacjonarnym zmiennych losowych ze wszystkim , , i . Zbudować

  1. Jeśli jest absolutnie zbieżny, , a następnie jako gdzie .
  2. Jeśli dodatkowo i zbiega się w rozkładzie do as, to również zbiega się w rozkładzie do as .

Rozszerzenia

Iloczyny dodatnich zmiennych losowych

Logarytm produktu jest po prostu suma logarytmów czynników. Dlatego, gdy logarytm iloczynu zmiennych losowych przyjmujących tylko wartości dodatnie zbliża się do rozkładu normalnego, sam iloczyn zbliża się do rozkładu logarytmiczno-normalnego . Wiele wielkości fizycznych (zwłaszcza masa lub długość, które są kwestią skali i nie mogą być ujemne) to iloczyny różnych czynników losowych , a więc mają rozkład logarytmiczno-normalny. Ta multiplikatywna wersja centralnego twierdzenia granicznego jest czasami nazywana prawem Gibrata .

Podczas gdy centralne twierdzenie graniczne dla sum zmiennych losowych wymaga warunku skończonej wariancji, odpowiednie twierdzenie o iloczynach wymaga odpowiedniego warunku, aby funkcja gęstości była całkowalna do kwadratu.

Poza klasycznymi ramami

Normalność asymptotyczna, czyli konwergencja do rozkładu normalnego po odpowiednim przesunięciu i przeskalowaniu, jest zjawiskiem znacznie bardziej ogólnym niż omówiona powyżej klasyczna struktura, a mianowicie sumy niezależnych zmiennych losowych (lub wektorów). Od czasu do czasu ujawniane są nowe ramy; na razie nie ma jednej ujednoliconej struktury.

Wypukły korpus

Twierdzenie. Istnieje ciąg ε n ↓ 0, dla którego zachodzi następujący ciąg . Niech n ≥ 1 i niech zmienne losowe X 1 , …, X n mają logarytmicznie wklęsłą gęstość połączenia f taką, że f ( x 1 , …, x n ) = f (| x 1 |, …, | x n | ) dla wszystkich x 1 , …, x n i E( X2
tys
) = 1
dla wszystkich k = 1, …, n . Następnie rozkład

jest ε n - bliski N (0,1) w całkowitej odległości zmienności .

Te dwa rozkłady ε n -bliskie mają gęstości (w rzeczywistości gęstości logarytmiczne wklęsłe), a zatem całkowita odległość wariancji między nimi jest całką wartości bezwzględnej różnicy między gęstościami. Konwergencja w całkowitej zmienności jest silniejsza niż słaba zbieżność.

Ważnym przykładem gęstości logarytmiczno-wklęsłej jest stała funkcji wewnątrz danego ciała wypukłego i zanikająca na zewnątrz; odpowiada to równomiernemu rozkładowi na ciele wypukłym, co wyjaśnia termin „centralne twierdzenie graniczne dla ciał wypukłych”.

Inny przykład: f ( x 1 , …, x n ) = const · exp(−(| x 1 | α + ⋯ + | x n | α ) β ) gdzie α > 1 i αβ > 1 . Jeśli β = 1 wtedy f ( x 1 , …, x n ) rozkłada się na const · exp (−| x 1 | α ) … exp(−| x n | α ), co oznacza , że X 1 , …, X n są niezależne . Na ogół jednak są zależne.

Warunek f ( x 1 , …, x n ) = f (| x 1 |, …, | x n |) zapewnia, że X 1 , …, X n mają zerową średnią i są nieskorelowane ; jednak nie muszą być niezależne, ani nawet niezależne parami . Nawiasem mówiąc, niezależność parami nie może zastąpić niezależności w klasycznym centralnym twierdzeniu granicznym.

Oto wynik typu Berry-Esseen .

Twierdzenie. Niech X 1 , …, X n spełniają założenia poprzedniego twierdzenia, więc

dla wszystkich a < b ; tutaj C jest uniwersalną (bezwzględną) stałą . Co więcej, dla każdego c 1 , …, c n takiego, że c2
1
+ ⋯ + c2
n
= 1
,

Dystrybucja X 1 + ⋯ + X n/nnie musi być w przybliżeniu normalny (w rzeczywistości może być jednolity). Jednak rozkład c 1 X 1 + ⋯ + c n X n jest bliski N (0,1) (w całkowitej odległości zmienności) dla większości wektorów ( c 1 , …, c n ) zgodnie z rozkładem jednostajnym na kula c2
1
+ … + c2
n
= 1
.

Szeregi trygonometryczne lakunarne

Twierdzenie ( SalemZygmund ): Niech U będzie zmienną losową rozłożoną równomiernie na (0,2π) , a X k = r k cos( n k U + a k ) , gdzie

  • n k spełnia warunek luki: istnieje q > 1 takie, że n k + 1qn k dla wszystkich k ,
  • r k są takie, że
  • 0 ≤ a k < 2π .

Następnie

zbieżne w rozkładzie do N (0,1/2) .

Politopy Gaussa

Twierdzenie: Niech A 1 , …, A n będą niezależnymi losowymi punktami na płaszczyźnie 2, z których każdy ma dwuwymiarowy standardowy rozkład normalny. Niech K n będzie wypukłą powłoką tych punktów, a X n polem K n Then

zbiega się w rozkładzie do N (0,1), ponieważ n dąży do nieskończoności.

To samo dotyczy wszystkich wymiarów większych niż 2.

Polytope K n jest nazywany losowych Gaussa Polytope.

Podobny wynik dotyczy liczby wierzchołków (politopu Gaussa), liczby krawędzi iw rzeczywistości ścian wszystkich wymiarów.

Funkcje liniowe macierzy ortogonalnych

Funkcja liniowa macierzy M jest kombinacją liniową jej elementów (o zadanych współczynnikach), M ↦ tr( AM ) gdzie A jest macierzą współczynników; zobacz Trace (algebra liniowa)#Inner product .

Mówi się, że losowa macierz ortogonalna ma rozkład jednostajny, jeśli jej rozkład jest znormalizowaną miarą Haara na ortogonalnej grupie O( n , ) ; zobacz Rotation matrix#Uniform losowe macierze rotacji .

Twierdzenie. Niech M będzie losową macierzą n × n o rozkładzie jednostajnym, a A stałą macierzą n × n taką, że tr( AA *) = n i niech X = tr( AM ) . Wtedy rozkład X jest bliski N (0,1) w metryce całkowitej zmienności aż do2 3/n − 1.

Podsekwencje

Twierdzenie. Niech zmienne losowe X 1 , X 2 , … ∈ L 2 (Ω) będą takie, że X n → 0 słabo w L 2 (Ω) i X
n
→ 1
słabo w L 1 (Ω) . Wtedy istnieją liczby całkowite n 1 < n 2 < ⋯ takie, że

zbiega się w rozkładzie do N (0,1), ponieważ k dąży do nieskończoności.

Przypadkowy spacer po kryształowej sieci

Centralne twierdzenie graniczne może być ustalone dla prostego błądzenia losowego po sieci krystalicznej (nieskończenie krotny abelowy graf pokrywający nad grafem skończonym) i służy do projektowania struktur krystalicznych.

Zastosowania i przykłady

Prosty przykład

Ten rysunek przedstawia centralne twierdzenie graniczne. Średnie z próby są generowane przy użyciu generatora liczb losowych, który losuje liczby od 0 do 100 z jednolitego rozkładu prawdopodobieństwa. Ilustruje to, że zwiększenie wielkości próby powoduje, że 500 zmierzonych średnich próby jest bardziej rozłożony wokół średniej populacji (50 w tym przypadku). Porównuje również obserwowane rozkłady z rozkładami, których można by oczekiwać dla znormalizowanego rozkładu Gaussa i pokazuje wartości chi-kwadrat , które określają ilościowo dobroć dopasowania (dopasowanie jest dobre, jeśli zmniejszona wartość chi-kwadrat jest mniejsza lub w przybliżeniu równy jeden). Dane wejściowe do znormalizowanej funkcji Gaussa to średnia ze średnich próbek (~50) i średnie odchylenie standardowe próbki podzielone przez pierwiastek kwadratowy wielkości próbki (~28,87/ n ), które nazywa się odchyleniem standardowym średniej ( ponieważ odnosi się do rozkładu średnich z próby).

Prostym przykładem centralnego twierdzenia granicznego jest rzucanie wieloma identycznymi, bezstronnymi kośćmi. Rozkład sumy (lub średniej) wyrzuconych liczb będzie dobrze przybliżony przez rozkład normalny. Ponieważ rzeczywiste wielkości są często zrównoważoną sumą wielu nieobserwowanych zdarzeń losowych, centralne twierdzenie graniczne dostarcza również częściowego wyjaśnienia występowania normalnego rozkładu prawdopodobieństwa. Uzasadnia również przybliżanie statystyk dużej próby do rozkładu normalnego w kontrolowanych eksperymentach.

Porównanie funkcji gęstości prawdopodobieństwa, ** p ( k ) dla sumy n sprawiedliwych kostek sześciościennych w celu wykazania ich zbieżności do rozkładu normalnego z rosnącym n , zgodnie z centralnym twierdzeniem granicznym. Na prawym dolnym wykresie wygładzone profile poprzednich wykresów są przeskalowywane, nakładane i porównywane z rozkładem normalnym (czarna krzywa).
Kolejna symulacja wykorzystująca rozkład dwumianowy. Wygenerowano losowe 0 i jedynek, a następnie obliczono ich średnie dla wielkości próby od 1 do 512. Należy zauważyć, że wraz ze wzrostem wielkości próbki ogony stają się cieńsze, a rozkład staje się bardziej skoncentrowany wokół średniej.

Prawdziwe aplikacje

Opublikowana literatura zawiera szereg przydatnych i interesujących przykładów i zastosowań dotyczących centralnego twierdzenia granicznego. Jedno ze źródeł podaje następujące przykłady:

  • Rozkład prawdopodobieństwa dla całkowitej odległości przebytej podczas błądzenia losowego (stronnego lub nieobciążonego) będzie zmierzał w kierunku rozkładu normalnego .
  • Odwrócenie wielu monet spowoduje normalny rozkład całkowitej liczby orłów (lub równoważnie całkowitej liczby reszek).

Z innego punktu widzenia, centralne twierdzenie graniczne wyjaśnia powszechne występowanie „krzywej dzwonowej” w szacunkach gęstości stosowanych do danych ze świata rzeczywistego. W przypadkach, takich jak szum elektroniczny, oceny egzaminacyjne itp., często możemy traktować pojedynczą zmierzoną wartość jako średnią ważoną wielu małych efektów. Używając uogólnień centralnego twierdzenia granicznego, możemy zobaczyć, że często (choć nie zawsze) dałoby to rozkład końcowy, który jest w przybliżeniu normalny.

Ogólnie rzecz biorąc, im bardziej pomiar jest podobny do sumy zmiennych niezależnych o równym wpływie na wynik, tym większą wykazuje normalność. Uzasadnia to powszechne stosowanie tego rozkładu do zastępowania skutków nieobserwowanych zmiennych w modelach takich jak model liniowy .

Regresja

Analiza regresji, aw szczególności zwykła metoda najmniejszych kwadratów, określa, że zmienna zależna zależy, zgodnie z pewną funkcją, od jednej lub więcej zmiennych niezależnych , z addytywnym składnikiem błędu . Różne rodzaje wnioskowania statystycznego na temat regresji zakładają, że składnik błędu ma rozkład normalny. Założenie to można uzasadnić zakładając, że składnik błędu jest w rzeczywistości sumą wielu niezależnych składników błędu; nawet jeśli poszczególne terminy błędu nie mają rozkładu normalnego, dzięki centralnemu twierdzeniu granicznemu ich suma może być dobrze aproksymowana przez rozkład normalny.

Inne ilustracje

Biorąc pod uwagę jego znaczenie dla statystyki, dostępnych jest wiele artykułów i pakietów komputerowych, które demonstrują zbieżność związaną z centralnym twierdzeniem granicznym.

Historia

Holenderski matematyk Henk Tijms pisze:

Centralne twierdzenie graniczne ma ciekawą historię. Pierwszą wersję tego twierdzenia postulował urodzony we Francji matematyk Abraham de Moivre, który w niezwykłym artykule opublikowanym w 1733 r. wykorzystał rozkład normalny, aby przybliżyć rozkład liczby orłów wynikających z wielu rzutów uczciwą monetą. To odkrycie znacznie wyprzedziło swoje czasy i zostało prawie zapomniane, dopóki słynny francuski matematyk Pierre-Simon Laplace nie uratował go od zapomnienia w monumentalnym dziele Théorie analytique des probabilités , które zostało opublikowane w 1812 roku. Laplace rozszerzył odkrycie De Moivre'a o przybliżenie dwumianu rozkład z rozkładem normalnym. Ale podobnie jak w przypadku De Moivre, odkrycie Laplace'a nie wzbudziło zbytniej uwagi w jego czasach. Dopiero pod koniec XIX wieku dostrzeżono znaczenie centralnego twierdzenia granicznego, gdy w 1901 r. rosyjski matematyk Aleksandr Lapunow zdefiniował je ogólnie i udowodnił dokładnie, jak działa ono matematycznie. Obecnie centralne twierdzenie graniczne uważane jest za nieoficjalnego suwerena teorii prawdopodobieństwa.

Sir Francis Galton tak opisał Centralne Twierdzenie Graniczne:

Nie znam prawie nic, co mogłoby tak zaimponować wyobraźni, jak cudowna forma kosmicznego porządku wyrażona przez „Prawo Częstotliwości Błędu”. Prawo zostałoby uosobione przez Greków i deifikowane, gdyby o nim wiedzieli. W najdzikszym zamieszaniu króluje spokojnie i całkowicie zażenowany. Im większy tłum i im większa pozorna anarchia, tym doskonalsza jest jego władza. To najwyższe prawo Bezrozumu. Za każdym razem, gdy bierze się do ręki dużą próbkę chaotycznych elementów i układa je w kolejności ich wielkości, nieoczekiwana i najpiękniejsza forma regularności okazuje się przez cały czas ukryta.

Rzeczywisty termin „centralne twierdzenie graniczne” (po niemiecku: „zentraler Grenzwertsatz”) został po raz pierwszy użyty przez George'a Pólyę w 1920 roku w tytule artykułu. Pólya określił twierdzenie jako „centralne” ze względu na jego znaczenie w teorii prawdopodobieństwa. Według Le Cama, francuska szkoła prawdopodobieństwa interpretuje słowo centralny w tym sensie, że „opisuje zachowanie środka rozkładu w przeciwieństwie do jego ogonów”. Streszczenie artykułu O centralnym twierdzeniu granicznym rachunku prawdopodobieństwa i problemie momentów Pólyi w 1920 roku można przetłumaczyć następująco.

Można wytłumaczyć występowanie gęstości prawdopodobieństwa Gaussa 1 = e x 2 w powtarzanych eksperymentach, w błędach pomiarów, które skutkują kombinacją bardzo wielu i bardzo małych błędów elementarnych, w procesach dyfuzji itp. znane z tego samego twierdzenia granicznego, które odgrywa kluczową rolę w rachunku prawdopodobieństwa. Prawdziwym odkrywcą tego twierdzenia granicznego jest Laplace; jest prawdopodobne, że jego rygorystyczny dowód został po raz pierwszy podany przez Tschebyscheff, a jego najostrzejsze sformułowanie można znaleźć, o ile mi wiadomo, w artykule Liapounoffa . ...

Dokładny opis historii twierdzenia, szczegółowo opisujący fundamentalną pracę Laplace'a, a także wkład Cauchy'ego , Bessela i Poissona , jest dostarczany przez Halda. Dwie relacje historyczne, jedna obejmująca rozwój od Laplace'a do Cauchy'ego, a druga to wkłady von Misesa , Pólyi , Lindeberga , Lévy'ego i Craméra w latach dwudziestych XX wieku, są podane przez Hansa Fischera. Le Cam opisuje okres około 1935 roku. Bernstein przedstawia dyskusję historyczną skupiającą się na pracy Pafnuty'ego Czebyszewa i jego uczniów Andrieja Markowa i Aleksandra Lapunowa, która doprowadziła do pierwszych dowodów CLT w ogólnym otoczeniu.

Ciekawym przypisem do historii Centralnego Twierdzenia Granicznego jest to, że dowód wyniku podobnego do CLT Lindeberga z 1922 r. był tematem rozprawy stypendialnej Alana Turinga z 1934 r. w King's College na Uniwersytecie w Cambridge . Dopiero po złożeniu pracy Turing dowiedział się, że zostało to już udowodnione. W konsekwencji rozprawa Turinga nie została opublikowana.

Zobacz też

Uwagi

Bibliografia

Zewnętrzne linki