Statystyka - Statistics

Rozkład normalny , bardzo powszechna gęstość prawdopodobieństwa , przydatna ze względu na centralne twierdzenie graniczne .
Wykresy punktowe są używane w statystykach opisowych, aby pokazać obserwowane relacje między różnymi zmiennymi, tutaj przy użyciu zestawu danych kwiatu tęczówki .

Statystyka to dyscyplina, która dotyczy gromadzenia, organizowania, analizy, interpretacji i prezentacji danych . Stosując statystykę do problemu naukowego, przemysłowego lub społecznego, konwencjonalnie zaczyna się od populacji statystycznej lub modelu statystycznego, który należy zbadać. Populacje mogą być różnymi grupami ludzi lub obiektów, takimi jak „wszyscy ludzie mieszkający w kraju” lub „każdy atom tworzący kryształ”. Statystyka zajmuje się każdym aspektem danych, w tym planowaniem zbierania danych pod kątem projektowania ankiet i eksperymentów .

Gdy nie można zebrać danych ze spisu , statystycy zbierają dane, opracowując określone projekty eksperymentów i próby ankietowe . Reprezentatywne pobieranie próbek zapewnia, że ​​wnioski i wnioski mogą rozsądnie rozciągać się z próby na populację jako całość. Badanie eksperymentalne obejmuje wykonanie pomiarów badanego systemu, manipulowanie systemem, a następnie wykonanie dodatkowych pomiarów przy użyciu tej samej procedury w celu ustalenia, czy manipulacja zmodyfikowała wartości pomiarów. Natomiast badanie obserwacyjne nie obejmuje manipulacji eksperymentalnej.

W analizie danych wykorzystywane są dwie główne metody statystyczne : statystyka opisowa , która podsumowuje dane z próby za pomocą wskaźników, takich jak średnia lub odchylenie standardowe , oraz statystyka wnioskowania , która wyciąga wnioski z danych podlegających losowej zmienności (np. błędy obserwacji, zmienność próbkowania). Statystyka opisowa dotyczy najczęściej dwóch zestawów właściwości rozkładu (próby lub populacji): tendencja centralna (lub lokalizacja ) ma na celu scharakteryzowanie centralnej lub typowej wartości rozkładu, podczas gdy dyspersja (lub zmienność ) charakteryzuje stopień, w jakim członkowie dystrybucja odbiega od jej centrum i od siebie. Wnioskowania na temat statystyki matematycznej dokonuje się w ramach teorii prawdopodobieństwa , która zajmuje się analizą zjawisk losowych.

Standardowa procedura statystyczna polega na gromadzeniu danych prowadzących do przetestowania relacji między dwoma zestawami danych statystycznych lub zestawem danych i danymi syntetycznymi zaczerpniętymi z wyidealizowanego modelu. Zaproponowano hipotezę dotyczącą statystycznej relacji między dwoma zestawami danych, która jest porównywana jako alternatywa dla wyidealizowanej hipotezy zerowej o braku związku między dwoma zestawami danych. Odrzucenie lub obalenie hipotezy zerowej odbywa się za pomocą testów statystycznych, które określają ilościowo, w jakim sensie można udowodnić, że zerowa jest fałszywa, biorąc pod uwagę dane użyte w teście. Opierając się na hipotezie zerowej, rozpoznaje się dwie podstawowe formy błędu: błędy typu I (hipoteza zerowa jest fałszywie odrzucana, co daje wynik „fałszywie dodatni”) i błędy typu II (hipoteza zerowa nie jest odrzucana, a rzeczywisty związek między populacjami jest pomijany, dając "fałszywie negatywny"). Z tymi ramami wiąże się wiele problemów, począwszy od uzyskania wystarczającej wielkości próby do określenia odpowiedniej hipotezy zerowej.

Procesy pomiarowe generujące dane statystyczne również są obarczone błędem. Wiele z tych błędów jest klasyfikowanych jako losowe (hałas) lub systematyczne ( obciążenie ), ale mogą również wystąpić inne rodzaje błędów (np. pomyłka, np. gdy analityk podaje nieprawidłowe jednostki). Obecność brakujących danych lub cenzurowanie może skutkować stronniczymi szacunkami, a specjalne techniki zostały opracowane w celu rozwiązania tych problemów.

Wstęp

Statystyka to matematyczny materiał naukowy, który odnosi się do gromadzenia, analizy, interpretacji lub wyjaśniania oraz prezentacji danych lub jako gałąź matematyki . Niektórzy uważają statystykę za odrębną naukę matematyczną, a nie za gałąź matematyki. Podczas gdy wiele badań naukowych wykorzystuje dane, statystyka dotyczy wykorzystania danych w kontekście niepewności i podejmowania decyzji w obliczu niepewności.

Stosując statystyki do problemu, powszechną praktyką jest rozpoczynanie od badanej populacji lub procesu. Populacje mogą obejmować różne tematy, takie jak „wszyscy ludzie mieszkający w kraju” lub „każdy atom tworzący kryształ”. Najlepiej byłoby, gdyby statystycy kompilowali dane dotyczące całej populacji (operacja zwana spisem ludności ). Może to być organizowane przez rządowe instytuty statystyczne. Do podsumowania danych dotyczących populacji można wykorzystać statystyki opisowe . Deskryptory liczbowe obejmują średnią i odchylenie standardowe dla danych ciągłych (takich jak dochód), podczas gdy częstotliwość i odsetek są bardziej przydatne do opisu danych kategorycznych (takich jak wykształcenie).

Gdy spis jest niewykonalny, badany jest wybrany podzbiór populacji zwany próbą . Po ustaleniu próbki, która jest reprezentatywna dla populacji, zbierane są dane dla członków próby w warunkach obserwacyjnych lub eksperymentalnych . Ponownie, do podsumowania przykładowych danych można wykorzystać statystyki opisowe. Jednak losowanie próby zawiera element losowości; stąd deskryptory liczbowe z próby są również podatne na niepewność. Aby wyciągnąć sensowne wnioski na temat całej populacji, potrzebne są statystyki inferencyjne . Wykorzystuje wzorce w danych próbki, aby wyciągnąć wnioski na temat reprezentowanej populacji z uwzględnieniem losowości. Wnioskowania te mogą przybierać formę odpowiedzi tak/nie na pytania dotyczące danych ( testowanie hipotez ), szacowania liczbowych cech danych ( szacowanie ), opisywania powiązań w danych ( korelacja ) oraz modelowania relacji w danych (na przykład za pomocą analiza regresji ). Wnioskowanie może rozciągać się na prognozowanie , przewidywanie i szacowanie nieobserwowanych wartości w badanej populacji lub związanych z nią. Może on zawierać ekstrapolacji i interpolacji z szeregu czasowego lub danych przestrzennych i eksploracji danych .

Statystyki matematyczne

Statystyka matematyczna to zastosowanie matematyki do statystyki. Stosowane do tego techniki matematyczne obejmują analizę matematyczną , algebra liniową , analizę stochastyczną , równania różniczkowe i teorię prawdopodobieństwa miary .

Historia

Gerolamo Cardano , pionier matematyki prawdopodobieństwa.

Wczesne pisma dotyczące wnioskowania statystycznego sięgają czasów arabskich matematyków i kryptografów w okresie złotego wieku islamu między VIII a XIII wiekiem. Al-Khalil (717-786) napisał Księgę wiadomości kryptograficznych , która zawiera pierwsze użycie permutacji i kombinacji , aby wymienić wszystkie możliwe słowa arabskie z samogłoskami i bez. W swojej książce Manuscript on Deciphering Cryptographic Messages Al-Kindi szczegółowo opisał, jak używać analizy częstotliwości do odszyfrowywania zaszyfrowanych wiadomości. Al-Kindi również jako najwcześniej wykorzystał wnioskowanie statystyczne , podczas gdy on i późniejsi arabscy ​​kryptografowie opracowali wczesne statystyczne metody dekodowania zaszyfrowanych wiadomości. Ibn Adlan (1187-1268) później wniósł istotny wkład w wykorzystanie wielkości próby w analizie częstotliwości.

Najwcześniejszym Europejskiej pisanie na statystyki sięgają 1663 roku, wraz z publikacją Natural i obserwacje Politycznych na Bills śmiertelności przez John Graunt . Wczesne zastosowanie myślenia statystycznego obracało się wokół potrzeb państw do polityki bazowej danych demograficznych i gospodarczych, stąd jego Statyny etymologię . Zakres dyscypliny statystycznej poszerzył się na początku XIX wieku o zbieranie i analizę danych w ogóle. Obecnie statystyka jest szeroko stosowana w rządzie, biznesie oraz naukach przyrodniczych i społecznych.

Matematyczne podstawy współczesnej statystyki zostały położone w XVII wieku wraz z rozwojem teorii prawdopodobieństwa przez Gerolamo Cardano , Blaise'a Pascala i Pierre'a de Fermata . Matematyczna teoria prawdopodobieństwa wyrosła z badań nad grami losowymi , chociaż pojęcie prawdopodobieństwa było już badane w prawie średniowiecznym i przez filozofów, takich jak Juan Caramuel . Metodą najmniejszych kwadratów, został po raz pierwszy opisany przez Adrien-Marie Legendre 1805.

Karl Pearson , twórca statystyki matematycznej.

Nowoczesna dziedzina statystyki pojawiła się na przełomie XIX i XX wieku w trzech etapach. Pierwsza fala, na przełomie wieków, była prowadzona przez prace Francisa Galtona i Karla Pearsona , którzy przekształcili statystykę w rygorystyczną dyscyplinę matematyczną stosowaną do analizy nie tylko w nauce, ale także w przemyśle i polityce. Wkład Galtona obejmował wprowadzenie pojęć odchylenia standardowego , korelacji , analizy regresji oraz zastosowanie tych metod do badania różnorodnych cech ludzkich — między innymi wzrostu, wagi, długości rzęs. Pearson opracował między innymi współczynnik korelacji Pearsona , określany jako produkt-moment, metodę momentów dopasowywania rozkładów do próbek oraz rozkład Pearsona . Galton i Pearson założyli Biometrikę jako pierwsze czasopismo statystyki matematycznej i biostatystyki (wtedy nazywanej biometrią), a ten ostatni założył pierwszy na świecie wydział statystyki uniwersyteckiej w University College London .

Ronald Fisher ukuł termin hipotezy zerowej podczas eksperymentu Lady degustacji herbaty , który „nigdy nie został udowodniony ani ustalony, ale prawdopodobnie został obalony w trakcie eksperymentów”.

Druga fala lat 1910 i 20 została zainicjowana przez Williama Sealy'ego Gosseta , a jej kulminacją były spostrzeżenia Ronalda Fishera , który napisał podręczniki, które miały zdefiniować dyscyplinę akademicką na uniwersytetach na całym świecie. Najważniejsze publikacje Fishera to jego przełomowa praca z 1918 r. The Correlation between Relatives on the Supposition of Mendelian Inheritance (w której jako pierwszy użyto terminu statystycznego, wariancja ), jego klasyczna praca Statistical Methods for Research Workers z 1925 r. oraz The Design of Experiments z 1935 r. , gdzie opracował rygorystyczne projekty modeli eksperymentalnych . Jest twórcą koncepcji wystarczalności , statystyki pomocniczej , liniowego dyskryminatora Fishera i informacji Fishera . W swojej książce „Genetyczna teoria doboru naturalnego” z 1930 r. zastosował statystyki do różnych koncepcji biologicznych , takich jak zasada Fishera (którą AWF Edwards nazwał „prawdopodobnie najbardziej znanym argumentem w biologii ewolucyjnej ”) i ucieczka rybacka , koncepcja w doborze płciowym o pozytywnym niekontrolowany wpływ sprzężenia zwrotnego znaleziony w ewolucji .

Ostatnia fala, która była głównie dopracowaniem i rozwinięciem wcześniejszych osiągnięć, wyłoniła się ze współpracy Egona Pearsona i Jerzego Neymana w latach 30. XX wieku. Wprowadzili pojęcia błędu „ Typu II ”, mocy testu i przedziałów ufności . Jerzy Neyman w 1934 r. wykazał, że warstwowe losowanie losowe jest na ogół lepszą metodą estymacji niż losowanie celowe (kwotowe).

Obecnie metody statystyczne są stosowane we wszystkich dziedzinach związanych z podejmowaniem decyzji, do wyciągania dokładnych wniosków na podstawie zebranych danych oraz do podejmowania decyzji w obliczu niepewności w oparciu o metodologię statystyczną. Zastosowanie nowoczesnych komputerów przyspieszyło obliczenia statystyczne na dużą skalę, a także umożliwiło wprowadzenie nowych metod, których wykonywanie ręcznie jest niepraktyczne. Statystyka nadal jest obszarem aktywnych badań, na przykład nad problemem analizy dużych zbiorów danych .

Dane statystyczne

Zbieranie danych

Próbowanie

Gdy nie można zebrać pełnych danych ze spisu, statystycy zbierają dane próbne, opracowując określone projekty eksperymentów i próby ankietowe . Sama statystyka dostarcza również narzędzi do przewidywania i prognozowania za pomocą modeli statystycznych .

Aby użyć próbki jako przewodnika dla całej populacji, ważne jest, aby naprawdę odzwierciedlała całą populację. Reprezentatywne pobieranie próbek zapewnia, że ​​wnioski i wnioski mogą bezpiecznie rozciągać się z próby na populację jako całość. Główny problem polega na określeniu, w jakim stopniu wybrana próba jest rzeczywiście reprezentatywna. Statystyka oferuje metody szacowania i korygowania wszelkich błędów w próbie i procedurach zbierania danych. Istnieją również metody projektowania eksperymentów, które mogą zmniejszyć te problemy na początku badania, wzmacniając jego zdolność do rozpoznawania prawd o populacji.

Próbkowanie teorii jest częścią matematyczną dyscypliny z teorii prawdopodobieństwa . Prawdopodobieństwo jest stosowana w statystyce matematycznej do badania rozkładów próbkowania z przykładowych statystyk i, bardziej ogólnie, właściwości procedur statystycznych . Użycie dowolnej metody statystycznej jest ważne, gdy rozważany system lub populacja spełnia założenia metody. Różnica w punkcie widzenia pomiędzy klasyczną teorią prawdopodobieństwa a teorią doboru próby polega z grubsza na tym, że teoria prawdopodobieństwa zaczyna się od podanych parametrów całej populacji, aby wydedukować prawdopodobieństwa odnoszące się do próbek. Wnioskowanie statystyczne idzie jednak w przeciwnym kierunku – wnioskowanie indukcyjne z próbek na parametry większej lub całkowitej populacji.

Badania eksperymentalne i obserwacyjne

Wspólnym celem projektu badań statystycznych jest zbadanie przyczynowości , aw szczególności wyciągnięcie wniosków dotyczących wpływu zmian wartości predyktorów lub zmiennych niezależnych na zmienne zależne . Istnieją dwa główne rodzaje przyczynowych badań statystycznych: badania eksperymentalne i badania obserwacyjne . W obu typach badań obserwuje się wpływ różnic zmiennej niezależnej (lub zmiennych) na zachowanie zmiennej zależnej. Różnica między tymi dwoma typami polega na tym, jak faktycznie prowadzone jest badanie. Każdy może być bardzo skuteczny. Badanie eksperymentalne obejmuje wykonanie pomiarów badanego systemu, manipulowanie systemem, a następnie wykonanie dodatkowych pomiarów przy użyciu tej samej procedury w celu ustalenia, czy manipulacja zmodyfikowała wartości pomiarów. Natomiast badanie obserwacyjne nie obejmuje manipulacji eksperymentalnej . Zamiast tego gromadzone są dane i badane są korelacje między predyktorami a odpowiedzią. Chociaż narzędzia analizy danych najlepiej sprawdzają się na danych z badań randomizowanych , są one również stosowane do innych rodzajów danych — takich jak eksperymenty naturalne i badania obserwacyjne — w przypadku których statystyk użyłby zmodyfikowanej, bardziej ustrukturyzowanej metody szacowania (np. Różnica w różnicach estymacja i zmienne instrumentalne , między innymi), które dają spójne estymatory .

Eksperymenty

Podstawowe etapy eksperymentu statystycznego to:

  1. Planowanie badania, w tym znalezienie liczby powtórzeń badania, z wykorzystaniem następujących informacji: wstępne szacunki dotyczące wielkości efektów leczenia , hipotezy alternatywne oraz oszacowana zmienność eksperymentalna . Niezbędne jest uwzględnienie doboru tematów eksperymentalnych i etyki badań. Statystycy zalecają, aby eksperymenty porównywały (przynajmniej) jedną nową terapię ze standardową terapią lub kontrolą, aby umożliwić bezstronne oszacowanie różnicy w efektach leczenia.
  2. Projektowanie eksperymentów z wykorzystaniem blokowania w celu zmniejszenia wpływu mylących zmiennych oraz randomizowanego przypisywania terapii do badanych, aby umożliwić obiektywne oszacowanie efektów leczenia i błędu eksperymentalnego. Na tym etapie eksperymentatorzy i statystycy piszą protokół eksperymentalny, który pokieruje wykonaniem eksperymentu i który określa podstawową analizę danych eksperymentalnych.
  3. Przeprowadzenie eksperymentu zgodnie z protokołem eksperymentalnym i analiza danych zgodnie z protokołem eksperymentalnym.
  4. Dalsze badanie zbioru danych w analizach wtórnych, aby zaproponować nowe hipotezy do przyszłych badań.
  5. Dokumentowanie i prezentacja wyników badania.

Eksperymenty na ludzkim zachowaniu budzą szczególne obawy. Słynne badanie Hawthorne dotyczyło zmian w środowisku pracy w zakładzie w Hawthorne należącym do Western Electric Company . Naukowcy byli zainteresowani ustaleniem, czy zwiększone oświetlenie zwiększy wydajność pracowników linii montażowej . Naukowcy najpierw zmierzyli produktywność w roślinie, a następnie zmodyfikowali oświetlenie na obszarze rośliny i sprawdzili, czy zmiany w oświetleniu wpływają na produktywność. Okazało się, że produktywność rzeczywiście się poprawiła (w warunkach eksperymentalnych). Jednak badanie jest dziś ostro krytykowane za błędy w procedurach eksperymentalnych, w szczególności za brak grupy kontrolnej i ślepotę . Efekt Hawthorne'a odnosi się do stwierdzenia, że ​​wynik (w tym przypadku produktywność pracownika) zmienił się z powodu samej obserwacji. Osoby biorące udział w badaniu Hawthorne stały się bardziej produktywne nie dlatego, że zmieniono oświetlenie, ale dlatego, że były obserwowane.

Badania obserwacyjne

Przykładem badania obserwacyjnego jest badanie związku między paleniem a rakiem płuc. Ten rodzaj badania zazwyczaj wykorzystuje ankietę do zbierania obserwacji dotyczących obszaru zainteresowania, a następnie przeprowadza analizę statystyczną. W tym przypadku naukowcy zbieraliby obserwacje zarówno palaczy, jak i niepalących, być może poprzez badanie kohortowe , a następnie szukali liczby przypadków raka płuc w każdej grupie. Badanie kliniczno-kontrolne to inny rodzaj badania obserwacyjnego, w którym zaprasza się do udziału osoby z interesującym wynikiem badania lub bez niego (np. rak płuc), a ich historie narażenia są gromadzone.

Rodzaje danych

Podejmowano różne próby stworzenia taksonomii poziomów pomiaru . Psychofizyk Stanley Smith Stevens zdefiniował skale nominalną, porządkową, interwałową i ilorazową. Pomiary nominalne nie mają znaczącego porządku rang wśród wartości i pozwalają na dowolną transformację jeden do jednego (wstrzykiwaną). Pomiary porządkowe mają nieprecyzyjne różnice między kolejnymi wartościami, ale mają znaczący porządek w stosunku do tych wartości i pozwalają na dowolną transformację zachowującą porządek. Pomiary interwałowe mają określone znaczące odległości między pomiarami, ale wartość zero jest dowolna (jak w przypadku pomiarów długości geograficznej i temperatury w stopniach Celsjusza lub Fahrenheita ) i pozwala na dowolną transformację liniową. Pomiary współczynnika mają zarówno znaczącą wartość zerową, jak i zdefiniowane odległości między różnymi pomiarami i pozwalają na dowolną transformację przeskalowania.

Ponieważ zmienne zgodne tylko z pomiarami nominalnymi lub porządkowymi nie mogą być rozsądnie mierzone liczbowo, czasami są grupowane razem jako zmienne kategorialne , podczas gdy pomiary ilorazowe i przedziałowe są grupowane razem jako zmienne ilościowe , które mogą być dyskretne lub ciągłe , ze względu na ich liczbowy charakter. Takie rozróżnienia mogą być często luźno skorelowane z typem danych w informatyce, ponieważ dychotomiczne zmienne kategorialne mogą być reprezentowane przez typ danych logicznych , wielotomowe zmienne kategorialne z arbitralnie przypisanymi liczbami całkowitymi w integralnym typie danych , a zmienne ciągłe z rzeczywistym typem danych obejmującym obliczenia zmiennoprzecinkowe . Ale mapowanie typów danych informatycznych do typów danych statystycznych zależy od tego, jaka kategoryzacja tych ostatnich jest wdrażana.

Zaproponowano inne kategoryzację. Na przykład Mosteller i Tukey (1977) wyróżnili stopnie, rangi, liczone ułamki, liczby, kwoty i salda. Nelder (1990) opisał zliczenia ciągłe, stosunki ciągłe, stosunki zliczeń i kategoryczne tryby danych. (Patrz także: Chrisman (1998), van den Berg (1991).)

Kwestię, czy właściwe jest stosowanie różnego rodzaju metod statystycznych do danych uzyskanych z różnych rodzajów procedur pomiarowych, komplikują kwestie związane z transformacją zmiennych i precyzyjną interpretacją pytań badawczych. „Związek między danymi a tym, co opisują, odzwierciedla jedynie fakt, że niektóre rodzaje stwierdzeń statystycznych mogą mieć wartości prawdy, które nie są niezmienne w niektórych transformacjach. To, czy transformacja jest sensowna do rozważenia, zależy od pytania, na które próbujemy odpowiedzieć ”.

Metody

Opisowe statystyki

Statystyki opisowe (w count rzeczownik sensie) jest statystyka podsumowanie który opisuje ilościowo lub podsumowuje cechy zbierania informacji , a statystyki opisowe w mass rzeczownik sensie jest to proces używania i analizując te statystyki. Statystyka opisowa różni się od statystyk wnioskowanych (lub statystyk indukcyjnych) tym, że celem statystyk opisowych jest podsumowanie próbki , a nie wykorzystanie danych do poznania populacji, którą ma reprezentować próbka danych.

Statystyka wnioskowa

Wnioskowanie statystyczne to proces wykorzystujący analizę danych do wywnioskowania właściwości leżących u podstaw rozkładu prawdopodobieństwa . Wnioskowa analiza statystyczna pozwala wywnioskować właściwości populacji , na przykład przez testowanie hipotez i wyprowadzanie szacunków. Zakłada się, że obserwowana zbiór danych jest próbkowany z większej populacji. Statystykę wnioskowania można zestawić ze statystyką opisową . Statystyka opisowa dotyczy wyłącznie właściwości obserwowanych danych i nie opiera się na założeniu, że dane pochodzą z większej populacji.

Terminologia i teoria statystyki inferencyjnej

Statystyki, estymatory i kluczowe wielkości

Rozważ niezależne zmienne losowe o identycznym rozkładzie (IID) o danym rozkładzie prawdopodobieństwa : standardowe wnioskowanie statystyczne i teoria estymacji definiuje losową próbkę jako losowy wektor podany przez wektor kolumnowy tych zmiennych IID. Badaną populację opisuje rozkład prawdopodobieństwa, który może mieć nieznane parametry.

Statystyka to zmienna losowa będąca funkcją próby losowej, ale nie funkcją nieznanych parametrów . Jednak rozkład prawdopodobieństwa statystyki może mieć nieznane parametry. Rozważmy teraz funkcję nieznanego parametru: estymator to statystyka używana do oszacowania takiej funkcji. Powszechnie stosowane estymatory obejmują średnią próbki , nieobciążoną wariancję próbki i kowariancję próbki .

Zmienna losowa, która jest funkcją próby losowej i nieznanego parametru, ale której rozkład prawdopodobieństwa nie zależy od nieznanego parametru, nazywana jest wielkością kluczową lub osią obrotu. Powszechnie stosowane przestawne obejmują z-score , statystykę chi-kwadrat i wartość t Studenta .

Pomiędzy dwoma estymatorami danego parametru, bardziej efektywny jest ten z niższym błędem średniokwadratowym . Co więcej, mówi się, że estymator jest nieobciążony, jeśli jego wartość oczekiwana jest równa prawdziwej wartości nieznanego parametru, który jest szacowany, i jest nieobciążony asymptotycznie, jeśli jego wartość oczekiwana zbiega się na granicy z rzeczywistą wartością takiego parametru.

Inne pożądane właściwości estymatorów to: estymatory UMVUE, które mają najmniejszą wariancję dla wszystkich możliwych wartości estymowanego parametru (jest to zwykle łatwiejsza do zweryfikowania właściwość niż wydajność) i spójne estymatory, które są zbieżne pod względem prawdopodobieństwa do prawdziwej wartości takiego parametru .

Pozostaje jeszcze pytanie, jak w danej sytuacji uzyskać estymatory i przeprowadzić obliczenia, zaproponowano kilka metod: metodę momentów , metodę największej wiarygodności, metodę najmniejszych kwadratów i nowszą metodę estymacji równań .

Hipoteza zerowa i hipoteza alternatywna

Interpretacja informacji statystycznych może często wiązać się z postawieniem hipotezy zerowej, która zwykle (choć niekoniecznie) zakłada, że między zmiennymi nie ma związku lub że nie nastąpiła żadna zmiana w czasie.

Najlepszą ilustracją dla nowicjusza jest sytuacja, w jakiej znajduje się proces karny. Hipoteza zerowa, H 0 , stwierdza, że ​​pozwany jest niewinny, podczas gdy hipoteza alternatywna, H 1 , zakłada, że oskarżony jest winny. Akt oskarżenia pojawia się z powodu podejrzenia winy. H 0 (status quo) stoi w opozycji do H 1 i jest utrzymany, chyba że H 1 jest poparte dowodami „poza rozsądnymi wątpliwościami”. Jednak „nieodrzucenie H 0 ” w tym przypadku nie oznacza niewinności, a jedynie to, że dowody były niewystarczające do skazania. Zatem ława przysięgłych niekoniecznie akceptuje H 0 , ale nie odrzuca H 0 . Chociaż nie można "udowodnić" hipotezy zerowej, można sprawdzić, jak blisko jest ona do prawdy, za pomocą testu mocy , który sprawdza błędy typu II .

To, co statystycy nazywają hipotezą alternatywną, jest po prostu hipotezą sprzeczną z hipotezą zerową .

Błąd

Opierając się na hipotezie zerowej , rozpoznaje się dwie szerokie kategorie błędów:

  • Błędy typu I, w których hipoteza zerowa jest fałszywie odrzucana, dając wynik „fałszywie pozytywny”.
  • Błędy typu II, w których hipoteza zerowa nie jest odrzucana, a rzeczywista różnica między populacjami jest pomijana, co daje wynik „fałszywie ujemny”.

Odchylenie standardowe odnosi się do zakresu, w jakim poszczególne obserwacje w próbie różnią się od wartości centralnej, takiej jak średnia próbki lub populacji, podczas gdy błąd standardowy odnosi się do oszacowania różnicy między średnią próbki a średnią populacji.

Błąd statystyczny jest ilość w wyniku którego różni obserwacji z jego wartością oczekiwaną , A resztkowy jest kwota, którą różni się od obserwacji wartości estymatora oczekiwanej wartości przyjmuje w danej próbki (nazywane również predykcji).

Błąd średniokwadratowy służy do uzyskiwania efektywnych estymatorów , szeroko stosowanej klasy estymatorów. Pierwiastek błędu średniokwadratowego to po prostu pierwiastek kwadratowy błędu średniokwadratowego.

Pasują najmniejsze kwadraty: na czerwono punkty, które mają być dopasowane, na niebiesko dopasowana linia.

Wiele metod statystycznych dąży do zminimalizowania resztkowej sumy kwadratów i są one nazywane „ metodami najmniejszych kwadratów ” w przeciwieństwie do najmniejszych absolutnych odchyleń . Ten drugi przypisuje równą wagę małym i dużym błędom, podczas gdy ten pierwszy przypisuje większą wagę dużym błędom. Resztkowa suma kwadratów jest również różniczkowalna , co zapewnia przydatną właściwość do wykonywania regresji . Najmniejszych kwadratów stosowane do regresji liniowej nazywa zwykły najmniejszych kwadratów metodą najmniejszych kwadratów i zastosowano do regresji nieliniowej nazywa nieliniowej najmniejszych kwadratów . Również w modelu regresji liniowej niedeterministyczna część modelu nazywana jest błędem, zakłóceniem lub po prostu szumem. Zarówno regresja liniowa, jak i nieliniowa są omówione w wielomianowych najmniejszych kwadratach , co opisuje również wariancję w przewidywaniu zmiennej zależnej (oś y) jako funkcję zmiennej niezależnej (oś x) i odchyleń (błędy, szum, zakłóceń) z oszacowanej (dopasowanej) krzywej.

Procesy pomiarowe generujące dane statystyczne również są obarczone błędem. Wiele z tych błędów jest klasyfikowanych jako losowe (szum) lub systematyczne ( obciążenie ), ale inne rodzaje błędów (np. pomyłka, np. gdy analityk podaje nieprawidłowe jednostki) mogą być również ważne. Obecność brakujących danych lub cenzurowanie może skutkować stronniczymi szacunkami, a specjalne techniki zostały opracowane w celu rozwiązania tych problemów.

Oszacowanie interwału
Przedziały ufności : czerwona linia to prawdziwa wartość średniej w tym przykładzie, niebieskie linie to losowe przedziały ufności dla 100 realizacji.

Większość badań dotyczy tylko części populacji, więc wyniki nie odzwierciedlają w pełni całej populacji. Wszelkie szacunki uzyskane z próby jedynie przybliżają wartość populacji. Przedziały ufności umożliwiają statystykom wyrażenie, w jakim stopniu oszacowanie próbki odpowiada rzeczywistej wartości w całej populacji. Często są one wyrażane jako 95% przedziały ufności. Formalnie 95% przedział ufności dla wartości jest zakresem, w którym, jeśli próbkowanie i analiza zostały powtórzone w tych samych warunkach (uzyskując inny zbiór danych), przedział obejmowałby prawdziwą (populację) wartość w 95% wszystkich możliwych przypadków . Nie oznacza to , że prawdopodobieństwo, że prawdziwa wartość znajduje się w przedziale ufności, wynosi 95%. Z perspektywy częstych takie twierdzenie nie ma nawet sensu, ponieważ prawdziwa wartość nie jest zmienną losową . Prawdziwa wartość mieści się lub nie mieści się w podanym przedziale. Jednak prawdą jest, że przed próbkowaniem jakichkolwiek danych i przygotowaniem planu konstrukcji przedziału ufności prawdopodobieństwo wynosi 95%, że przedział, który ma zostać obliczony, pokryje wartość prawdziwą: w tym momencie granice przedziału są jeszcze nieobserwowanymi zmiennymi losowymi . Jednym z podejść, które daje przedział, który można interpretować jako mający dane prawdopodobieństwo zawarcia prawdziwej wartości, jest użycie wiarygodnego przedziału ze statystyk bayesowskich : podejście to zależy od innego sposobu interpretacji tego, co rozumie się przez „prawdopodobieństwo” , to znaczy jako prawdopodobieństwo bayesowskie .

W zasadzie przedziały ufności mogą być symetryczne lub asymetryczne. Interwał może być asymetryczny, ponieważ działa jako dolna lub górna granica dla parametru (interwał lewostronny lub interwał prawostronny), ale może być również asymetryczny, ponieważ interwał dwustronny jest zbudowany z naruszeniem symetrii wokół oszacowania. Czasami granice przedziału ufności są osiągane asymptotycznie i są one używane do przybliżania granic prawdziwych.

Znaczenie

Statystyki rzadko udzielają prostej odpowiedzi typu Tak/Nie na analizowane pytanie. Interpretacja często sprowadza się do poziomu istotności statystycznej stosowanej do liczb i często odnosi się do prawdopodobieństwa, że ​​wartość dokładnie odrzuci hipotezę zerową (czasami określaną jako wartość p ).

Na tym wykresie czarna linia to rozkład prawdopodobieństwa dla statystyki testowej , obszar krytyczny to zestaw wartości na prawo od obserwowanego punktu danych (obserwowana wartość statystyki testowej), a wartość p jest reprezentowana przez zielony obszar.

Standardowym podejściem jest testowanie hipotezy zerowej z hipotezą alternatywną. Obszar krytyczny jest zbiorem wartości estymatora, który prowadzi do odparcia hipotezę zerową. Prawdopodobieństwo błędu typu I jest zatem prawdopodobieństwem, że estymator należy do obszaru krytycznego, biorąc pod uwagę, że hipoteza zerowa jest prawdziwa ( istotność statystyczna ), a prawdopodobieństwo błędu typu II jest prawdopodobieństwem, że estymator nie należy do podanego obszaru krytycznego że hipoteza alternatywna jest prawdziwa. Moc statystyczną testu jest prawdopodobieństwo, że słusznie odrzuca hipotezę zerową, gdy hipoteza zerowa jest fałszywa.

Odwoływanie się do istotności statystycznej niekoniecznie oznacza, że ​​ogólny wynik jest istotny w warunkach rzeczywistych. Na przykład w dużym badaniu leku można wykazać, że lek ma statystycznie istotny, ale bardzo mały korzystny wpływ, tak że jest mało prawdopodobne, aby lek pomógł pacjentowi w zauważalny sposób.

Chociaż w zasadzie akceptowalny poziom istotności statystycznej może być przedmiotem dyskusji, poziom istotności jest największą wartością p, która umożliwia testowi odrzucenie hipotezy zerowej. Ten test jest logicznie równoważny stwierdzeniu, że wartość p jest prawdopodobieństwem, przy założeniu, że hipoteza zerowa jest prawdziwa, obserwowania wyniku co najmniej tak ekstremalnego jak statystyka testowa . Dlatego im mniejszy poziom istotności, tym mniejsze prawdopodobieństwo popełnienia błędu I typu.

Niektóre problemy są zwykle związane z tymi ramami (patrz krytyka testowania hipotez ):

  • Różnica, która jest wysoce istotna statystycznie, może nadal nie mieć znaczenia praktycznego, ale możliwe jest prawidłowe sformułowanie testów, aby to wyjaśnić. Jedna odpowiedź obejmuje wykroczenie poza raportowanie tylko poziomu istotności, aby uwzględnić wartość p podczas raportowania, czy hipoteza została odrzucona, czy zaakceptowana. Wartość p nie wskazuje jednak na wielkość ani znaczenie obserwowanego efektu i może również wydawać się wyolbrzymiać znaczenie drobnych różnic w dużych badaniach. Lepszym i coraz powszechniejszym podejściem jest raportowanie przedziałów ufności . Chociaż są one tworzone na podstawie tych samych obliczeń, co te z testów hipotez lub wartości p , opisują one zarówno wielkość efektu, jak i otaczającą go niepewność.
  • Błąd transponowanego warunku, inaczej błąd prokuratora : krytyka pojawia się, ponieważ podejście do testowania hipotez wymusza faworyzowanie jednej hipotezy (hipotezy zerowej ), ponieważ oceniane jest prawdopodobieństwo obserwowanego wyniku przy założeniu hipotezy zerowej, a nie prawdopodobieństwo wystąpienia hipoteza zerowa biorąc pod uwagę obserwowany wynik. Alternatywą dla tego podejścia jest wnioskowanie bayesowskie , chociaż wymaga ono ustalenia prawdopodobieństwa a priori .
  • Odrzucenie hipotezy zerowej nie dowodzi automatycznie hipotezy alternatywnej.
  • Jak wszystko w statystyce inferencyjnej opiera się na wielkości próby, a zatem pod grubymi ogonami wartości p mogą być poważnie błędnie obliczone.
Przykłady

Niektóre dobrze znane testy i procedury statystyczne to:

Analiza danych rozpoznawczych

Eksploracyjna analiza danych ( EDA ) to podejście do analizy zbiorów danych w celu podsumowania ich głównych cech, często metodami wizualnymi. Model statystyczny może być używany lub nie, ale przede wszystkim jest dla EDA widząc jakie dane może nam powiedzieć poza formalnego modelowania lub hipotezy zadania testowe.

Nadużywanie

Niewłaściwe wykorzystanie statystyk może powodować subtelne, ale poważne błędy w opisie i interpretacji — subtelne w tym sensie, że nawet doświadczeni profesjonaliści popełniają takie błędy, oraz poważne w tym sensie, że mogą prowadzić do druzgocących błędów decyzyjnych. Na przykład polityka społeczna, praktyka medyczna i niezawodność konstrukcji, takich jak mosty, wszystkie opierają się na właściwym wykorzystaniu statystyk.

Nawet jeśli techniki statystyczne są stosowane prawidłowo, wyniki mogą być trudne do interpretacji dla osób, które nie posiadają specjalistycznej wiedzy. Istotność statystyczna trendu w segmencie danych, który mierzy stopień, w których trend może być spowodowane przez przypadkowych zmian w próbce, może lub nie może zgodzić się z intuicyjnym sensie jego znaczenie. Zestaw podstawowych umiejętności statystycznych (i sceptycyzmu), których ludzie potrzebują do właściwego radzenia sobie z informacjami w swoim codziennym życiu, określa się mianem alfabetyzacji statystycznej .

Panuje ogólne przekonanie, że wiedza statystyczna jest zbyt często celowo nadużywana poprzez szukanie sposobów interpretacji tylko danych, które są korzystne dla prezentera. Nieufność i niezrozumienie statystyki wiąże się z cytatem: „ Istnieją trzy rodzaje kłamstw: kłamstwa, przeklęte kłamstwa i statystyka ”. Niewłaściwe wykorzystanie statystyk może być zarówno nieumyślne, jak i celowe, a książka How to Lie with Statistics przedstawia szereg rozważań. Próbując rzucić światło na wykorzystanie i nadużycie statystyki, prowadzone są przeglądy technik statystycznych stosowanych w poszczególnych dziedzinach (np. Warne, Lazo, Ramos i Ritter (2012)).

Sposoby na uniknięcie niewłaściwego wykorzystania statystyk obejmują używanie odpowiednich diagramów i unikanie stronniczości . Niewłaściwe użycie może wystąpić, gdy wnioski są nadmiernie uogólnione i twierdzi się, że są reprezentatywne dla więcej niż są w rzeczywistości, często przez celowe lub nieświadome pomijanie błędu próbkowania. Wykresy słupkowe są prawdopodobnie najłatwiejszymi w użyciu i zrozumieniu diagramami i można je tworzyć ręcznie lub za pomocą prostych programów komputerowych. Niestety większość ludzi nie szuka stronniczości ani błędów, więc nie są one zauważane. Dlatego ludzie często mogą wierzyć, że coś jest prawdą, nawet jeśli nie jest dobrze reprezentowane . Aby dane zebrane na podstawie statystyk były wiarygodne i dokładne, pobrana próbka musi być reprezentatywna dla całości. Według Huffa: „Niezawodność próbki może zostać zniszczona przez [tendencyjność]… pozwól sobie na pewien stopień sceptycyzmu”.

Aby pomóc w zrozumieniu statystyk, Huff zaproponował serię pytań, które należy zadać w każdym przypadku:

  • Kto tak mówi? (Czy ma siekierę do zmielenia?)
  • Skąd on/ona wie? (Czy on/ona ma zasoby, aby poznać fakty?)
  • Czego brakuje? (Czy on/ona daje nam pełny obraz?)
  • Czy ktoś zmienił temat? (Czy oferuje nam właściwą odpowiedź na zły problem?)
  • Czy ma sens? (Czy jego/jej wniosek jest logiczny i zgodny z tym, co już wiemy?)
Mylących zmienna problemów: X i Y mogą być związane, a nie dlatego, że istnieje związek przyczynowo-skutkowy pomiędzy nimi, a ponieważ oba zależą od innej zmiennej Z . Z nazywa się czynnikiem zakłócającym.

Błędna interpretacja: korelacja

Pojęcie korelacji jest szczególnie godne uwagi ze względu na potencjalne zamieszanie, jakie może powodować. Analiza statystyczna zbioru danych często ujawnia, że ​​dwie zmienne (właściwości) badanej populacji mają tendencję do zmienności razem, tak jakby były ze sobą powiązane. Na przykład badanie rocznego dochodu, które uwzględnia również wiek zgonu, może wykazać, że ludzie biedni mają zwykle krótsze życie niż ludzie zamożni. Mówi się, że te dwie zmienne są skorelowane; jednak mogą, ale nie muszą, być przyczyną siebie nawzajem. Zjawisko korelacji mogło być spowodowane przez trzecie, wcześniej nierozważane zjawisko, zwane zmienną przyczajoną lub zmienną zakłócającą . Z tego powodu nie można od razu wnioskować o istnieniu związku przyczynowego między tymi dwiema zmiennymi.

Aplikacje

Statystyka stosowana, statystyka teoretyczna i statystyka matematyczna

Statystyka stosowana obejmuje statystykę opisową oraz zastosowanie statystyki wnioskowej. Statystyka teoretyczna dotyczy logicznych argumentów leżących u podstaw uzasadnienia podejść do wnioskowania statystycznego , a także obejmuje statystykę matematyczną . Statystyka matematyczna obejmuje nie tylko manipulację rozkładami prawdopodobieństwa niezbędnymi do uzyskania wyników związanych z metodami estymacji i wnioskowania, ale także różne aspekty statystyki obliczeniowej i projektowania eksperymentów .

Konsultanci statystyczni mogą pomóc organizacjom i firmom, które nie mają własnej wiedzy specjalistycznej dotyczącej ich konkretnych pytań.

Uczenie maszynowe i eksploracja danych

Modele uczenia maszynowego to modele statystyczne i probabilistyczne, które wychwytują wzorce w danych za pomocą algorytmów obliczeniowych.

Statystyka w środowisku akademickim

Statystyka ma zastosowanie w wielu różnych dyscyplinach akademickich , w tym w naukach przyrodniczych i społecznych , administracji i biznesie. Statystyka przedsiębiorstw stosuje metody statystyczne w ekonometrii , audycie oraz produkcji i działalności operacyjnej, w tym doskonaleniu usług i badaniach marketingowych. Badanie dwóch czasopism z dziedziny biologii tropikalnej wykazało, że 12 najczęstszych testów statystycznych to: analiza wariancji (ANOVA), test chi-kwadrat , test T Studenta , regresja liniowa , współczynnik korelacji Pearsona , test U Manna-Whitneya , Kruskala-Wallisa Test , Shannona Diversity Index , test Tukeya , Cluster Analysis , korelacji rang Spearmana testy i analizy głównych składowych .

Typowy kurs statystyki obejmuje statystyki opisowe, prawdopodobieństwo, rozkłady dwumianowe i normalne , test hipotez i przedziałów ufności, regresję liniową i korelację. Nowoczesne podstawowe kursy statystyczne dla studentów studiów licencjackich koncentrują się na prawidłowym doborze testów, interpretacji wyników i korzystaniu z bezpłatnego oprogramowania statystycznego .

Obliczenia statystyczne

Gwałtowny i trwały wzrost mocy obliczeniowej począwszy od drugiej połowy XX wieku wywarł istotny wpływ na praktykę nauk statystycznych. Wczesne modele statystyczne prawie zawsze należały do ​​klasy modeli liniowych , ale potężne komputery w połączeniu z odpowiednimi algorytmami numerycznymi spowodowały wzrost zainteresowania modelami nieliniowymi (np. sieciami neuronowymi ) oraz tworzeniem nowych typów, np. uogólnionych modeli liniowych i modele wielopoziomowe .

Zwiększona moc obliczeniowa doprowadziła również do rosnącej popularności intensywnych obliczeniowo metod opartych na resamplingu , takich jak testy permutacyjne i bootstrap , podczas gdy techniki takie jak próbkowanie Gibbsa umożliwiły wykorzystanie modeli bayesowskich . Rewolucja komputerowa ma wpływ na przyszłość statystyki, z nowym naciskiem na statystykę „eksperymentalną” i „empiryczną”. Duża liczba zarówno ogólnego i specjalnego przeznaczenia oprogramowania statystycznego są obecnie dostępne. Przykłady dostępnego oprogramowania zdolnego do złożonych obliczeń statystycznych obejmują programy takie jak Mathematica , SAS , SPSS i R .

Statystyki biznesowe

W biznesie „statystyka” jest szeroko stosowanym narzędziem wspomagającym zarządzanie i podejmowanie decyzji . Jest szczególnie stosowane w zarządzaniu finansami , zarządzania marketingowego i produkcji , usług i zarządzania operacjami . Statystyka jest również intensywnie wykorzystywana w rachunkowości zarządczej i audycie . Dyscyplina Nauk o Zarządzaniu formalizuje wykorzystanie statystyki i innej matematyki w biznesie. ( Ekonometria to zastosowanie metod statystycznych do danych ekonomicznych w celu nadania empirycznej treści relacjom ekonomicznym .)

Typowy kurs „Statystyka biznesowa” przeznaczony jest dla kierunków biznesowych i obejmuje statystykę opisową ( zbieranie , opis, analizę i podsumowanie danych), prawdopodobieństwo (zazwyczaj rozkłady dwumianowe i normalne ), testowanie hipotez i przedziałów ufności, regresję liniową , i korelacja; Kursy (następne) mogą obejmować prognozowanie , szeregi czasowe , drzewa decyzyjne , wielokrotną regresję liniową i ogólnie inne tematy z zakresu analityki biznesowej . Zobacz także Matematyka biznesowa § Poziom uniwersytecki . Profesjonalne programy certyfikacji , takie jak CFA , często zawierają tematykę statystyk.

Statystyki stosowane w matematyce lub sztuce

Tradycyjnie statystyka dotyczyła wyciągania wniosków przy użyciu częściowo standaryzowanej metodologii, która była „wymaganą nauką” w większości nauk. Tradycja ta zmieniła się wraz z wykorzystaniem statystyki w kontekstach nieinferencyjnych. To, co kiedyś było uważane za suchy temat, przyjmowany w wielu dziedzinach jako wymóg uzyskania stopnia naukowego, jest teraz postrzegane z entuzjazmem. Początkowo wyśmiewany przez niektórych matematycznych purystów, obecnie jest uważany za niezbędną metodologię w niektórych obszarach.

  • W teorii liczb , Wykresy rozrzutu danych generowanych przez funkcję dystrybucji można transformować znanych narzędzi wykorzystywanych w statystykach ujawnić wzory bazowych, które mogą następnie prowadzić do hipotez.
  • Statystyczne metody predykcyjne w prognozowaniu łączące teorię chaosu i geometrię fraktalną można wykorzystać do tworzenia prac wideo.
  • Sztuki proces z Jackson Pollock polegać na eksperymentach artystycznych czym rozkład leżące w przyrodzie artystycznie ujawnione. Wraz z pojawieniem się komputerów zastosowano metody statystyczne, aby sformalizować takie naturalne procesy napędzane dystrybucją, aby tworzyć i analizować ruchome sztuki wideo.
  • Metody statystyczne mogą być stosowane predykacyjnie w sztuce performance , jak w sztuczce karcianej opartej na procesie Markowa, który działa tylko przez pewien czas, a którego wystąpienie można przewidzieć za pomocą metodologii statystycznej.
  • Statystyka może służyć do predykatywnego tworzenia sztuki, jak w przypadku muzyki statystycznej lub stochastycznej wymyślonej przez Iannisa Xenakisa , gdzie muzyka jest specyficzna dla wykonania. Chociaż ten rodzaj artyzmu nie zawsze wychodzi zgodnie z oczekiwaniami, zachowuje się w sposób przewidywalny i regulowany za pomocą statystyk.

Dyscypliny specjalistyczne

Techniki statystyczne są wykorzystywane w szerokiej gamie typów badań naukowych i społecznych, w tym: Biostatystyki , biologii obliczeniowej , obliczeniowej socjologii , biologii sieci , nauk społecznych , socjologii i badań społecznych . Niektóre dziedziny badań wykorzystują statystyki stosowane tak intensywnie , że posiadają specjalistyczną terminologię . Te dyscypliny obejmują:

Ponadto istnieją szczególne rodzaje analiz statystycznych, które również wypracowały własną specjalistyczną terminologię i metodologię:

Statystyki stanowią również kluczowe narzędzie w biznesie i produkcji. Służy do zrozumienia zmienności systemów pomiarowych, procesów kontrolnych (jak w statystycznym sterowaniu procesem lub SPC), do podsumowania danych i podejmowania decyzji opartych na danych. W tych rolach jest to kluczowe narzędzie, a być może jedyne niezawodne narzędzie.

Zobacz też

Podstawy i główne obszary statystyki

Bibliografia

Dalsza lektura

Zewnętrzne linki