Zestaw danych - Data set

Zbiór danych (lub zbiór danych ) to zbiór danych . W przypadku danych tabelarycznych zestaw danych odpowiada jednej lub większej liczbie tabel bazy danych , gdzie każda kolumna tabeli reprezentuje określoną zmienną , a każdy wiersz odpowiada danemu rekordowi danego zestawu danych. Zestaw danych zawiera wartości dla każdej ze zmiennych, takie jak wysokość i waga obiektu, dla każdego elementu zestawu danych. Każda wartość nazywana jest datum. Zbiory danych mogą również składać się ze zbioru dokumentów lub plików.

W dyscyplinie otwartych danych zbiór danych jest jednostką pomiaru informacji udostępnianych w publicznym repozytorium otwartych danych. Europejski portal otwartych danych agreguje ponad pół miliona zbiorów danych. Niektóre inne kwestie (źródła danych w czasie rzeczywistym, nierelacyjne zbiory danych itp.) zwiększają trudność w osiągnięciu konsensusu w tej sprawie.

Nieruchomości

Kilka cech określa strukturę i właściwości zbioru danych. Obejmują one liczbę i typy atrybutów lub zmiennych oraz różne miary statystyczne mające do nich zastosowanie, takie jak odchylenie standardowe i kurtoza .

Wartości mogą być liczbami, takimi jak liczby rzeczywiste lub liczby całkowite , na przykład reprezentujące wzrost osoby w centymetrach, ale mogą również być danymi nominalnymi (tj. nie składającymi się z wartości liczbowych ), na przykład reprezentującymi pochodzenie etniczne osoby. Bardziej ogólnie, wartości mogą być dowolnego rodzaju opisanego jako poziom pomiaru . Dla każdej zmiennej wartości są zwykle tego samego rodzaju. Mogą jednak występować również brakujące wartości , które należy w jakiś sposób wskazać.

W statystykach , zestawy danych zazwyczaj pochodzą od rzeczywistych obserwacji uzyskanych przez pobieranie próbek do zbiorowości , a każdy wiersz odpowiada obserwacji na jednym elemencie tej populacji. Zbiory danych mogą być ponadto generowane przez algorytmy w celu testowania niektórych rodzajów oprogramowania . Niektóre nowoczesne programy do analizy statystycznej, takie jak SPSS, nadal prezentują swoje dane w klasyczny sposób. Jeśli brakuje danych lub są one podejrzane, do uzupełnienia zestawu danych można zastosować metodę imputacji .

Klasyczne zbiory danych

W literaturze statystycznej szeroko stosowano kilka klasycznych zestawów danych :

• Zestaw danych kwiatu tęczówki – Wielowymiarowy zestaw danych wprowadzony przez Ronalda Fishera (1936).
• Baza danych MNIST — obrazy odręcznych cyfr powszechnie używane do testowania algorytmów klasyfikacji, grupowania i przetwarzania obrazów
• Analiza danych kategorycznych – Zestawy danych użyte w książce Wprowadzenie do analizy danych kategorycznych .
• Odporne statystyki — zestawy danych używane w solidnej regresji i wykrywaniu wartości odstających ( Rouseeuw i Leroy, 1986). Udostępnione on-line na Uniwersytecie w Kolonii.
• Szeregi czasowe – Dane wykorzystane w książce Chatfielda, Analiza szeregów czasowych , są dostarczane on-line przez StatLib.
• Wartości ekstremalne — dane użyte w książce Wprowadzenie do modelowania statystycznego wartości ekstremalnych stanowią migawkę danych udostępnionych on-line przez Stuarta Colesa , autora książki.
• Analiza danych bayesowskich — dane wykorzystane w książce są dostarczane on-line przez Andrew Gelmana , jednego z autorów książki.
• Dane wątrobowe Bupa – używane w kilku artykułach w literaturze dotyczącej uczenia maszynowego (eksploracji danych).
• Kwartet Anscombe – Mały zestaw danych ilustrujący znaczenie tworzenia wykresów danych w celu uniknięcia błędów statystycznych

Zobacz też

• Dane
• Mieszanie danych
• Dane (obliczenia)
• Próbka danych
• Magazyn danych
• Interoperacyjność
• System zbierania danych

Bibliografia

Zewnętrzne linki

• Datahub – zarządzany przez społeczność dom dla otwartych zbiorów danych
• Data.gov – otwarte dane rządu USA
• data.świat
• GCMD – Global Change Master Directory zawierający ponad 34 000 opisów zbiorów danych i usług związanych z naukami o Ziemi i środowiskiem
• Humanitarian Data Exchange (HDX) – Humanitarian Data Exchange (HDX) to otwarta platforma wymiany danych humanitarnych zarządzana przez Biuro Narodów Zjednoczonych ds. Koordynacji Pomocy Humanitarnej .
• NYC Open Data – bezpłatne dane publiczne publikowane przez nowojorskie agencje i innych partnerów.
• Repozytorium zbiorów danych relacyjnych
• Research Pipeline – wiki/strona internetowa z linkami do zbiorów danych na wiele różnych tematów
• StatLib – Archiwum danych JASA
• UCI – repozytorium uczenia maszynowego
• Dane publiczne rządu Wielkiej Brytanii
• Otwarte dane Banku Światowego – bezpłatny i otwarty dostęp do globalnych danych rozwojowych Banku Światowego
• Zbiór prostych zbiorów danych 2D