Rejestracja wstępna (nauka) - Preregistration (science)

Przejrzystość badań klinicznych , przewodnik dotyczący polityki z 2017 r., przemawia za rejestracją

Rejestracja wstępna to praktyka rejestrowania hipotez, metod i/lub analiz badania naukowego przed jego przeprowadzeniem. Rejestracja badania klinicznego jest podobna, chociaż może nie wymagać rejestracji protokołu analizy badania. Na koniec, zarejestrowane raporty obejmują ocenę wzajemną i co do zasady akceptację protokołu badania przed zebraniem danych.

Wstępna rejestracja pomaga w identyfikacji i/lub ograniczeniu różnych potencjalnie problematycznych praktyk badawczych, w tym p-hackingu , stronniczości publikacji , pogłębiania danych , nieodpowiednich form analizy post hoc i (w związku z tym) HARKingu . Ostatnio zyskała na znaczeniu w społeczności otwartej nauki jako potencjalne rozwiązanie niektórych problemów, które uważa się za leżące u podstaw kryzysu replikacji . Jednak krytycy argumentowali, że może to nie być konieczne, gdy wdrażane są inne praktyki otwartej nauki.

Rodzaje

Standardowa rejestracja wstępna

W standardowym formacie rejestracji wstępnej badacze przygotowują dokument protokołu badawczego przed przeprowadzeniem badań. W idealnym przypadku niniejszy dokument wskazuje hipotezy badawcze, procedurę pobierania próbek, wielkość próby, projekt badania, warunki testowania, bodźce, miary, kodowanie danych i metodę agregacji, kryteria wykluczania danych oraz analizy statystyczne, w tym potencjalne różnice w tych analizach. Ten dokument dotyczący rejestracji wstępnej jest następnie publikowany na publicznie dostępnej stronie internetowej, takiej jak Open Science Framework lub AsPredicted . Następnie przeprowadzane jest badanie rejestrowane wstępnie, a raport z badania i jego wyników jest przekazywany do publikacji wraz z dostępem do (zanonimizowanego) dokumentu rejestracji wstępnej. Takie podejście do rejestracji wstępnej pozwala recenzentom i kolejnym czytelnikom na powiązanie dokumentu rejestracji wstępnej z opublikowanym artykułem badawczym w celu zidentyfikowania (a) wszelkich testów „eksploracyjnych”, które nie zostały uwzględnione w dokumencie rejestracji wstępnej oraz (b) wszelkich testów pominiętych, które zostały ujęte we wstępnie zarejestrowanym protokole, ale wyłączone z końcowego raportu badawczego.

Zarejestrowane raporty

Zarejestrowany format raportu wymaga od autorów przedstawienia opisu metod badawczych i analiz przed zebraniem danych. Po zweryfikowaniu metody i planu analizy w ramach wzajemnej oceny na etapie 1, publikacja wyników jest tymczasowo gwarantowana. Następnie przeprowadza się powiązane badanie, a raport z badania jest przekazywany do oceny wzajemnej na etapie 2. Weryfikacja partnerska na etapie 2 potwierdza, że ​​faktyczne metody badawcze są zgodne z wcześniej zarejestrowanym protokołem i że spełnione są progi jakościowe (np. kontrole manipulacyjne potwierdzają zasadność manipulacji eksperymentalnej). Badania, które przejdą ocenę wzajemną na etapie 2, są następnie publikowane niezależnie od tego, czy wyniki potwierdzają lub nie potwierdzają, są istotne czy nieistotne.

W związku z tym zarówno rejestracja wstępna, jak i rejestrowane raporty obejmują utworzenie niemodyfikowalnego publicznego rejestru badań i planu analizy z oznaczeniem czasu, zanim dane zostaną zebrane. Jednak w przypadku raportów zarejestrowanych przed zebraniem danych plan badań i analiz jest poddawany jedynie formalnej ocenie wzajemnej .

Specjalistyczna rejestracja wstępna

Rejestracja wstępna może być stosowana w odniesieniu do różnych projektów i metod badawczych, w tym:

Rejestracja badania klinicznego

Rejestracja badań klinicznych to praktyka dokumentowania badań klinicznych przed ich przeprowadzeniem w rejestrze badań klinicznych w celu zwalczania stronniczości publikacji i selektywnego raportowania . W niektórych krajach wymagana jest rejestracja badań klinicznych, która w coraz większym stopniu podlega standaryzacji. Niektóre czołowe czasopisma medyczne publikują tylko wyniki badań, które zostały wstępnie zarejestrowane .

Rejestr badań klinicznych to platforma katalogująca zarejestrowane badania kliniczne. ClinicalTrials.gov , prowadzony przez Narodową Bibliotekę Medyczną Stanów Zjednoczonych (NLM), był pierwszym internetowym rejestrem badań klinicznych i pozostaje największym i najczęściej używanym. Oprócz zwalczania stronniczości rejestry badań klinicznych służą zwiększeniu przejrzystości i dostępu do badań klinicznych dla społeczeństwa. Rejestry badań klinicznych często można przeszukiwać (np. według choroby/wskazania, leku, lokalizacji itp.). Badania są rejestrowane przez firmę farmaceutyczną, biotechnologiczną lub produkującą urządzenia medyczne (Sponsor) lub przez szpital lub fundację, która sponsoruje badanie, lub przez inną organizację, taką jak organizacja badań kontraktowych (CRO), która prowadzi badanie.

Od 2005 r. rządy i organizacje międzynarodowe naciskają na szersze udostępnienie informacji z badań klinicznych oraz na standaryzację rejestrów i procesów rejestracji. Światowa Organizacja Zdrowia pracuje nad „osiągnięcie konsensusu w sprawie zarówno minimalne, a optymalnym operacyjnego standardy dotyczące rejestracji próbnej”.

Kreacja i rozwój

Przez wiele lat naukowcy i inni obawiali się zgłaszania błędów systematycznych, które powodują, że prawdopodobieństwo publikacji negatywnych lub zerowych wyników z rozpoczętych badań klinicznych może być mniejsze niż wyników pozytywnych, co wypacza literaturę i nasze zrozumienie tego, jak dobrze działają interwencje. To zmartwienie ma zasięg międzynarodowy i pisze się o nim od ponad 50 lat. Jedną z propozycji rozwiązania tego potencjalnego błędu był obszerny rejestr rozpoczętych badań klinicznych, który informowałby opinię publiczną, które badania zostały rozpoczęte. Kwestie etyczne to te, które wydawały się najbardziej interesować opinię publiczną, ponieważ uczestnicy procesu sądowego (w tym ci z potencjalnymi korzyściami komercyjnymi) korzystali z tych, którzy zapisali się na badania, ale nie musieli „oddawać”, mówiąc opinii publicznej, czego się nauczyli.

Szczególnie zaniepokojeni podwójnym standardem byli recenzenci systematyczni, którzy podsumowywali to, co wiadomo z badań klinicznych. Jeśli literatura jest wypaczona, wyniki przeglądu systematycznego prawdopodobnie również będą wypaczone, prawdopodobnie faworyzując interwencję testową, podczas gdy w rzeczywistości zgromadzone dane tego nie pokazują, jeśli wszystkie dane zostały upublicznione.

ClinicalTrials.gov został pierwotnie opracowany w dużej mierze w wyniku lobbingu konsumentów raka piersi, który doprowadził do zatwierdzenia języka w ustawie o modernizacji FDA z 1997 r. (Ustawa o modernizacji Administracji ds. Żywności i Leków z 1997 r. Publikacja L nr 105-115, §113 Stat 2296 ), ale ustawa nie zapewniała ani finansowania, ani mechanizmu egzekucji. Ponadto prawo wymagało, aby ClinicalTrials.gov obejmował tylko badania poważnych i zagrażających życiu chorób.

Następnie w 2004 r. miały miejsce dwa wydarzenia, które zwiększyły świadomość społeczną na temat problemu stronniczości sprawozdawczej. Po pierwsze, ówczesny prokurator generalny stanu Nowy Jork Eliot Spitzer pozwał GlaxoSmithKline (GSK), ponieważ nie ujawnili wyników badań wykazujących, że niektóre leki przeciwdepresyjne mogą być szkodliwe.

Wkrótce potem Międzynarodowy Komitet Redaktorów Czasopism Medycznych (ICMJE) ogłosił, że ich czasopisma nie będą publikować raportów z badań, jeśli nie zostaną zarejestrowane. Akcja ICMJE była prawdopodobnie najważniejszym czynnikiem motywującym do rejestracji badań, ponieważ badacze chcieli zastrzec możliwość opublikowania swoich wyników w prestiżowych czasopismach, gdyby chcieli.

W 2007 r. ustawa o zmianach Agencji ds. Żywności i Leków z 2007 r. (FDAAA) wyjaśniła wymagania dotyczące rejestracji, a także ustanowiła kary za nieprzestrzeganie przepisów (Prawo publiczne 110-85. Ustawa o zmianach Agencji ds. Żywności i Leków z 2007 r. [1] .

Udział międzynarodowy

Międzynarodowego Komitetu Wydawców Czasopism Medycznych (ICMJE) zdecydował, że od 1 lipca 2005 roku żadnych badań będą brane pod uwagę do publikacji, o ile nie są zawarte w rejestrze badań klinicznych. Światowa Organizacja Zdrowia rozpoczęła dążyć do próby klinicznej rejestracji z rozpoczęciem Międzynarodowych Badań Klinicznych Platformy rejestru. Podjęto również działania ze strony przemysłu farmaceutycznego, który opublikował plany uczynienia danych z badań klinicznych bardziej przejrzystymi i publicznie dostępnymi. Wydana w październiku 2008 r. zmieniona Deklaracja Helsińska stwierdza, że ​​„Każde badanie kliniczne musi być zarejestrowane w publicznie dostępnej bazie danych przed rekrutacją pierwszego uczestnika”.

Światowa Organizacja Zdrowia prowadzi międzynarodowy portal rejestru pod adresem http://apps.who.int/trialsearch/ . WHO stwierdza, że ​​misją rejestru międzynarodowego jest „zapewnienie, że pełny obraz badań jest dostępny dla wszystkich osób zaangażowanych w podejmowanie decyzji dotyczących opieki zdrowotnej. Poprawi to przejrzystość badań i ostatecznie wzmocni wiarygodność i wartość bazy dowodów naukowych”.

Od 2007 roku Międzynarodowy Komitet Redaktorów Czasopism Medycznych ICMJE akceptuje wszystkie rejestry podstawowe w sieci WHO oprócz Clinictrials.gov. Rejestracja badań klinicznych w innych rejestrach, z wyjątkiem ClinicalTrials.gov, wzrosła od 2014 r. niezależnie od projektów badań.

Zgłaszanie zgodności

Różne badania mierzyły stopień, w jakim różne badania są zgodne ze standardami raportowania ich rejestru.

Przegląd rejestrów badań klinicznych

Zobacz też: Lista rejestrów badań klinicznych

Na całym świecie rośnie liczba rejestrów. W badaniu z 2013 r. zidentyfikowano następujące pięć największych rejestrów (liczby zaktualizowane według stanu na sierpień 2013 r.):

1. ClinicalTrials.gov 150 551
2. Rejestr UE 21.060
3. Japońska sieć rejestrów (JPRN) 12 728
4. ISRCTN 11 794
5. Australia i Nowa Zelandia (ANZCTR) 8216

Wsparcie czasopisma

Ponad 200 czasopism oferuje opcję zarejestrowanych raportów ( Centrum Otwartej Nauki, 2019 ), a liczba czasopism przyjmujących zarejestrowane raporty podwaja się każdego roku ( Chambers i in., 2019 ).

Nauki psychologiczne zachęcają do wstępnej rejestracji badań i raportowania wielkości efektów i przedziałów ufności. Redaktor naczelny również zauważyć, że redakcja będzie prośbą o replikacji badań z zaskakujących wniosków z badań z użyciem małych próbek przed zezwoleniem rękopisy mają zostać opublikowane.

Nature Human Behaviour przyjął format zarejestrowanego raportu, ponieważ „przenosi nacisk z wyników badań na pytania, które kierują badaniami i metody stosowane w celu uzyskania na nie odpowiedzi”.

European Journal of Personality definiuje ten format: „W zarejestrowanym raporcie autorzy tworzą propozycję badania, która zawiera podstawy teoretyczne i empiryczne, pytania/hipotezy badawcze oraz dane pilotażowe (jeśli są dostępne). Po złożeniu propozycja ta zostanie następnie przejrzana przed zebraniem danych, a jeśli zostanie zaakceptowana, artykuł będący wynikiem tej recenzowanej procedury zostanie opublikowany, niezależnie od wyników badania.”

Należy zauważyć, że tylko bardzo niewielka część czasopism naukowych z dziedziny psychologii i neuronauk wyraźnie stwierdziła, że ​​jest mile widziana przesyłanie badań replikacyjnych w ich celu i zakresie lub instrukcji dla autorów. Zjawisko to nie zachęca do zgłaszania, a nawet podejmowania prób replikacji.

Ogólnie rzecz biorąc, liczba czasopism uczestniczących w programie rośnie, na co wskazuje Centrum Otwartej Nauki , które prowadzi listę czasopism zachęcających do składania zarejestrowanych raportów.

Racjonalne uzasadnienie

W kilku artykułach przedstawiono uzasadnienie wstępnej rejestracji (np. Lakens, 2019 ; Nosek i in., 2018 ; Wagenmakers i in., 2012 ). Jak podsumował Rubin (2020, Tabela 1) , wstępna rejestracja pomaga zidentyfikować i/lub ograniczyć następujące problemy:

  1. Źle zaplanowane hipotezy i testy
  2. HARKing : nieujawnione hipotezy po poznaniu wyników
  3. Odrzucenie hipotez a priori, które dają zerowe lub niepotwierdzające wyniki
  4. Odchylenia od planowanych analiz
  5. Brak jasności między analizami potwierdzającymi i eksploracyjnymi
  6. Nieujawnione wielokrotne testy
  7. Rozwidlanie ścieżek, w których badacze podejmują decyzje o tym, które testy przeprowadzić na podstawie informacji z ich próbki
  8. p -hacking : kontynuacja analizy danych aż do uzyskania znaczącejwartości p
  9. Opcjonalne zatrzymanie: powtarzanie tego samego testu na różnych etapach zbierania danych, aż do uzyskania znaczącego wyniku
  10. Nieprawidłowe użycie wartości p , ponieważ wartości p tracą znaczenie w analizach eksploracyjnych
  11. Błędy badaczy, w tym błąd potwierdzenia i błąd z perspektywy czasu
  12. Selektywne raportowanie wyników: „zbieranie wiśni” specyficzne wyniki potwierdzające i tłumienie wyników niewspomagających
  13. Niejasna dotkliwość testu, uniemożliwiająca identyfikację hipotez, które mają małe prawdopodobieństwo potwierdzenia, gdy są fałszywe
  14. Niezgłoszone wyniki zerowe
  15. Błąd publikacji : nieopublikowane wyniki zerowe, powodujące problem z rysowaniem pliku
  16. Potencjalnie niska powtarzalność , rzekomo z powodu stosowania wątpliwych praktyk badawczych (np. HARKing, p -hacking, opcjonalne zatrzymanie)

Zidentyfikowanie takich problemów poprzez rejestrację wstępną pomaga poprawić „interpretowalność i wiarygodność wyników badań” ( Nosek i in., 2018 , s. 2605). Jednak Rubin (2020) twierdził, że tylko niektóre z tych problemów są problematyczne i tylko w pewnych warunkach. Twierdził również, że jeśli są problematyczne, wstępna rejestracja nie jest konieczna do zidentyfikowania tych problemów. Zamiast tego można je zidentyfikować za pomocą (a) jasnych uzasadnień obecnych hipotez i podejść analitycznych, (b) publicznego dostępu do danych badawczych, materiałów i kodu oraz (c) wykazania odporności wniosków z badań na alternatywne interpretacje i podejścia analityczne .

Krytyka

Zwolennicy rejestracji wstępnej argumentowali, że jest to „metoda zwiększająca wiarygodność opublikowanych wyników” ( Nosek i Lakens, 2014 ), że „ulepsza naukę poprzez zwiększenie wiarygodności wyników” ( Centrum Otwartej Nauki ) oraz że „poprawia interpretowalność i wiarygodność wyników badań” ( Nosek i in., 2018 , s. 2605). Argument ten zakłada, że ​​niezarejestrowane wstępnie analizy eksploracyjne są mniej „wiarygodne” i/lub „możliwe do zinterpretowania” niż wstępnie zarejestrowane analizy potwierdzające, ponieważ mogą obejmować „rozumowanie okrężne”, w którym hipotezy post hoc opierają się na zaobserwowanych danych ( Nosek i in., 2018 , s. 2600). Jednak krytycy argumentowali, że wstępna rejestracja nie jest konieczna do zidentyfikowania rozumowania kołowego podczas analiz eksploracyjnych ( Rubin, 2020 ). Rozumowanie okrężne można zidentyfikować, analizując tok rozumowania jako taki, bez konieczności wiedzy, czy to rozumowanie zostało wstępnie zarejestrowane. Krytycy zauważyli również, że pomysł, iż wstępna rejestracja poprawia wiarygodność badań, może zniechęcać badaczy do podejmowania niezarejestrowanych wstępnie analiz eksploracyjnych ( Coffman i Niederle, 2015 ; zob. także Collins i in., 2021, Badanie 1 ). W odpowiedzi zwolennicy rejestracji wstępnej podkreślili, że analizy eksploracyjne są dozwolone w badaniach wstępnie zarejestrowanych oraz że wyniki tych analiz zachowują pewną wartość w odniesieniu do generowania hipotez, a nie testowania hipotez. Wstępna rejestracja jedynie czyni rozróżnienie między badaniami potwierdzającymi a eksploracyjnymi ( Nosek i in., 2018 ; Nosek i Lakens, 2014 ; Wagenmakers i in., 2012 ). Stąd, chociaż wstępna rejestracja ma zmniejszać stopnie swobody badacza na etapie analizy danych, ma być również „planem, a nie więzieniem” ( Dehaven, 2017 ). Jednak krytycy kontrargumentują, że jeśli wstępna rejestracja ma być tylko planem, a nie więzieniem, to badacze powinni swobodnie odejść od tego planu i podejmować analizy eksploracyjne bez obawy o oskarżenia o niską wiarygodność badań z powodu błędnego rozumowania i niewłaściwych praktyk badawczych takie jak p- hacking i niezgłoszone wielokrotne testy, które prowadzą do zawyżonych współczynników błędów rodzinnych (np. Navarro, 2020 ). Ponownie wskazali, że wstępna rejestracja nie jest konieczna, aby rozwiązać takie obawy. Na przykład obawy związane z p- hackingiem i niezgłoszonymi wielokrotnymi testami można rozwiązać, jeśli badacze zaangażują się w inne praktyki otwartej nauki , takie jak (a) otwarte dane i materiały badawcze oraz (b) solidność lub analizy wieloświatowe (Rubin, 2020 ; Steegen i in. ., 2016 ; dla kilku innych podejść zob. Srivastava, 2018 ). Wreszcie, bardziej fundamentalnie, krytycy stwierdzili, że rozróżnienie między analizami potwierdzającymi i eksploracyjnymi jest niejasne i/lub nieistotne ( Devezer i in., 2020 ; Rubin, 2020 ; Szollosi & Donkin, 2019 ) są nieuzasadnione, gdy te poziomy błędów odnoszą się do abstrakcyjnych, teoretycznych hipotez badawczych, które nie są testowane (Rubin, 2020 , 2021 ; Szollosi i in., 2020 ).

Istnieją również obawy dotyczące praktycznego wdrożenia rejestracji wstępnej. Wiele wstępnie zarejestrowanych protokołów pozostawia dużo miejsca na p- hacking (Baker i in., 2020 ; Heirene i in., 2021 ; Ikeda i in., 2019 ; Singh i in., 2021 ), a badacze rzadko stosują dokładne metody badawcze i analizuje, czy dokonali wstępnej rejestracji ( Abrams et al., 2020 ; Claesen et al., 2019 ; Heirene et al., 2021 ; zob. także Boghdadly et al., 2018 ; Singh et al., 2021 ; Sun et al., 2019 ). Na przykład badanie 27 wstępnie zarejestrowanych badań wykazało, że badacze we wszystkich przypadkach odeszli od swoich wstępnie zarejestrowanych planów ( Claesen i in., 2019 ). Najczęstsze odchylenia dotyczyły planowanej wielkości próby, kryteriów wykluczenia i modelu statystycznego. W związku z tym to, co miało być wstępnie zarejestrowanymi testami potwierdzającymi, skończyło się jako nieplanowane testy eksploracyjne. Zwolennicy rejestracji wstępnej ponownie argumentują, że odstępstwa od planów wstępnie zarejestrowanych są dopuszczalne, o ile są zgłaszane w sposób przejrzysty i uzasadniony. Wskazują również, że nawet niejasne wstępne rejestracje pomagają zmniejszyć stopnie swobody badacza i sprawiają, że wszelka szczątkowa elastyczność jest przejrzysta ( Simmons i in., 2021, s. 180 ). Jednak krytycy twierdzą, że nie jest przydatne identyfikowanie lub uzasadnianie odstępstw od wstępnie zarejestrowanych planów, gdy plany te nie odzwierciedlają wysokiej jakości teorii i praktyki badawczej . Jak wyjaśnił Rubin (2020) , „powinniśmy być bardziej zainteresowani uzasadnieniem obecnej metody i analiz niż uzasadnieniem zmian historycznych , które doprowadziły do ​​obecnej metody i analiz” (s. 378–379).

Wreszcie, niektórzy komentatorzy twierdzili, że w pewnych okolicznościach wstępna rejestracja może w rzeczywistości zaszkodzić nauce, zapewniając fałszywe poczucie wiarygodności badań i analiz ( Devezer i in., 2020 ; McPhetres, 2020 ; Pham & Oh, 2020 ; Szollosi i in. ., 2020 ). Zgodnie z tym poglądem istnieją pewne dowody na to, że badacze postrzegają zarejestrowane raporty jako bardziej wiarygodne niż standardowe raporty dotyczące różnych wymiarów ( Soderberg et al., 2020 ; patrz również Field et al., 2020 dla niejednoznacznych dowodów), chociaż jest to nie jest jasne, czy stanowi to „fałszywe” poczucie wiarygodności ze względu na istniejące wcześniej pozytywne nastawienie społeczności do wstępnej rejestracji, czy też rzeczywisty efekt przyczynowy zarejestrowanych raportów na jakość badań.

Zobacz też

Bibliografia

Zewnętrzne linki