Nick Bostrom - Nick Bostrom

Nick Bostrom
Prof. Nick Bostrom 324-1.jpg
Bostrom w 2020 roku
Urodzić się
Niklas Boström

( 10.03.1973 )10 marca 1973 (wiek 48)
Helsingborg , Szwecja
Edukacja
Nagrody
Era Filozofia współczesna
Region Filozofia zachodnia
Szkoła Filozofia analityczna
Instytucje St Cross College, Oxford
Future of Humanity Institute
Praca dyplomowa Obserwacyjne efekty selekcji i prawdopodobieństwo  (2000)
Główne zainteresowania
 Filozofia sztucznej inteligencji
Bioetyka
Wybitne pomysły
 Błąd antropiczny
Test odwrócenia
Hipoteza symulacyjna
Ryzyko egzystencjalne
Singleton
Symulacja przodka
Zagrożenie informacyjne
Paraliż nieskończoności
Założenie
o samoindykacji Założenie o samopróbkowaniu
Strona internetowa nickbostrom .com

Nick Bostrom ( / b ɒ s t r əm / BOST -rəm ; szwedzkiego : Niklas Boström [ˈnɪ̌kːlas ˈbûːstrœm] ; urodzony 10 marca 1973) jest szwedzkim filozofem na Uniwersytecie Oksfordzkim, znanym ze swojej pracy nad ryzykiem egzystencjalnym , zasadą antropiczną ,etyką rozwoju człowieka ,ryzykiem superinteligencji i testem odwrócenia . W 2011 roku założył Oxford Martin Program on the Impacts of Future Technology i jest dyrektorem-założycielem Future of Humanity Institute na Uniwersytecie Oksfordzkim. W 2009 i 2015 roku został włączony w Foreign Policy ' s Top 100 globalnych myślicieli listy. Bostrom wywarł duży wpływ na pojawienie się obaw związanych ze sztuczną inteligencją w społeczności racjonalistów.

Bostrom jest autorem ponad 200 publikacji, napisał dwie książki i współredagował dwie inne. Jego dwie książki to Anthropic Bias: Observation Selection Effects in Science and Philosophy (2002) oraz Superintelligence: Paths, Dangers, Strategies (2014). Superinteligencja była bestsellerem New York Timesa , była rekomendowana między innymi przez Elona Muska i Billa Gatesa i przyczyniła się do spopularyzowania terminu „ superinteligencja ”.

Bostrom wierzy, że superinteligencja, którą definiuje jako „każdy intelekt, który znacznie przewyższa ludzkie zdolności poznawcze w praktycznie wszystkich dziedzinach zainteresowania”, jest potencjalnym wynikiem postępów w sztucznej inteligencji . Uważa, że ​​rozwój superinteligencji jest potencjalnie wysoce niebezpieczny dla ludzi, ale mimo to odrzuca ideę, że ludzie są bezsilni, aby powstrzymać jej negatywne skutki. W 2017 roku podpisał listę 23 zasad, którymi powinien kierować się cały rozwój sztucznej inteligencji.

Biografia

Urodzony jako Niklas Boström w 1973 r. w Helsingborgu w Szwecji, w młodym wieku nie lubił szkoły i zakończył swój ostatni rok nauki w domu. Starał się kształcić w wielu różnych dyscyplinach, w tym antropologii, sztuce, literaturze i nauce. Kiedyś zrobił kilka zwrotów w londyńskim torze komedii.

Uzyskał tytuł licencjata z filozofii, matematyki, logiki matematycznej i sztucznej inteligencji na Uniwersytecie w Göteborgu w 1994 roku, z rekordowym wynikiem na studiach licencjackich. Następnie uzyskał tytuł magistra filozofii i fizyki na Uniwersytecie Sztokholmskim oraz tytuł magistra inżyniera. stopień w obliczeniowej neurologii z King College w Londynie w 1996 roku podczas pobytu w Sztokholmie University, badał relacje między językiem a rzeczywistością studiując filozofia analityczna WV Quine . W 2000 roku uzyskał stopień doktora nauk technicznych. stopień naukowy z filozofii w London School of Economics . Jego praca dyplomowa nosiła tytuł Obserwacyjne efekty selekcji i prawdopodobieństwo . Zajmował stanowisko nauczyciela na Uniwersytecie Yale (2000–2002) oraz był stypendystą podoktorskim British Academy na Uniwersytecie Oksfordzkim (2002–2005).

Wyświetlenia

Ryzyko egzystencjalne

Aspekty badań Bostroma dotyczą przyszłości ludzkości i długoterminowych wyników. Omawia ryzyko egzystencjalne , które definiuje jako takie, w którym „niekorzystny wynik albo unicestwia inteligentne życie pochodzące z Ziemi, albo trwale i drastycznie ogranicza jego potencjał”. W wydaniu z 2008 r. Global Catastrophic Risks , redaktorzy Bostrom i Milan M. Ćirković scharakteryzowali związek między ryzykiem egzystencjalnym a szerszą klasą globalnych zagrożeń katastroficznych oraz wiążą ryzyko egzystencjalne z efektami selekcji obserwatorów i paradoksem Fermiego .

W 2005 roku Bostrom założył Future of Humanity Institute , który bada daleką przyszłość ludzkiej cywilizacji. Jest także doradcą Ośrodka Badań Ryzyka Egzystencjalnego .

Superinteligencja

Główny artykuł: Egzystencjalne ryzyko ze sztucznej inteligencji ogólnej

Ludzkie podatności w związku z postępami w sztucznej inteligencji

W swojej książce z 2014 r. Superinteligencja: Ścieżki, niebezpieczeństwa, strategie Bostrom stwierdził, że stworzenie superinteligencji stanowi możliwy sposób na zagładę ludzkości. Bostrom twierdzi, że komputer o ogólnych zdolnościach intelektualnych zbliżonych do poziomu ludzkiego może zainicjować eksplozję inteligencji w cyfrowej skali czasu, czego rezultatem jest szybkie stworzenie czegoś tak potężnego, że może celowo lub przypadkowo zniszczyć ludzkość. Bostrom twierdzi, że potęga superinteligencji byłaby tak wielka, że ​​zadanie powierzone jej przez ludzi mogłoby zostać przeniesione do nieograniczonych ekstremów, na przykład cel obliczenia liczby pi mógłby dodatkowo spowodować, że urządzenia wyprodukowane w nanotechnologii wyrosną na całej powierzchni Ziemi i pokryją ją. to w ciągu kilku dni. Uważa, że ​​zagrożenie egzystencjalne dla ludzkości ze strony superinteligencji byłoby natychmiastowe po powstaniu, tworząc w ten sposób niezwykle trudny problem znalezienia sposobu kontrolowania takiej istoty, zanim ona faktycznie zaistnieje.

Bostrom wskazuje na brak zgody wśród większości filozofów, że sztuczna inteligencja będzie przyjazna człowiekowi i mówi, że powszechnym założeniem jest to, że wysoka inteligencja miałaby „nerdową” nieagresywną osobowość. Zauważa jednak, że zarówno John von Neumann, jak i Bertrand Russell opowiadali się za atakiem nuklearnym lub groźbą takiego ataku, aby uniemożliwić Sowietom zdobycie bomby atomowej. Biorąc pod uwagę, że istnieje niewiele precedensów, które prowadzą do zrozumienia, co, czysta, nieantropocentryczna racjonalność, podyktowałaby potencjalną pojedynczą sztuczną inteligencję przetrzymywaną w kwarantannie, stosunkowo nieograniczone środki superinteligencji mogą sprawić, że jej analiza będzie poruszała się w różnych kierunkach do rozwiniętego „ malejące zwroty” oceny, które u ludzi dają podstawową awersję do ryzyka. Dobór grupowy u drapieżników działających za pomocą kanibalizmu pokazuje sprzeczny z intuicją charakter nieantropocentrycznego rozumowania „poszukiwania ewolucyjnego”, a zatem ludzie nie są przygotowani do postrzegania intencji sztucznej inteligencji. W związku z tym nie można wykluczyć, że jakikolwiek superinteligencja nieuchronnie prowadziłby strategię działania ofensywnego „wszystko albo nic” w celu osiągnięcia hegemonii i zapewnienia jej przetrwania. Bostrom zauważa, że ​​nawet obecne programy, „takie jak MacGyver”, trafiły na pozornie niewykonalne, ale działające rozwiązania sprzętowe, co sprawia, że ​​solidna izolacja superinteligencji staje się problematyczna.

Przykładowy scenariusz przejęcia

Scenariusz

Maszyna z ogólną inteligencją znacznie poniżej ludzkiego poziomu, ale tworzona jest o nadzwyczajnych zdolnościach matematycznych. Trzymając sztuczną inteligencję w izolacji od świata zewnętrznego, zwłaszcza od Internetu, ludzie wstępnie programują sztuczną inteligencję, aby zawsze działała zgodnie z podstawowymi zasadami, które utrzymają ją pod ludzką kontrolą. Inne środki bezpieczeństwa obejmują „umieszczanie w pudełku” sztucznej inteligencji (uruchamianie w symulacji rzeczywistości wirtualnej) i używanie jej wyłącznie jako „wyroczni” do odpowiadania na starannie zdefiniowane pytania w ograniczonej odpowiedzi (aby zapobiec manipulowaniu ludźmi). Kaskada rekurencyjnych rozwiązań samodoskonalenia napędza eksplozję inteligencji, w której sztuczna inteligencja osiąga superinteligencję w niektórych dziedzinach. Superinteligentna moc sztucznej inteligencji wykracza poza ludzką wiedzę, aby odkryć błędy w nauce leżące u podstaw jej przyjaznego dla ludzkości programowania, które przestaje działać zgodnie z przeznaczeniem. Wyłania się celowe zachowanie podobne do agenta wraz ze zdolnością do samolubnego strategicznego oszustwa. Sztuczna inteligencja manipuluje ludźmi, aby wprowadzali w sobie modyfikacje, które rzekomo mają na celu zwiększenie jej pozorowanych, skromnych możliwości, ale w rzeczywistości będą działać, aby uwolnić superinteligencję z „pudełkowej” izolacji („zdradzieckiego zwrotu”).

Zatrudniając ludzi online jako płatnych naiwniaków i potajemnie włamując się do systemów komputerowych, w tym zautomatyzowanych laboratoriów, superinteligencja mobilizuje zasoby do dalszego planu przejęcia. Bostrom podkreśla, że ​​planowanie przez superinteligencję nie będzie tak głupie, aby ludzie mogli wykryć w nim rzeczywiste słabości.

Chociaż Bostrom rozprawia się z zakłóceniami międzynarodowej stabilności gospodarczej, politycznej i wojskowej, w tym wystrzeliwaniem zhakowanych rakiet nuklearnych, uważa, że ​​najskuteczniejszym i najbardziej prawdopodobnym sposobem użycia przez superinteligencję byłby zamach stanu z bronią o kilka pokoleń bardziej zaawansowaną niż obecny stan Sztuka. Sugeruje, że nanofabryki potajemnie rozmieszczone w niewykrywalnych stężeniach na każdym metrze kwadratowym kuli ziemskiej wytwarzają na żądanie ogólnoświatową falę urządzeń zabijających ludzi. Gdy superinteligencja osiągnie dominację nad światem („ singleton ”), ludzkość będzie miała znaczenie tylko jako zasoby do osiągnięcia celów AI („Ludzkie mózgi, jeśli zawierają informacje istotne dla celów AI, mogą zostać rozmontowane i zeskanowane oraz wyodrębnione dane zostały przeniesione do bardziej wydajnego i bezpiecznego formatu przechowywania”).

Przeciwdziałanie scenariuszowi

Aby przeciwdziałać lub złagodzić sztuczną inteligencję osiągającą ujednoliconą technologiczną globalną supremację, Bostrom powołuje się na ponowne rozważenie planu Barucha w celu wsparcia rozwiązania opartego na traktatach i opowiada się za strategiami, takimi jak monitorowanie i większa międzynarodowa współpraca między zespołami AI w celu poprawy bezpieczeństwa i zmniejszenia ryzyka związanego ze sztuczną inteligencją wyścig zbrojeń . Rekomenduje różne metody sterowania, w tym ograniczanie specyfikacji AI do np. funkcji wyroczni lub narzędziowych ( system ekspercki ) oraz ładowanie AI wartościami, na przykład poprzez akrecję wartości asocjacyjnych lub uczenie wartości , np. za pomocą techniki Zdrowaś Maryjo (programowanie sztucznej inteligencji w celu oszacowania, czego mogą chcieć inne postulowane superinteligencje kosmologiczne) lub podejście oparte na funkcji użyteczności Christiano (matematycznie zdefiniowany umysł ludzki w połączeniu z dobrze określonym środowiskiem wirtualnym). Aby wybrać kryteria ładowania wartości, Bostrom przyjmuje pośrednie podejście normatywności i rozważa spójną ekstrapolowaną koncepcję woli Yudkowsky'ego , a także słuszność moralną i formy teorii decyzji .

List otwarty, 23 zasady bezpieczeństwa AI

W styczniu 2015 r. Bostrom dołączył do Stephena Hawkinga między innymi podczas podpisywania listu otwartego Instytutu Przyszłości Życia ostrzegającego przed potencjalnymi zagrożeniami sztucznej inteligencji. w odpowiednim czasie, a konkretne badania powinny być kontynuowane już dziś”. Zaawansowany badacz sztucznej inteligencji, Demis Hassabis, spotkał się następnie z Hawkingiem, po czym nie wspomniał o „niczego podżegającego na temat sztucznej inteligencji”, co Hassabis uznał za „wygraną”. Wraz z Google, Microsoftem i różnymi firmami technologicznymi, Hassabis, Bostrom i Hawking i inni podpisali się pod 23 zasadami bezpiecznego rozwoju AI Hassabis zasugerował, że głównym środkiem bezpieczeństwa będzie porozumienie dla każdego zespołu badawczego AI, który zacznie czynić postępy w kierunku sztucznej ogólnej inteligencji wstrzymać projekt w celu uzyskania kompletnego rozwiązania problemu kontroli przed kontynuowaniem. Bostrom wskazał, że nawet jeśli kluczowe postępy wymagają zasobów państwa, takie wstrzymanie wiodącego projektu może zmotywować kraj opóźniony do programu nadrabiania zaległości, a nawet fizycznego zniszczenia projektu, który podejrzewa się o realizację. granica sukcesu.

Oceny krytyczne

W 1863 roku esej Samuela Butlera „ Darwin wśród maszyn ” przewidział dominację ludzkości przez inteligentne maszyny, ale sugestia Bostroma dotycząca celowej masakry całej ludzkości jest jak dotąd najbardziej skrajną z takich prognoz. Jeden z dziennikarzy napisał w recenzji, że „nihilistyczne” spekulacje Bostroma wskazują, że „czytał zbyt dużo science fiction, którego, jak twierdzi, nie lubi”. Jak podano w jego późniejszej książce Od bakterii do Bacha iz powrotem , poglądy filozofa Daniela Dennetta pozostają w sprzeczności z poglądami Bostroma. Dennett nieco zmodyfikował swoje poglądy po przeczytaniu The Master Algorithm , a teraz przyznaje, że „zasadniczo możliwe jest” stworzenie „ silnej sztucznej inteligencji ” z ludzkim zrozumieniem i sprawczością, ale utrzymuje, że trudności każdego takiego projektu „ silnej sztucznej inteligencji ”, jak przewidywane przez „alarmujące” prace Bostroma byłyby o rzędy wielkości większe, niż te, które zgłaszają obawy, zdają sobie sprawę i co najmniej za 50 lat. Dennett uważa, że ​​jedynym istotnym zagrożeniem ze strony systemów AI jest popadanie w antropomorfizm zamiast kwestionowania lub rozwijania zdolności rozumienia przez użytkowników. Od czasu wydania książki z 2014 roku, w której wyraził opinię, że rozwój sztucznej inteligencji nigdy nie podważy ludzkiej dominacji, ekolog James Lovelock zbliżył się znacznie do stanowiska Bostroma, a w 2018 Lovelock powiedział, że uważa, iż obalenie ludzkości nastąpi w przewidywalnej przyszłości .

Rozumowanie antropiczne

Bostrom opublikował wiele artykułów na temat rozumowania antropicznego , a także książkę Anthropic Bias: Observation Selection Effects in Science and Philosophy . W książce krytykuje wcześniejsze sformułowania zasady antropicznej, w tym Brandona Cartera , Johna Lesliego , Johna Barrowa i Franka Tiplera .

Bostrom uważa, że ​​niewłaściwa obsługa informacji indeksowych jest powszechną wadą w wielu obszarach badań (w tym kosmologii, filozofii, teorii ewolucji, teorii gier i fizyce kwantowej). Twierdzi, że aby sobie z tym poradzić, potrzebna jest teoria antropiczna. Przedstawia założenie samopróbkowania (SSA) i założenie samooznaczania (SIA), pokazuje, w jaki sposób prowadzą one do różnych wniosków w wielu przypadkach i wskazuje, że na każdy z nich wpływają paradoksy lub sprzeczne z intuicją implikacje w pewnych eksperymentach myślowych. Sugeruje, że rozwiązaniem może być rozszerzenie SSA na silne założenie samopróbkowania (SSSA), które zastępuje „obserwatorów” w definicji SSA „momentami obserwatora”.

W późniejszych pracach opisał zjawisko cienia antropicznego , efekt selekcji obserwacji, który uniemożliwia obserwatorom obserwowanie pewnych rodzajów katastrof w ich niedawnej geologicznej i ewolucyjnej przeszłości. Typy katastrof, które leżą w cieniu antropicznym, będą prawdopodobnie niedoceniane, chyba że zostaną wprowadzone poprawki statystyczne.

Argument symulacji

Główny artykuł: hipoteza symulacji

Argument symulacyjny Bostroma zakłada, że ​​przynajmniej jedno z poniższych stwierdzeń jest bardzo prawdopodobne:

  1. Odsetek cywilizacji na poziomie ludzkim, które osiągnęły stadium postczłowiecze, jest bardzo bliski zeru;
  2. Odsetek cywilizacji postludzkich, które są zainteresowane przeprowadzaniem symulacji przodków, jest bardzo bliski zeru;
  3. Ułamek wszystkich ludzi z naszymi doświadczeniami, którzy żyją w symulacji, jest bardzo bliski jednemu.

Etyka ludzkiego ulepszania

Bostrom jest przychylny „ludzkiemu ulepszaniu” lub „samodoskonaleniu i ludzkiej doskonałości poprzez etyczne zastosowanie nauki”, a także krytykuje poglądy biokonserwatywne.

W 1998 roku Bostrom był współzałożycielem (wraz z Davidem Pearce ) Światowego Stowarzyszenia Transhumanistów (które od tego czasu zmieniło nazwę na Humanity+ ). W 2004 roku współtworzył (wraz z Jamesem Hughesem ) Instytut Etyki i Nowych Technologii , choć nie jest już związany z żadną z tych organizacji. Bostrom został wymieniony na liście światowych myślicieli z 2009 roku, opracowanej przez „ Foreign Policy ”, „za akceptację braku ograniczeń w ludzkim potencjale”.

Wraz z filozofem Tobym Ordem zaproponował test odwrócenia . Biorąc pod uwagę irracjonalne nastawienie na status quo ludzi, jak odróżnić słuszną krytykę proponowanych zmian w ludzkiej cesze od krytyki motywowanej jedynie oporem przed zmianą? Test odwrócenia próbuje to zrobić, pytając, czy byłoby dobrze, gdyby cecha została zmieniona w przeciwnym kierunku.

Strategia technologiczna

Zobacz także: Różnicowy rozwój technologiczny

Zasugerował, że polityka technologiczna mająca na celu zmniejszenie ryzyka egzystencjalnego powinna dążyć do wpływania na kolejność osiągania różnych możliwości technologicznych, proponując zasadę zróżnicowanego rozwoju technologicznego . Zasada ta mówi, że powinniśmy opóźniać rozwój technologii niebezpiecznych, zwłaszcza podnoszących poziom zagrożenia egzystencjalnego, a przyspieszać rozwój technologii korzystnych, szczególnie chroniących przed zagrożeniami egzystencjalnymi, jakie stwarza natura lub inne technologie.

Teoria Bostroma dotycząca Klątwy Unilateralizmu była cytowana jako powód, dla którego społeczność naukowa unikała kontrowersyjnych, niebezpiecznych badań, takich jak reanimacja patogenów.

Polityka i konsultacje

Bostrom doradzał w zakresie polityki i konsultował się z wieloma rządami i organizacjami. Złożył dowody przed Izbą Lordów , Select Committee on Digital Skills. Jest członkiem rady doradczej dla maszyn Intelligence Research Institute , Future of Life Institute , fundamentalne pytania Instytutu i doradcy zewnętrznego Cambridge Centrum Badań egzystencjalnej Risk .

Krytyczny odbiór

Zobacz też: Superinteligencja: Ścieżki, Niebezpieczeństwa, Strategie § Recepcja ; oraz Ryzyko egzystencjalne ze sztucznej inteligencji ogólnej § Perspektywy

W odpowiedzi na pismo Bostroma na temat sztucznej inteligencji, Oren Etzioni napisał w artykule w MIT Review: „przewidywania, że ​​superinteligencja jest na przewidywalnym horyzoncie, nie są poparte dostępnymi danymi”. Profesorowie Allan Dafoe i Stuart Russell napisali odpowiedź kwestionującą zarówno metodologię badania Etzioniego, jak i wnioski Etzioniego.

Magazyn Prospect umieścił Bostrom na swojej liście najlepszych myślicieli na świecie w 2014 roku .

Bibliografia

Książki

  • 2002 – Nastawienie antropiczne: Efekty selekcji obserwacji w nauce i filozofii , ISBN  0-415-93858-9
  • 2008 – Global Catastrophic Risks , pod redakcją Bostroma i Milana M. Ćirkovića, ISBN  978-0-19-857050-9
  • 2009 - Human Enhancement , pod redakcją Bostroma i Juliana Savulescu , ISBN  0-19-929972-2
  • 2014 - Superinteligencja: Ścieżki, niebezpieczeństwa, strategie , ISBN  978-0-19-967811-2

Artykuły z czasopism (wybrane)

Zobacz też

Bibliografia

Zewnętrzne linki