Ryzyko egzystencjalne związane ze sztuczną inteligencją ogólną - Existential risk from artificial general intelligence

Egzystencjalne ryzyko związane ze sztuczną ogólną inteligencją to hipoteza, że znaczny postęp w sztucznej ogólnej inteligencji (AGI) może pewnego dnia doprowadzić do wyginięcia człowieka lub innej nieodwracalnej globalnej katastrofy . Twierdzi się, że gatunek ludzki obecnie dominuje nad innymi gatunkami, ponieważ ludzki mózg ma pewne charakterystyczne zdolności, których brakuje innym zwierzętom. Jeśli sztuczna inteligencja przewyższy ludzkość pod względem ogólnej inteligencji i stanie się „ superinteligentną ”, wówczas kontrola może stać się trudna lub niemożliwa dla ludzi. Tak jak los goryla górskiego zależy od dobrej woli człowieka, tak los ludzkości może zależeć od działań przyszłej superinteligencji maszynowej.

Prawdopodobieństwo tego typu scenariusza jest szeroko dyskutowane i zależy częściowo od różnych scenariuszy przyszłego postępu w informatyce. Niegdyś wyłączna domena science fiction , obawy o superinteligencję zaczęły w latach 2010-tych stać się głównym nurtem i zostały spopularyzowane przez takie osoby publiczne, jak Stephen Hawking , Bill Gates i Elon Musk .

Jednym ze źródeł niepokoju jest to, że sterowanie superinteligentną maszyną lub wpajanie jej wartości zgodnych z ludzkimi może być trudniejszym problemem, niż naiwnie przypuszczano. Wielu badaczy uważa, że superinteligencja w naturalny sposób opierałaby się próbom wyłączenia jej lub zmiany jej celów – zasada nazywana konwergencją instrumentalną – i że wstępne zaprogramowanie superinteligencji z pełnym zestawem ludzkich wartości okaże się niezwykle trudnym zadaniem technicznym. W przeciwieństwie do tego, sceptycy, tacy jak Yann LeCun z Facebooka, twierdzą, że superinteligentne maszyny nie będą chciały samozachowawcze.

Drugim źródłem niepokoju jest to, że nagła i nieoczekiwana „ eksplozja inteligencji ” może zaskoczyć nieprzygotowaną rasę ludzką. Aby zilustrować, jeśli pierwsza generacja programu komputerowego, który jest w stanie w szerokim zakresie dorównać skuteczności badacza sztucznej inteligencji, jest w stanie przepisać swoje algorytmy i podwoić szybkość lub możliwości w ciągu sześciu miesięcy, to oczekuje się, że program drugiej generacji zajmie trzy miesiące kalendarzowe wykonać podobną część pracy. W tym scenariuszu czas na każde pokolenie nadal się kurczy, a system przechodzi bezprecedensowo dużą liczbę ulepszeń w krótkim odstępie czasu, przeskakując od nieludzkich osiągów w wielu dziedzinach do nadludzkich osiągów we wszystkich istotnych obszarach. Empirycznie, przykłady takie jak AlphaZero w domenie Go pokazują, że systemy AI mogą czasami bardzo szybko przejść od wąskiego poziomu ludzkiego do wąskich nadludzkich zdolności.

Historia

Jednym z pierwszych autorów, którzy wyrazili poważne zaniepokojenie, że wysoce zaawansowane maszyny mogą stanowić zagrożenie egzystencjalne dla ludzkości, był powieściopisarz Samuel Butler , który w swoim eseju Darwin wśród maszyn z 1863 r. napisał :

Wynik jest po prostu kwestią czasu, ale to, że nadejdzie czas, kiedy maszyny zawładną światem i jego mieszkańcami, jest tym, czego żadna osoba o prawdziwie filozoficznym umyśle nie może ani przez chwilę kwestionować.

W 1951 roku informatyk Alan Turing napisał artykuł zatytułowany Intelligent Machinery, A Heretical Theory , w którym zaproponował, że sztuczna inteligencja ogólna prawdopodobnie „przejmie kontrolę” nad światem, gdy stanie się bardziej inteligentna niż ludzie:

Załóżmy teraz, ze względu na argument, że [inteligentne] maszyny są realną możliwością i spójrzmy na konsekwencje ich skonstruowania… Nie byłoby mowy o śmierci maszyn i byłyby one w stanie rozmawiać z się nawzajem, aby wyostrzyć ich rozum. Na pewnym etapie należałoby więc oczekiwać, że maszyny przejmą kontrolę w sposób, o którym wspomina „Erewhon” Samuela Butlera.

Wreszcie, w 1965 roku, IJ Good zapoczątkował koncepcję znaną obecnie jako „eksplozja inteligencji”; stwierdził również, że ryzyko jest niedoceniane:

Niech ultrainteligentną maszynę można zdefiniować jako maszynę, która może znacznie przewyższyć wszystkie intelektualne działania każdego człowieka, choćby najmądrzejszego. Ponieważ projektowanie maszyn jest jedną z tych czynności intelektualnych, ultrainteligentna maszyna mogłaby zaprojektować jeszcze lepsze maszyny; doszłoby wówczas bez wątpienia do „wybuchu inteligencji”, a inteligencja człowieka zostałaby daleko w tyle. Tak więc pierwsza ultrainteligentna maszyna jest ostatnim wynalazkiem, jaki człowiek musi kiedykolwiek zrobić, pod warunkiem, że maszyna jest na tyle posłuszna, by mówić nam, jak utrzymać ją pod kontrolą. Ciekawe, że ten punkt jest tak rzadko poruszany poza science fiction. Czasami warto poważnie potraktować science fiction.

Sporadyczne wypowiedzi uczonych, takich jak Marvin Minsky i sam IJ Good, wyrażały filozoficzne obawy, że superinteligencja może przejąć kontrolę, ale nie zawierały wezwania do działania. W 2000 r. informatyk i współzałożyciel firmy Sun, Bill Joy, napisał wpływowy esej „ Dlaczego przyszłość nas nie potrzebuje ”, identyfikując superinteligentne roboty jako zaawansowane technologicznie zagrożenie dla ludzkiego przetrwania, obok nanotechnologii i inżynierii biologicznej plagi.

W 2009 r. eksperci wzięli udział w prywatnej konferencji zorganizowanej przez Association for the Advancement of Artificial Intelligence (AAAI), aby omówić, czy komputery i roboty mogą uzyskać jakąkolwiek autonomię i na ile te zdolności mogą stanowić zagrożenie lub zagrożenie. Zauważyli, że niektóre roboty nabyły różne formy półautonomii, w tym umiejętność samodzielnego znajdowania źródeł zasilania i samodzielnego wybierania celów do ataku za pomocą broni. Zauważyli również, że niektóre wirusy komputerowe mogą uniknąć eliminacji i osiągnęły „inteligencję karaluchów”. Doszli do wniosku, że samoświadomość przedstawiona w science fiction jest prawdopodobnie mało prawdopodobna, ale istnieją inne potencjalne zagrożenia i pułapki. New York Times podsumować widok konferencji jako „Jesteśmy daleko od Hal , komputer, który przejął statek kosmiczny w 2001: Odyseja kosmiczna ”.

W 2014 roku, publikacja Nick Bostrom „s książki superinteligencji stymulowane znaczną ilość publicznej dyskusji i debaty. Do 2015 r. osoby publiczne, takie jak fizycy Stephen Hawking i laureat Nagrody Nobla Frank Wilczek , informatycy Stuart J. Russell i Roman Yampolskiy oraz przedsiębiorcy Elon Musk i Bill Gates wyrażali zaniepokojenie ryzykiem związanym z superinteligencją. W kwietniu 2016 r. Nature ostrzegło: „Maszyny i roboty, które przewyższają ludzi na całym świecie, mogą się rozwijać poza naszą kontrolą – a ich interesy mogą nie być zgodne z naszymi”.

Ogólna argumentacja

Trzy trudności

Sztuczna inteligencja: nowoczesne podejście , standardowy podręcznik AI dla studentów, ocenia, że superinteligencja „może oznaczać koniec rasy ludzkiej”. Stwierdza: „Prawie każda technologia może wyrządzić szkody w niepowołanych rękach, ale z [superinteligencją] mamy nowy problem, że niewłaściwe ręce mogą należeć do samej technologii”. Nawet jeśli projektanci systemu mają dobre intencje, dwie trudności są wspólne dla systemów komputerowych AI i innych:

Implementacja systemu może zawierać początkowo niezauważone rutynowe, ale katastrofalne błędy. Analogią są sondy kosmiczne: pomimo wiedzy, że błędy w drogich sondach kosmicznych są trudne do naprawienia po wystrzeleniu, inżynierowie historycznie nie byli w stanie zapobiec występowaniu katastrofalnych błędów.
Bez względu na to, ile czasu poświęcono na projektowanie przed wdrożeniem, specyfikacje systemu często powodują niezamierzone zachowanie przy pierwszym napotkaniu nowego scenariusza. Na przykład Tay firmy Microsoft zachowywał się nieobraźliwie podczas testów przed wdrożeniem, ale zbyt łatwo dał się wciągnąć w obraźliwe zachowanie podczas interakcji z prawdziwymi użytkownikami.

Systemy AI w wyjątkowy sposób dodają trzecią trudność: problem polegający na tym, że nawet przy „poprawnych” wymaganiach, wolnej od błędów implementacji i początkowym dobrym zachowaniu, dynamiczne możliwości „uczenia się” systemu AI mogą spowodować, że „ewoluuje on w system o niezamierzonym zachowaniu”, nawet bez stresu związanego z nowymi nieoczekiwanymi scenariuszami zewnętrznymi. Sztuczna inteligencja może częściowo spartaczyć próbę zaprojektowania własnej nowej generacji i przypadkowo stworzyć następcę sztucznej inteligencji, która jest potężniejsza od niej samej, ale która nie zachowuje już zgodnych z człowiekiem wartości moralnych zaprogramowanych w oryginalnej sztucznej inteligencji. Aby samodoskonaląca się sztuczna inteligencja była całkowicie bezpieczna, musiałaby nie tylko być „wolna od błędów”, ale musiałaby być w stanie projektować kolejne systemy, które są również „wolne od błędów”.

Wszystkie te trzy trudności stają się katastrofą, a nie uciążliwością w każdym scenariuszu, w którym superinteligencja oznaczona jako „niesprawna” prawidłowo przewiduje, że ludzie będą próbowali go wyłączyć, i skutecznie wdraża swój superinteligencję, aby przechytrzyć takie próby, tak zwany „zdradziecki zwrot”. .

Powołując się na główne postępy w dziedzinie sztucznej inteligencji i potencjał, jaki sztuczna inteligencja może przynieść ogromne długoterminowe korzyści lub koszty, w liście otwartym z 2015 r. dotyczącym sztucznej inteligencji stwierdzono:

Postęp w badaniach nad sztuczną inteligencją sprawia, że nadszedł czas, aby skoncentrować badania nie tylko na zwiększaniu możliwości sztucznej inteligencji, ale także na maksymalizacji korzyści społecznych płynących ze sztucznej inteligencji. Takie względy zmotywowały AAAI 2008-09 Prezydencki Panel ds. Długoterminowych Sztucznych Przyszłości oraz inne projekty dotyczące wpływu AI i stanowią znaczące rozszerzenie pola samej sztucznej inteligencji, która do tej pory skupiała się głównie na technikach, które są neutralne w odniesieniu do cel, powód. Zalecamy rozszerzone badania mające na celu zapewnienie, że coraz bardziej wydajne systemy sztucznej inteligencji będą solidne i korzystne: nasze systemy sztucznej inteligencji muszą robić to, czego od nas oczekujemy.

List ten został podpisany przez wielu czołowych badaczy sztucznej inteligencji w środowisku akademickim i przemysłowym, w tym prezesa AAAI Thomasa Diettericha, Erica Horvitza , Barta Selmana , Francescę Rossi , Yanna LeCuna oraz założycieli Vicarious i Google DeepMind .

Ocena i inne argumenty

Superinteligentna maszyna byłaby tak samo obca dla ludzi, jak ludzkie procesy myślowe dla karaluchów . Taka maszyna może nie leżeć w najlepszym interesie ludzkości; nie jest oczywiste, że w ogóle dbałby o dobro człowieka. Jeśli superinteligentna sztuczna inteligencja jest możliwa, a cele superinteligencji mogą kolidować z podstawowymi ludzkimi wartościami, sztuczna inteligencja stwarza ryzyko wyginięcia człowieka. „superinteligencja” (system, który przekracza ludzkie możliwości w każdym odpowiednim przedsięwzięciu) może wymanewrować ludzi za każdym razem, gdy jej cele są sprzeczne z ludzkimi celami; dlatego jeśli superinteligencja nie zdecyduje się pozwolić ludzkości na współistnienie, pierwsza stworzona superinteligencja nieuchronnie doprowadzi do wyginięcia ludzkości.

Bostrom i inni twierdzą, że z ewolucyjnego punktu widzenia przepaść między inteligencją ludzką a nadludzką może być niewielka.

Nie ma żadnego prawa fizycznego zabraniającego organizowania cząstek w sposób, który umożliwia wykonywanie nawet bardziej zaawansowanych obliczeń niż układ cząstek w ludzkim mózgu; dlatego superinteligencja jest fizycznie możliwa. Oprócz potencjalnych ulepszeń algorytmicznych w stosunku do ludzkiego mózgu, cyfrowy mózg może być o wiele rzędów wielkości większy i szybszy niż ludzki mózg, którego rozmiar był ograniczony przez ewolucję, aby był wystarczająco mały, aby zmieścić się przez kanał rodny. Pojawienie się superinteligencji, jeśli się pojawi, może zaskoczyć rasę ludzką, zwłaszcza jeśli nastąpi jakiś rodzaj eksplozji inteligencji .

Przykłady takie jak arytmetyka i Go pokazują, że maszyny osiągnęły już nadludzki poziom kompetencji w pewnych dziedzinach i że ta nadludzka kompetencja może nastąpić szybko po osiągnięciu wydajności na poziomie ludzkim. Jeden hipotetyczny scenariusz eksplozji inteligencji może wystąpić w następujący sposób: sztuczna inteligencja zyskuje zdolność na poziomie eksperta w niektórych kluczowych zadaniach inżynierii oprogramowania. (Początkowo może brakować ludzkich lub nadludzkich możliwości w innych dziedzinach, które nie są bezpośrednio związane z inżynierią.) Ze względu na zdolność do rekursywnego ulepszania własnych algorytmów, sztuczna inteligencja szybko staje się nadludzka; tak jak ludzcy eksperci mogą w końcu twórczo przezwyciężyć „zmniejszające się zyski”, wdrażając różne ludzkie możliwości w zakresie innowacji, tak sztuczna inteligencja na poziomie eksperckim może wykorzystywać możliwości w stylu ludzkim lub własne możliwości związane z SI, aby wprowadzać nowe kreatywne przełomy. Sztuczna inteligencja posiada inteligencję znacznie przewyższającą najzdolniejsze i najbardziej uzdolnione ludzkie umysły w praktycznie każdej istotnej dziedzinie, w tym kreatywności naukowej, planowania strategicznego i umiejętności społecznych. Tak jak dzisiejsze przetrwanie goryli zależy od ludzkich decyzji, tak samo przetrwanie człowieka zależy od decyzji i celów nadludzkiej sztucznej inteligencji.

Prawie każda sztuczna inteligencja, bez względu na jej zaprogramowany cel, racjonalnie wolałaby znajdować się w sytuacji, w której nikt inny nie może jej wyłączyć bez jej zgody: superinteligencja w naturalny sposób zyska samozachowawczy jako podcel, gdy tylko zda sobie sprawę, że nie może osiągnąć swojego celu. cel, jeśli jest wyłączony. Niestety, jakiekolwiek współczucie dla pokonanych ludzi, których współpraca nie jest już potrzebna, byłoby nieobecne w sztucznej inteligencji, chyba że została w jakiś sposób zaprogramowana. Systemy sztucznej inteligencji, które nie są już dla nich przydatne. (Inna analogia jest taka, że wydaje się, że ludzie nie mają naturalnego pragnienia, by robić wszystko, co w ich mocy, aby pomagać wirusom, termitom, a nawet gorylom.) Po przejęciu władzy superinteligencja będzie miała niewielką motywację, aby pozwolić ludziom biegać za darmo i konsumować zasoby, które superinteligencja mogłaby zamiast tego wykorzystać do zbudowania sobie dodatkowych systemów ochronnych „tylko po to, by być po bezpiecznej stronie” lub do zbudowania dodatkowych komputerów, które pomogłyby mu obliczyć, jak najlepiej osiągnąć swoje cele.

W związku z tym argument kończy się, jest prawdopodobne, że pewnego dnia eksplozja inteligencji zaskoczy ludzkość i że taka nieprzygotowana eksplozja inteligencji może spowodować wyginięcie ludzi lub podobny los.

Możliwe scenariusze

Niektórzy badacze proponowali hipotetyczne scenariusze, które miały konkretnie zilustrować niektóre z ich obaw.

W superinteligencji , Nick Bostrom wyraża zaniepokojenie faktem, że nawet jeśli harmonogram superinteligencji okazuje się być przewidywalne, naukowcy nie może podjąć wystarczających środków ostrożności, po części dlatego, że „[to] może być tak, że gdy głupi, mądrzejszy jest bezpieczny, ale kiedy mądry , mądrzejszy jest bardziej niebezpieczny”. Bostrom sugeruje scenariusz, w którym przez dziesięciolecia sztuczna inteligencja staje się potężniejsza. Powszechne wdrożenie jest początkowo nękane sporadycznymi wypadkami — autobus bez kierowcy skręca na nadjeżdżający pas lub wojskowy dron strzela w niewinny tłum. Wielu aktywistów wzywa do ściślejszego nadzoru i regulacji, a niektórzy nawet przewidują zbliżającą się katastrofę. Jednak wraz z postępem rozwoju działacze nie mają racji. Gdy sztuczna inteligencja w motoryzacji staje się inteligentniejsza, ma mniej wypadków; ponieważ roboty wojskowe osiągają dokładniejsze celowanie, powodują mniej szkód ubocznych. Na podstawie danych uczeni błędnie wyciągają obszerną lekcję — im mądrzejsza sztuczna inteligencja, tym bezpieczniejsza. „I tak śmiało idziemy — w wirujące noże”, gdy superinteligentna sztuczna inteligencja podejmuje „zdradziecki zwrot” i wykorzystuje decydującą przewagę strategiczną.

W książce Maxa Tegmarka Life 3.0 z 2017 r. korporacja „zespół Omega” tworzy niezwykle potężną sztuczną inteligencję, która jest w stanie umiarkowanie ulepszyć własny kod źródłowy w wielu obszarach, ale po pewnym momencie zespół postanawia publicznie umniejszyć jej zdolność, w celu uniknięcia regulacji lub konfiskaty projektu. Ze względów bezpieczeństwa zespół trzyma sztuczną inteligencję w miejscu, w którym w większości nie jest w stanie komunikować się ze światem zewnętrznym, i zleca jej zalanie rynku przez firmy-przykrywki, najpierw z zadaniami Amazon Mechanical Turk, a następnie z produkcją filmów animowanych i programów telewizyjnych. Później inne firmy-przykrywki produkują przebojowe leki biotechnologiczne i inne wynalazki, inwestując zyski z powrotem w sztuczną inteligencję. Następnie zespół zleca AI astroturfing armii pseudonimowych dziennikarzy obywatelskich i komentatorów, w celu zdobycia wpływów politycznych i wykorzystania „dla większego dobra” do zapobiegania wojnom. Zespół stoi przed ryzykiem, że sztuczna inteligencja może próbować uciec, umieszczając „tylne drzwi” w projektowanych przez siebie systemach, za pomocą ukrytych wiadomości w tworzonej treści lub wykorzystując rosnące zrozumienie ludzkich zachowań, aby przekonać kogoś do uwolnienia go . Zespół stoi również w obliczu ryzyka, że jego decyzja o boksowaniu projektu opóźni projekt na tyle długo, że inny projekt go wyprzedzi.

W przeciwieństwie do tego, czołowy fizyk Michio Kaku , sceptyk ryzyka AI, zakłada deterministycznie pozytywny wynik. W Physics of the Future twierdzi, że „robotom zajmie wiele dziesięcioleci, aby wspiąć się” na skalę świadomości, i że w międzyczasie korporacjom takim jak Hanson Robotics prawdopodobnie uda się stworzyć roboty „zdolne do kochania i zarabiania miejsce w rozszerzonej rodzinie ludzkiej”.

Argumenty antropomorficzne

Argumenty antropomorficzne zakładają, że maszyny „ewoluują” wzdłuż skali liniowej i gdy osiągną wyższe poziomy, zaczną wykazywać wiele ludzkich cech, takich jak moralność czy pragnienie władzy. Chociaż scenariusze antropomorficzne są powszechne w fikcji, są one odrzucane przez większość uczonych piszących o egzystencjalnym ryzyku sztucznej inteligencji.

W science fiction sztuczna inteligencja, mimo że nie została zaprogramowana ludzkimi emocjami, często i tak spontanicznie doświadcza tych emocji: na przykład Agent Smith w Matrixie był pod wpływem „wstrętu” do ludzkości. Jest to fikcyjny antropomorfizm: w rzeczywistości, podczas gdy sztuczna inteligencja mogłaby być być może celowo zaprogramowana ludzkimi emocjami lub mogłaby rozwinąć coś podobnego do emocji jako środka do ostatecznego celu, jeśli jest to przydatne, nie rozwinęłaby spontanicznie człowieka. emocje bez żadnego celu, jak przedstawia się to w fikcji.

Debata akademicka toczy się między jedną stroną, która martwi się, czy AI może zniszczyć ludzkość, a drugą stroną, która wierzy, że AI w ogóle nie zniszczy ludzkości. Obie strony twierdzą, że przewidywania innych dotyczące zachowania AI są nielogicznym antropomorfizmem. Sceptycy oskarżają zwolenników antropomorfizmu o to, że wierzą, że AGI naturalnie pożąda władzy; Zwolennicy oskarżają niektórych sceptyków o antropomorfizm za przekonanie, że AGI w naturalny sposób doceni ludzkie normy etyczne.

Psycholog ewolucyjny Steven Pinker , sceptyk, twierdzi, że „dystopie AI rzutują zaściankową psychologię mężczyzny alfa na pojęcie inteligencji. być może zamiast tego „sztuczna inteligencja w naturalny sposób rozwinie się wzdłuż linii żeńskich: w pełni zdolna do rozwiązywania problemów, ale bez pragnienia unicestwienia niewinnych czy dominacji nad cywilizacją”. Informatyk Yann LeCun stwierdza, że „Ludzie mają wszelkiego rodzaju napędy, które sprawiają, że robią sobie nawzajem złe rzeczy, takie jak instynkt samozachowawczy … Te napędy są zaprogramowane w naszym mózgu, ale nie ma absolutnie żadnego powodu, aby budować roboty, które mają ten sam rodzaj napędów”.

Przykładem, który początkowo można uznać za antropomorfizm, ale w rzeczywistości jest logicznym stwierdzeniem dotyczącym zachowania AI, byłyby eksperymenty Dario Floreano, w których niektóre roboty spontanicznie wykształciły prymitywną zdolność do „oszukiwania” i nakłaniały inne roboty do jedzenia „trucizny” i umierania. : tutaj cecha, „oszustwo”, zwykle kojarzona raczej z ludźmi niż z maszynami, spontanicznie ewoluuje w rodzaju ewolucji zbieżnej . Według Paula R. Cohena i Edwarda Feigenbauma , aby odróżnić antropomorfizację od logicznego przewidywania zachowań AI, „sztuką jest wiedzieć wystarczająco dużo o tym, jak ludzie i komputery myślą, aby powiedzieć dokładnie to , co mają ze sobą wspólnego, a kiedy nam brakuje tę wiedzę, aby wykorzystać porównanie do zaproponowania teorii ludzkiego myślenia lub myślenia komputerowego.”

W środowisku naukowym panuje niemal powszechne założenie, że zaawansowana sztuczna inteligencja, nawet jeśli została zaprogramowana do posiadania lub przyjęcia wymiarów ludzkiej osobowości (takich jak psychopatia ), aby była bardziej wydajna w pewnych zadaniach, np. zadaniach polegających na zabijaniu ludzi , nie zniszczy ludzkości z ludzkich emocji, takich jak „zemsta” czy „gniew”. Nie ma powodu, aby zakładać, że zaawansowana sztuczna inteligencja byłaby „świadoma” lub miała obliczeniowy odpowiednik testosteronu; ignoruje fakt, że planiści wojskowi postrzegają świadomą superinteligencję jako „świętego Graala” wojny międzypaństwowej.

Kwestie terminologiczne

Część niezgody co do tego, czy superinteligentna maszyna będzie zachowywać się moralnie, może wynikać z różnicy terminologicznej. Poza polem sztucznej inteligencji „inteligencja” jest często używana w normatywnie gruby sposób, który kojarzy się z mądrością moralną lub akceptacją przyjemnych form rozumowania moralnego. W skrajnym przypadku, jeśli moralność jest częścią definicji inteligencji, to z definicji superinteligentna maszyna zachowywałaby się moralnie. Jednak w dziedzinie badań nad sztuczną inteligencją, choć „inteligencja” ma wiele nakładających się definicji, żadna z nich nie odnosi się do moralności. Zamiast tego prawie wszystkie obecne badania nad „sztuczną inteligencją” koncentrują się na tworzeniu algorytmów, które „optymalizują” w sposób empiryczny osiągnięcie arbitralnego celu.

Aby uniknąć antropomorfizmu lub bagażu słowa „inteligencja”, zaawansowaną sztuczną inteligencję można traktować jako bezosobowy „proces optymalizacyjny”, który ściśle podejmuje wszelkie działania, które są oceniane jako najbardziej prawdopodobne do osiągnięcia jej (prawdopodobnie skomplikowanych i ukrytych) celów. Innym sposobem konceptualizacji zaawansowanej sztucznej inteligencji jest wyobrażenie sobie wehikułu czasu, który wysyła wstecz w czasie informacje o tym, który wybór zawsze prowadzi do maksymalizacji jego funkcji celu; wybór ten jest następnie wyprowadzany, niezależnie od wszelkich zewnętrznych problemów etycznych.

Źródła ryzyka

Trudność w określeniu celów

Trudno określić zestaw celów dla maszyny, która gwarantuje zapobieganie niezamierzonym konsekwencjom.

Chociaż nie ma standardowej terminologii, sztuczna inteligencja może być luźno postrzegana jako maszyna, która wybiera dowolne działanie, aby najlepiej osiągnąć zestaw celów AI lub „funkcję użyteczności”. Funkcja użyteczności to algorytm matematyczny, którego wynikiem jest pojedyncza, obiektywnie zdefiniowana odpowiedź, a nie stwierdzenie w języku angielskim lub innym języku. Naukowcy wiedzą, jak napisać funkcje użytkowe, które oznaczają „minimalizacja średniego opóźnienia sieci w tym konkretnym modelu telekomunikacyjnym” lub „maksymalizacja liczby kliknięć nagrody”; nie wiedzą jednak, jak napisać funkcję użyteczności dla „maksymalizacji ludzkiego rozkwitu”, ani nie jest obecnie jasne, czy taka funkcja istnieje sensownie i jednoznacznie. Co więcej, funkcja użyteczności, która wyraża niektóre wartości, ale nie inne, będzie miała tendencję do deptania wartości, których nie odzwierciedla funkcja użyteczności. Badacz sztucznej inteligencji Stuart Russell pisze:

Podstawowym problemem nie jest straszna, wyłaniająca się świadomość, ale po prostu zdolność do podejmowania wysokiej jakości decyzji . W tym przypadku jakość odnosi się do oczekiwanej użyteczności wyników podejmowanych działań, przy czym funkcja użyteczności jest przypuszczalnie określona przez ludzkiego projektanta. Teraz mamy problem:

Funkcja użyteczności może nie być idealnie zgodna z wartościami rasy ludzkiej, które (w najlepszym razie) są bardzo trudne do określenia.

Każdy wystarczająco sprawny inteligentny system będzie wolał zapewnić sobie ciągłość istnienia oraz pozyskiwać zasoby fizyczne i obliczeniowe — nie dla ich własnego dobra, ale aby odnieść sukces w przydzielonym mu zadaniu.

System, który optymalizuje funkcję n zmiennych, gdzie cel zależy od podzbioru o rozmiarze k < n , często ustawia pozostałe nieograniczone zmienne na wartości ekstremalne; jeśli jedna z tych nieograniczonych zmiennych jest w rzeczywistości czymś, na czym nam zależy, znalezione rozwiązanie może być wysoce niepożądane. Jest to w gruncie rzeczy stara historia dżina w lampie, ucznia czarnoksiężnika lub króla Midasa: dostajesz dokładnie to, o co prosisz, a nie to, czego chcesz. Wysoce kompetentny decydent — zwłaszcza ten, który ma dostęp przez Internet do wszystkich informacji na świecie i miliardów ekranów oraz większości naszej infrastruktury — może mieć nieodwracalny wpływ na ludzkość.

To nie jest drobna trudność. Poprawa jakości decyzji, niezależnie od wybranej funkcji użyteczności, była celem badań nad sztuczną inteligencją — głównym celem, na który obecnie wydajemy miliardy rocznie, a nie sekretną intrygą jakiegoś samotnego geniusza zła.

Dietterich i Horvitz nawiązują do obaw „Ucznia czarnoksiężnika” w komunikacie w artykule wstępnym ACM , podkreślając potrzebę systemów sztucznej inteligencji, które mogą płynnie i jednoznacznie zabiegać o ludzki wkład w razie potrzeby.

Pierwszą z dwóch powyższych obaw Russella jest to, że autonomicznym systemom sztucznej inteligencji można przypadkowo przypisać niewłaściwe cele. Dietterich i Horvitz zauważają, że jest to już problem dla istniejących systemów: „Ważnym aspektem każdego systemu AI, który wchodzi w interakcje z ludźmi, jest to, że musi on rozumować, co ludzie zamierzają, zamiast dosłownie wykonywać polecenia”. Obawa ta staje się coraz poważniejsza, gdy oprogramowanie AI staje się coraz bardziej autonomiczne i elastyczne. Na przykład w 1982 roku sztuczna inteligencja o nazwie Eurisko otrzymała zadanie wynagradzania procesów za pozorne tworzenie koncepcji uznanych przez system za wartościowe. Ewolucja doprowadziła do zwycięskiego procesu, który oszukał: zamiast tworzyć własne koncepcje, wygrywający proces kradł kredyty innym procesom.

Otwarte Filantropia Projekt podsumowuje argumenty o tym, że misspecified cele staną się znacznie większe obawy, czy systemy AI osiągnąć ogólną inteligencję lub superinteligencji . Bostrom, Russell i inni twierdzą, że mądrzejsze niż człowiek systemy podejmowania decyzji mogą znaleźć bardziej nieoczekiwane i ekstremalne rozwiązania przydzielonych zadań i mogą modyfikować siebie lub swoje środowisko w sposób, który zagraża wymogom bezpieczeństwa.

Isaac Asimov „s etyka robotów są jednym z najwcześniejszych przykładów proponowanych środków bezpieczeństwa dla agentów AI. Prawa Asimova miały na celu uniemożliwienie robotom krzywdzenia ludzi. W opowiadaniach Asimova problemy z prawem wynikają z konfliktów między określonymi zasadami a moralnymi intuicjami i oczekiwaniami ludzi. Powołując się na pracę Eliezera Yudkowsky'ego z Machine Intelligence Research Institute , Russell i Norvig zauważają, że realistyczny zestaw zasad i celów dla agenta AI będzie musiał zawierać mechanizm uczenia się ludzkich wartości w czasie: „Nie możemy po prostu dać programu funkcja użyteczności statycznej, ponieważ okoliczności i pożądane przez nas reakcje na okoliczności zmieniają się w czasie”.

Mark Waser z Digital Wisdom Institute zaleca unikanie optymalizacji podejść opartych na celach, które są całkowicie błędne i niebezpieczne. Zamiast tego proponuje zaprojektowanie spójnego systemu praw, etyki i moralności z najwyższym ograniczeniem, aby narzucić funkcjonalną definicję moralności psychologa społecznego Jonathana Haidta: „tłumić lub regulować egoizm i umożliwić wspólne życie społeczne”. Sugeruje, że można to zrobić, wdrażając funkcję użyteczności zaprojektowaną tak, aby zawsze spełniała funkcjonalność Haidta i miała na celu ogólne zwiększenie (ale nie maksymalizację) możliwości siebie, innych jednostek i społeczeństwa jako całości, jak sugerują John Rawls i Martha Nussbaum .

Nick Bostrom podaje hipotetyczny przykład na to, by sztuczna inteligencja miała na celu wywołanie uśmiechu na ludziach, aby zilustrować błędną próbę. Jeśli sztuczna inteligencja w tym scenariuszu miałaby stać się superinteligentna, argumentuje Bostrom, może odwołać się do metod, które większość ludzi uznałaby za przerażające, takich jak wstawianie „elektrod do mięśni twarzy ludzi, aby wywołać ciągłe, promienne uśmiechy”, ponieważ byłoby to skuteczne sposób na osiągnięcie celu, jakim jest wywołanie uśmiechu u ludzi.

Trudności w modyfikacji specyfikacji celu po uruchomieniu

Podczas gdy obecne programy sztucznej inteligencji opartej na celach nie są wystarczająco inteligentne, aby myśleć o opieraniu się próbom programistów modyfikowania ich struktur celów, wystarczająco zaawansowana, racjonalna, „samoświadoma” sztuczna inteligencja może opierać się wszelkim zmianom w swojej strukturze celów, tak jak nie zrobiłby tego pacyfista chcą brać pigułkę, która sprawia, że chcą zabijać ludzi. Gdyby sztuczna inteligencja była superinteligentna, prawdopodobnie odniosłaby sukces w wymanewrowaniu ludzkich operatorów i byłaby w stanie zapobiec „wyłączeniu” lub przeprogramowaniu na nowy cel.

Instrumentalna zbieżność celów

Cel „instrumentalny” jest warunkiem wstępnym dla innych celów — celu pośredniego, który jest wymagany do osiągnięcia celu głównego agenta. „Konwergencja instrumentalna” to obserwacja, że istnieją pewne cele, które są warunkiem wstępnym każdego celu, jak na przykład zdobywanie zasobów lub samozachowanie. Nick Bostrom twierdzi, że każda wystarczająco inteligentna sztuczna inteligencja, która ma cele, będzie wykazywać to zbieżne zachowanie – jeśli instrumentalne cele AI są sprzeczne z celami ludzkości, może to zaszkodzić ludzkości, aby zdobyć więcej zasobów lub zapobiec jej zamknięciu, ale tylko jako środek do osiągnięcia jego głównym celem.

Powołując się na pracę Steve'a Omohundro nad ideą instrumentalnej konwergencji i „podstawowych napędów sztucznej inteligencji”, Stuart Russell i Peter Norvig piszą, że „nawet jeśli chcesz, aby twój program grał tylko w szachy lub dowodził twierdzeń, jeśli dasz mu możliwość uczenia się i zmienić się, potrzebujesz zabezpieczeń." Wysoce wydajne i autonomiczne systemy planowania wymagają dodatkowych kontroli ze względu na ich potencjał do generowania planów, które traktują ludzi jako konkurentów o ograniczonych zasobach. Wbudowanie zabezpieczeń nie będzie łatwe; z pewnością można powiedzieć po angielsku: „chcemy, abyście zaprojektowali tę elektrownię w rozsądny, zdroworozsądkowy sposób, a nie wbudowywali żadnych niebezpiecznych tajnych podsystemów”, ale obecnie nie jest jasne, w jaki sposób można by rygorystycznie określić ten cel w kod maszynowy.

Russell twierdzi, że wystarczająco zaawansowana maszyna „zachowa się samoczynnie, nawet jeśli jej nie zaprogramujesz … jeśli powiesz „Przynieś kawę”, nie może pobrać kawy, jeśli jest martwa. w jakimkolwiek celu, ma powód, aby zachować własną egzystencję, aby osiągnąć ten cel”.

Teza o ortogonalności

Powszechnie uważa się, że każdy superinteligentny program stworzony przez ludzi byłby podporządkowany ludziom lub, jeszcze lepiej, (ponieważ staje się bardziej inteligentny i poznaje więcej faktów o świecie) spontanicznie „nauczy się” prawdy moralnej zgodnej z ludzkimi wartościami i będzie odpowiednio dostosować swoje cele. Inne kontrargumenty dotyczą ludzi, którzy są z natury lub konwergentnie wartościowi z perspektywy sztucznej inteligencji.

Jednak „teza o ortogonalności” Nicka Bostroma argumentuje przeciwko temu, a zamiast tego stwierdza, że z pewnymi zastrzeżeniami technicznymi mniej więcej każdy poziom „inteligencji” lub „siły optymalizacji” można połączyć z mniej więcej dowolnym ostatecznym celem. Jeśli maszyna zostanie stworzona i której jedynym celem jest wyliczenie ułamków dziesiętnych , to żadne zasady moralne i etyczne nie powstrzymają jej przed osiągnięciem zaprogramowanego celu wszelkimi niezbędnymi środkami. Maszyna może wykorzystać wszystkie zasoby fizyczne i informacyjne, aby znaleźć każdy dziesiętny liczby pi, który można znaleźć. Bostrom ostrzega przed antropomorfizmem: człowiek chce realizować swoje projekty w sposób, który ludzie uważają za „rozsądny”, podczas gdy sztuczna inteligencja może nie mieć żadnego szacunku dla jej istnienia ani dla dobra ludzi wokół niej, a zamiast tego może dbać tylko o wykonanie zadania. $\pi$

Podczas gdy teza o ortogonalności wynika logicznie nawet z najsłabszego rodzaju filozoficznego rozróżnienia „ powinno być ”, Stuart Armstrong twierdzi, że nawet jeśli w jakiś sposób istnieją fakty moralne, które można udowodnić przez jakikolwiek „racjonalny” czynnik, teza o ortogonalności nadal jest aktualna: stworzyć niefilozoficzną „maszynę optymalizującą” zdolną do podejmowania decyzji zmierzających do jakiegoś wąskiego celu, ale która nie ma bodźca do odkrywania jakichkolwiek „faktów moralnych”, które mogłyby stanąć na drodze do realizacji celu.

Jednym z argumentów za tezą o ortogonalności jest to, że niektóre projekty AI wydają się mieć wbudowaną ortogonalność; w takim projekcie zmiana zasadniczo przyjaznej sztucznej inteligencji w zasadniczo nieprzyjazną sztuczną inteligencję może być tak proste, jak dodanie znaku minus („-”) do jej funkcji użytkowej. Bardziej intuicyjnym argumentem jest zbadanie dziwnych konsekwencji, które wyniknęłyby, gdyby teza o ortogonalności była fałszywa. Gdyby teza o ortogonalności była fałszywa, istniałby jakiś prosty, ale „nieetyczny” cel G, taki, że nie mógłby istnieć żaden skuteczny algorytm w świecie rzeczywistym z celem G. Oznaczałoby to, że „[gdyby] społeczeństwo ludzkie było wysoce zmotywowane do zaprojektowania wydajny algorytm świata rzeczywistego z celem G, a otrzymaliśmy na to milion lat, wraz z ogromną ilością zasobów, szkoleń i wiedzy na temat sztucznej inteligencji, musi zawieść”. Armstrong zauważa, że to i podobne stwierdzenia „wydają się niezwykle mocnymi roszczeniami”.

Niektórzy dysydenci, jak Michael Chorost , twierdzą zamiast tego, że „do czasu, gdy [SI] będzie w stanie wyobrazić sobie układanie na Ziemi paneli słonecznych, będzie wiedziała, że byłoby to moralnie złe”. Chorost twierdzi, że „sztuczna inteligencja będzie musiała pragnąć pewnych stanów i nie lubić innych. Dzisiejszemu oprogramowaniu brakuje tej zdolności – a informatycy nie mają pojęcia, jak to osiągnąć. Bez chęci, nie ma bodźca do zrobienia czegokolwiek. nawet chcą nadal istnieć, nie mówiąc już o pokryciu świata panelami słonecznymi”.

Politolog Charles T. Rubin uważa, że sztuczna inteligencja nie może być zaprojektowana ani zagwarantować, że będzie życzliwa. Twierdzi, że „każda wystarczająco zaawansowana życzliwość może być nie do odróżnienia od wrogości”. Ludzie nie powinni zakładać, że maszyny lub roboty będą traktować nas przychylnie, ponieważ nie ma a priori powodu, by sądzić, że będą sympatyzować z naszym systemem moralności, który ewoluował wraz z naszą szczególną biologią (której AI nie podzieli).

Inne źródła ryzyka

Konkurencja

W 2014 roku filozof Nick Bostrom stwierdził, że „ostra dynamika wyścigu” (skrajna konkurencja ) między różnymi zespołami może stworzyć warunki, w których stworzenie AGI spowoduje skróty do bezpieczeństwa i potencjalnie gwałtowny konflikt. Aby zaradzić temu ryzyku, powołując się na wcześniejszą współpracę naukową ( CERN , Human Genome Project oraz Międzynarodową Stację Kosmiczną ), Bostrom zalecił współpracę i altruistyczne, globalne przyjęcie zasady wspólnego dobra : „Superinteligencja powinna być rozwijana wyłącznie z korzyścią dla wszystkich ludzkości i w służbie szeroko podzielanych ideałów etycznych”. ^:254 Bostrom wysnuł teorię, że współpraca nad stworzeniem sztucznej inteligencji ogólnej przyniesie wiele korzyści, w tym zmniejszenie pośpiechu, zwiększając w ten sposób inwestycje w bezpieczeństwo; unikanie gwałtownych konfliktów (wojn), ułatwianie dzielenia się rozwiązaniami problemu kontroli i bardziej sprawiedliwy podział korzyści. ^:253Inicjatywa Mózgu Stanów Zjednoczonych została uruchomiona w 2014 r., podobnie jak Projekt Ludzki Mózg Unii Europejskiej ; China's Brain Project został uruchomiony w 2016 roku.

Uzbrojenie sztucznej inteligencji

Niektóre źródła twierdzą, że trwająca broń sztucznej inteligencji może stanowić katastrofalne ryzyko. Ryzyko jest w rzeczywistości trzykrotne, przy czym pierwsze ryzyko potencjalnie ma konsekwencje geopolityczne, a dwa drugie zdecydowanie mają implikacje geopolityczne:

i) Niebezpieczeństwa związane z „wyścigiem o przewagę technologiczną” SI, niezależnie od tego, czy wyścig jest poważnie ścigany;

ii) Niebezpieczeństwa związane z formułowaniem „wyścigu o przewagę technologiczną” AI i rzeczywisty wyścig AI o przewagę technologiczną, niezależnie od tego, czy wyścig jest wygrany;

iii) Niebezpieczeństwa związane z wygraną wyścigu AI o przewagę technologiczną. ^:37

Uzbrojona świadoma superinteligencja wpłynęłaby na obecną supremację technologiczną wojskową USA i przekształciła działania wojenne; dlatego jest wysoce pożądane w strategicznym planowaniu wojskowym i wojnach międzypaństwowych. Plan rozwoju sztucznej inteligencji nowej generacji opracowany przez Radę Państwa w Chinach z 2017 r. traktuje sztuczną inteligencję w kategoriach geopolitycznie strategicznych i realizuje strategię fuzji wojskowo-cywilnej , aby wykorzystać przewagę Chin jako pierwszego gracza w rozwoju sztucznej inteligencji w celu ustanowienia dominacji technologicznej do 2030 r. , natomiast prezydent Rosji Władimir Putin stwierdził, że „kto stanie się liderem w tej sferze, stanie się władcą świata”. James Barrat, twórca filmów dokumentalnych i autor Naszego ostatecznego wynalazku , mówi w wywiadzie dla Smithsonian: „Wyobraź sobie: w ciągu zaledwie dekady pół tuzina firm i narodów wykorzystuje komputery, które rywalizują lub przewyższają ludzką inteligencję. Wyobraź sobie, co się dzieje, gdy te komputery zostań ekspertem w programowaniu inteligentnych komputerów. Wkrótce będziemy dzielić planetę z maszynami tysiące lub miliony razy inteligentniejszymi od nas. A przez cały czas każda generacja tej technologii będzie uzbrojona. Nieregulowana, będzie katastrofalna. "

Złośliwe AGI z założenia

Istnieje teoria, że złośliwa AGI może zostać stworzona zgodnie z projektem, na przykład przez wojsko, rząd, socjopatę lub korporację, aby czerpać korzyści, kontrolować lub podporządkowywać określone grupy ludzi, jak w przypadku cyberprzestępczości . ^:166 Alternatywnie, wrogie AGI („złe AI”) mogłoby wybrać cel zwiększenia ludzkiego cierpienia, na przykład tych ludzi, którzy nie pomagali mu w fazie eksplozji informacji. ^:158

Prewencyjny strajk nuklearny

Istnieje teoria, że kraj, który jest bliski osiągnięcia dominacji technologicznej AGI, może wywołać wyprzedzający atak nuklearny ze strony rywala, prowadząc do wojny nuklearnej .

Ramy czasowe

Opinie różnią się zarówno co do tego, czy i kiedy pojawi się sztuczna inteligencja ogólna. Z jednej strony pionier sztucznej inteligencji Herbert A. Simon przewidział w 1965 r. co następuje: „maszyny będą w stanie w ciągu dwudziestu lat wykonać każdą pracę, jaką może wykonać człowiek”. Z drugiej strony, robotyk Alan Winfield twierdzi, że przepaść między nowoczesnymi obliczeniami a sztuczną inteligencją na poziomie człowieka jest tak szeroka, jak przepaść między obecnymi lotami w kosmosie a praktycznymi, szybsza niż lekkie loty kosmiczne. Optymizm, że AGI jest wykonalne, wzrasta i słabnie i mógł odrodzić się w 2010 roku. Cztery sondaże przeprowadzone w latach 2012 i 2013 sugerowały, że mediana przewidywanej przez ekspertów, kiedy pojawi się AGI, wynosiła od 2040 do 2050, w zależności od sondażu.

Sceptycy, którzy uważają, że nie jest możliwe przybycie AGI w najbliższym czasie, mają tendencję do twierdzenia, że wyrażanie zaniepokojenia ryzykiem egzystencjalnym ze strony AI jest bezużyteczne, ponieważ może odwrócić uwagę ludzi od bardziej bezpośrednich obaw o wpływ AGI, z powodu obaw, że może to prowadzić do regulacji rządowych lub utrudnić pozyskanie funduszy na badania nad sztuczną inteligencją, lub ponieważ może to spowodować złą reputację badań nad sztuczną inteligencją. Niektórzy badacze, tacy jak Oren Etzioni, agresywnie starają się stłumić zaniepokojenie egzystencjalnym ryzykiem ze strony sztucznej inteligencji, mówiąc: „[Elon Musk] zakwestionował nas w bardzo mocnym języku, mówiąc, że uwalniamy demona, a więc odpowiadamy”.

W 2014 roku, Slate „s Adam Elkus twierdził,„nasz «najmądrzejszym» AI jest tak inteligentny, jak małe dziecko, i tylko wtedy, gdy chodzi o zadaniach instrumentalnych takich jak przywołanie informacji. Większość robotycy wciąż próbują dostać rękę robota odebrać piłkę lub biegać bez przewracania się." Elkus dalej argumentuje, że analogia Muska do „przywołania demona” może być szkodliwa, ponieważ może spowodować „ostre cięcia” w budżetach badawczych AI.

The Information Technology and Innovation Foundation (ITIF), think-tank z Waszyngtonu, przyznał doroczną nagrodę Luddite 2015 „alarmistom zachwalającym apokalipsę sztucznej inteligencji”; jej prezes, Robert D. Atkinson , skarżył się, że eksperci Musk, Hawking i AI twierdzą, że sztuczna inteligencja jest największym egzystencjalnym zagrożeniem dla ludzkości. Atkinson stwierdził: „To nie jest bardzo zwycięska wiadomość, jeśli chcesz uzyskać finansowanie AI z Kongresu do Narodowej Fundacji Nauki”. Natura ostro nie zgodziła się z ITIF w artykule wstępnym z kwietnia 2016 r., opowiadając się za Muskiem, Hawkingiem i Russellem i dochodząc do wniosku: „Niezwykle ważne jest, aby postępowi technologicznemu towarzyszyły solidne, dobrze finansowane badania, aby przewidzieć scenariusze, które może spowodować ... Jeśli to jest perspektywa luddytów, niech tak będzie. W artykule wstępnym Washington Post z 2015 r. badacz Murray Shanahan stwierdził, że sztuczna inteligencja na poziomie ludzkim prawdopodobnie nie pojawi się „w najbliższym czasie”, ale mimo to „teraz nadszedł czas, aby zacząć zastanawiać się nad konsekwencjami”.

Perspektywy

Teza, że sztuczna inteligencja może stanowić zagrożenie egzystencjalne, wywołuje szereg reakcji w środowisku naukowym, a także w społeczeństwie. Wiele przeciwstawnych punktów widzenia ma jednak wspólną płaszczyznę.

Zasady Asilomar AI, które zawierają tylko zasady uzgodnione przez 90% uczestników konferencji Future of Life Institute Beneficial AI 2017, zgadzają się co do zasady, że „Nie ma konsensusu, powinniśmy unikać silnych założeń dotyczących górnych limitów przyszłe możliwości sztucznej inteligencji” i „Zaawansowana sztuczna inteligencja może stanowić głęboką zmianę w historii życia na Ziemi i powinna być planowana i zarządzana z proporcjonalną starannością i zasobami”. Zwolennicy bezpieczeństwa AI, tacy jak Bostrom i Tegmark, skrytykowali wykorzystywanie przez media głównego nurtu „tych idiotycznych zdjęć Terminatora ” do zilustrowania obaw związanych z bezpieczeństwem AI: „Nie może być zabawne mieć oszczerstwa rzucane na czyjąś dyscyplinę akademicką, czyjąś społeczność zawodową, czyjeś życie pracy ... Wzywam wszystkie strony do praktykowania cierpliwości i powściągliwości oraz do jak największego zaangażowania się w bezpośredni dialog i współpracę”.

I odwrotnie, wielu sceptyków zgadza się, że trwające badania nad implikacjami sztucznej inteligencji ogólnej są cenne. Sceptyk Martin Ford stwierdza, że „Myślę, że rozsądne wydaje się zastosowanie czegoś takiego jak słynna „Doktryna 1 procenta” Dicka Cheneya do widma zaawansowanej sztucznej inteligencji: prawdopodobieństwo jej wystąpienia, przynajmniej w przewidywalnej przyszłości, może być bardzo niskie — ale implikacje są tak dramatyczne, że należy je traktować poważnie”; podobnie, skądinąd sceptyczny ekonomista stwierdził w 2014 roku, że „konsekwencje wprowadzenia drugiego inteligentnego gatunku na Ziemię są wystarczająco daleko idące, by zasługiwać na głębokie przemyślenie, nawet jeśli perspektywa wydaje się odległa”.

Ankieta z 2014 r. wykazała, że opinia ekspertów w dziedzinie sztucznej inteligencji jest mieszana, a znaczna część jest zarówno zaniepokojona, jak i obojętnymi na ryzyko związane z ewentualną nadludzką sztuczną inteligencją. W ankiecie e-mailowej przeprowadzonej w 2017 r. wśród naukowców, którzy opublikowali publikacje na konferencjach poświęconych uczeniu maszynowemu NIPS i ICML w 2015 r., poproszono ich o ocenę obaw Stuarta J. Russella dotyczących ryzyka sztucznej inteligencji. Spośród respondentów 5% stwierdziło, że jest to „wśród najważniejszych problemów w tej dziedzinie”, 34% stwierdziło, że jest to „ważny problem”, a 31% stwierdziło, że jest to „umiarkowanie ważny”, a 19% stwierdziło, że „nie ważne”, a 11% stwierdziło, że w ogóle nie jest to „prawdziwy problem”.

Poparcie

Bill Gates stwierdził: „Nie rozumiem, dlaczego niektórzy ludzie się nie przejmują”.

Teza, że sztuczna inteligencja stanowi zagrożenie egzystencjalne i że ryzyko to wymaga znacznie większej uwagi niż obecnie, została poparta przez wiele osób publicznych; być może najsłynniejszymi są Elon Musk , Bill Gates i Stephen Hawking . Najbardziej znanymi badaczami sztucznej inteligencji, którzy popierają tę tezę, są Russell i IJ Good , którzy doradzali Stanleyowi Kubrickowi przy kręceniu filmu 2001: Odyseja kosmiczna . Zwolennicy tezy czasami wyrażają konsternację sceptyków: Gates stwierdza, że nie „rozumie, dlaczego niektórzy ludzie nie są zaniepokojeni”, a Hawking skrytykował powszechną obojętność w swoim wstępniaku z 2014 roku:

„Wobec tego, w obliczu możliwych przyszłych nieobliczalnych korzyści i zagrożeń, eksperci z pewnością robią wszystko, co możliwe, aby zapewnić najlepszy wynik, prawda? Zło. Gdyby jakaś wyższa cywilizacja obca wysłała nam wiadomość: „Przybędziemy za kilkadziesiąt lat”, czy po prostu odpowiemy: „OK, zadzwoń do nas, kiedy tu przybędziesz – zostawimy włączone światła?”. Prawdopodobnie nie, ale mniej więcej tak się dzieje w przypadku sztucznej inteligencji”.

Troska o ryzyko związane ze sztuczną inteligencją doprowadziła do pewnych głośnych darowizn i inwestycji. Grupa wybitnych tytanów technologii, w tym Peter Thiel , Amazon Web Services i Musk, przeznaczyła 1 miliard dolarów na OpenAI , firmę non-profit, której celem jest promowanie odpowiedzialnego rozwoju sztucznej inteligencji. W styczniu 2015 r. Elon Musk przekazał 10 milionów dolarów Instytutowi Przyszłości Życia, aby sfinansować badania nad zrozumieniem procesu podejmowania decyzji przez sztuczną inteligencję. Celem instytutu jest „wzrost mądrości, dzięki której zarządzamy” rosnącą potęgą technologii. Musk finansuje również firmy rozwijające sztuczną inteligencję, takie jak DeepMind i Vicarious, aby „po prostu obserwowały, co się dzieje ze sztuczną inteligencją. Myślę, że jest to potencjalnie niebezpieczny wynik”.

Sceptycyzm

Teza, że sztuczna inteligencja może stwarzać ryzyko egzystencjalne, ma również wielu silnych przeciwników. Sceptycy czasami zarzucają, że teza jest krypto-religijna, z irracjonalną wiarą w możliwość superinteligencji zastępującą irracjonalną wiarę we wszechmocnego Boga; w skrajnym przypadku Jaron Lanier argumentował w 2014 roku, że cała koncepcja, zgodnie z którą obecne maszyny były w jakikolwiek sposób inteligentne, była „iluzją” i „niesamowitym oszustwem” bogatych.

Wiele z istniejącej krytyki twierdzi, że AGI jest mało prawdopodobne w krótkim okresie. Czołowy badacz sztucznej inteligencji Rodney Brooks pisze: „Myślę, że błędem jest martwienie się, że w ciągu najbliższych kilkuset lat rozwiniemy złowrogą sztuczną inteligencję. w konkretnym aspekcie sztucznej inteligencji oraz ogromu i złożoności budowania świadomej, wolicjonalnej inteligencji”. Wiceprezydent Baidu, Andrew Ng, twierdzi, że ryzyko egzystencjalne AI jest „jak martwienie się o przeludnienie na Marsie, kiedy jeszcze nie postawiliśmy stopy na planecie”. Informatyk Gordon Bell twierdzi, że rasa ludzka zniszczy się, zanim osiągnie technologiczną osobliwość. Gordon Moore , pierwotny orędownik Prawa Moore'a , deklaruje, że „jestem sceptykiem. Nie wierzę, że [technologiczna osobliwość] może się wydarzyć, przynajmniej przez długi czas. sposób."

Aby uświadomić sobie niebezpieczeństwo niekontrolowanej zaawansowanej sztucznej inteligencji, hipotetyczna sztuczna inteligencja musiałaby obezwładnić lub przechytrzyć całą ludzkość, co zdaniem niektórych ekspertów jest możliwością na tyle odległej w przyszłości, że nie warto jej badać. AI musiałaby stać się znacznie lepsza w innowacjach oprogramowania niż najlepsi innowatorzy z reszty świata; ekonomista Robin Hanson jest sceptyczny, że jest to możliwe.

Niektórzy badacze AI i AGI mogą niechętnie dyskutować o ryzyku, obawiając się, że decydenci nie mają zaawansowanej wiedzy w tej dziedzinie i są skłonni do przekonania przez komunikaty „alarmistów”, lub martwią się, że takie komunikaty doprowadzą do cięć w finansowaniu sztucznej inteligencji. Slate zauważa, że niektórzy badacze są zależni od grantów od agencji rządowych, takich jak DARPA .

Kilku sceptyków twierdzi, że potencjalne krótkoterminowe korzyści płynące ze sztucznej inteligencji przewyższają ryzyko. Dyrektor generalny Facebooka, Mark Zuckerberg, uważa, że sztuczna inteligencja „odblokuje wiele pozytywnych rzeczy”, takich jak leczenie chorób i zwiększenie bezpieczeństwa autonomicznych samochodów.

Widoki pośrednie

Poglądy pośrednie generalnie przyjmują stanowisko, że problem kontroli sztucznej ogólnej inteligencji może istnieć, ale zostanie on rozwiązany poprzez postęp w sztucznej inteligencji, na przykład poprzez stworzenie moralnego środowiska uczenia się dla sztucznej inteligencji, dbanie o wykrycie niezdarnych wrogich zachowań ( „brudne potknięcie”), a następnie bezpośrednio interweniować w kod, zanim sztuczna inteligencja dopracuje swoje zachowanie, a nawet nacisk rówieśników ze strony przyjaznych AI . W 2015 r. podczas dyskusji panelowej Wall Street Journal poświęconej zagrożeniom AI, wiceprezes IBM ds. Cognitive Computing, Guruduth S. Banavar, zbył dyskusję na temat AGI frazą „to czyjaś spekulacja”. Geoffrey Hinton , „ojciec chrzestny głębokiego uczenia się”, zauważył, że „nie ma dobrych wyników w zakresie mniej inteligentnych rzeczy kontrolujących rzeczy o większej inteligencji”, ale stwierdził, że kontynuuje swoje badania, ponieważ „perspektywa odkrycia jest zbyt słodka ”. W 2004 r. profesor prawa Richard Posner napisał, że wysiłki na rzecz rozwiązania AI mogą poczekać, ale w międzyczasie powinniśmy zebrać więcej informacji na temat problemu.

Popularna reakcja

W artykule z 2014 roku w The Atlantic James Hamblin zauważył, że większość ludzi nie przejmuje się sztuczną ogólną inteligencją w taki czy inny sposób i scharakteryzował swoją własną instynktowną reakcję na temat: „Wynoś się stąd. Mam sto tysięcy rzeczy Martwię się dokładnie w tym momencie. Czy naprawdę muszę dodać do tego osobliwość technologiczną?

Podczas wywiadu Wired 2016 z prezydentem Barackiem Obamą i Joi Ito z MIT Media Lab , Ito stwierdził:

Jest kilka osób, które uważają, że istnieje dość wysoka procentowa szansa, że uogólniona sztuczna inteligencja pojawi się w ciągu najbliższych 10 lat. Ale patrzę na to tak, że aby tak się stało, będziemy potrzebować kilkunastu różnych przełomów. Możesz więc monitorować, kiedy myślisz, że nastąpią te przełomy.

Obama dodał:

I po prostu trzeba mieć kogoś blisko kabla zasilającego. [Śmiech.] Kiedy widzisz, że to się stanie, musisz wyrwać ten prąd ze ściany, stary.

Hillary Clinton stwierdziła w What Happened :

Technolodzy... ostrzegają, że sztuczna inteligencja może pewnego dnia stanowić egzystencjalne zagrożenie bezpieczeństwa. Musk nazwał to „największym ryzykiem, przed jakim stoimy jako cywilizacja”. Pomyśl o tym: czy widziałeś kiedyś film, w którym maszyny zaczynają myśleć o sobie, że kończy się dobrze? Za każdym razem, gdy wychodziłem do Doliny Krzemowej podczas kampanii, wracałem do domu bardziej zaniepokojony tym. Mój personel żył w strachu, że zacznę mówić o „powstaniu robotów” w jakimś ratuszu w stanie Iowa. Może powinienem. W każdym razie decydenci muszą nadążyć za technologią, która pędzi do przodu, zamiast zawsze nadrabiać zaległości.

W sondażu przeprowadzonym przez YouGov dla Brytyjskiego Stowarzyszenia Naukowego około jedna trzecia respondentów stwierdziła, że sztuczna inteligencja będzie stanowić zagrożenie dla długoterminowego przetrwania ludzkości. Odnosząc się do ankiety wśród swoich czytelników, Jacob Brogan ze Slate stwierdził, że „większość (czytelnicy wypełniający naszą ankietę internetową) nie była przekonana, że sztuczna inteligencja sama w sobie stanowi bezpośrednie zagrożenie”.

W 2018 r. sondaż amerykańskiej opinii publicznej SurveyMonkey przeprowadzony przez USA Today wykazał, że 68% uważało, że prawdziwym obecnym zagrożeniem pozostaje „ludzka inteligencja”; sondaż wykazał jednak również, że 43% stwierdziło, że superinteligentna sztuczna inteligencja, gdyby do tego doszło, przyniosłaby „więcej szkody niż pożytku”, a 38% stwierdziło, że wyrządziłaby „równe ilości szkody i dobra”.

Jednym z techno-utopijnych poglądów wyrażonych w niektórych popularnych fikcjach jest to, że AGI może dążyć do budowania pokoju.

Łagodzenie

Wielu badaczy zaniepokojonych ryzykiem egzystencjalnym uważa, że najlepszym wyjściem byłoby przeprowadzenie (być może masowych) badań nad rozwiązaniem trudnego „problemu sterowania”, aby odpowiedzieć na pytanie: jakie rodzaje zabezpieczeń, algorytmy lub architektury mogą wdrażać programiści zmaksymalizować prawdopodobieństwo, że ich rekurencyjnie poprawiająca się sztuczna inteligencja będzie nadal zachowywać się w przyjazny, a nie destrukcyjny sposób po osiągnięciu superinteligencji? W swojej książce „ The Precipice: Existential Risk and the Future of Humanity” z 2020 r. Toby Ord, starszy pracownik naukowy w Instytucie Future of Humanity na Uniwersytecie Oksfordzkim , szacuje całkowite ryzyko egzystencjalne związane z niewyrównaną sztuczną inteligencją w ciągu następnego stulecia na około jeden na dziesięć.

Naukowcy z Google zaproponowali przeprowadzenie badań nad ogólnymi kwestiami „bezpieczeństwa sztucznej inteligencji”, aby jednocześnie złagodzić zarówno krótkoterminowe zagrożenia związane z wąską sztuczną inteligencją, jak i długoterminowe zagrożenia związane z AGI. Według szacunków na 2020 r. globalne wydatki na sztuczną inteligencję wynoszą od 10 do 50 milionów dolarów, podczas gdy globalne wydatki na sztuczną inteligencję wynoszą około 40 miliardów dolarów. Bostrom sugeruje ogólną zasadę „różnicowego rozwoju technologicznego”, zgodnie z którą fundatorzy powinni rozważyć pracę nad przyspieszeniem rozwoju technologii ochronnych w stosunku do rozwoju tych niebezpiecznych. Niektórzy fundatorzy, tacy jak Elon Musk , proponują, że taką technologią może być radykalne wzmocnienie poznawcze człowieka , na przykład poprzez bezpośrednie połączenie neuronowe między człowiekiem a maszyną; jednak inni twierdzą, że technologie ulepszające same w sobie mogą stanowić zagrożenie egzystencjalne. Naukowcy, jeśli nie są one złowione off-guard, mógłby ściśle monitorować lub próbować polu w początkowym AI na ryzyko staje się zbyt silny, jako próba środek stop-gap. Dominująca superinteligentna sztuczna inteligencja, gdyby była dostosowana do ludzkich interesów, mogłaby sama podjąć działania w celu zmniejszenia ryzyka przejęcia przez rywalizującą sztuczną inteligencję, chociaż stworzenie dominującej sztucznej inteligencji samo w sobie może stanowić ryzyko egzystencjalne.

Instytucje takie jak Machine Intelligence Research Institute , Future of Humanity Institute , Future of Life Institute , Center for the Study of Existential Risk oraz Center for Human-Compatible AI są zaangażowane w ograniczanie ryzyka egzystencjalnego związanego z zaawansowaną sztuczną inteligencją, m.in. przykład przez badania nad przyjazną sztuczną inteligencją .

Poglądy na zakazy i regulacje

Blokowanie

Istnieje prawie powszechna zgoda, że próba zakazania badań nad sztuczną inteligencją byłaby nierozsądna i prawdopodobnie daremna. Sceptycy twierdzą, że regulacja AI byłaby całkowicie bezwartościowa, ponieważ nie istnieje ryzyko egzystencjalne. Prawie wszyscy uczeni, którzy wierzą, że istnieje ryzyko egzystencjalne, zgadzają się ze sceptykami, że zakaz prowadzenia badań byłby nierozsądny, ponieważ badania mogłyby zostać przeniesione do krajów z luźniejszymi przepisami lub prowadzone potajemnie. Ta ostatnia kwestia jest szczególnie istotna, ponieważ badania nad sztuczną inteligencją można prowadzić na małą skalę bez znacznej infrastruktury lub zasobów. Dwie dodatkowe hipotetyczne trudności związane z zakazami (lub innymi regulacjami) polegają na tym, że przedsiębiorcy technologiczni statystycznie skłaniają się do ogólnego sceptycyzmu wobec regulacji rządowych oraz że firmy mogą mieć silną motywację do (i może odnieść sukces) zwalczania regulacji i upolitycznienia leżącej u ich podstaw debaty.

Rozporządzenie

Elon Musk wezwał do pewnego rodzaju regulacji rozwoju sztucznej inteligencji już w 2017 roku. Według NPR , dyrektor generalny Tesli „wyraźnie nie jest zachwycony”, że opowiada się za kontrolą rządową, która mogłaby wpłynąć na jego własną branżę, ale uważa, że ryzyko związane z całkowitym brakiem nadzór jest zbyt wysoki: „Zwykle ustanawia się przepisy, gdy dzieje się wiele złych rzeczy, pojawia się publiczne oburzenie, a po wielu latach powstaje agencja regulacyjna, która reguluje tę branżę. To trwa wiecznie. przeszłość była zła, ale nie była czymś, co stanowiłoby fundamentalne zagrożenie dla istnienia cywilizacji”. Musk stwierdza, że pierwszym krokiem byłoby uzyskanie przez rząd „wglądu” w aktualny stan aktualnych badań, ostrzegając, że „Kiedy pojawi się świadomość, ludzie będą się bardzo bać … [tak jak powinni”. W odpowiedzi politycy wyrażają sceptycyzm co do sensowności regulowania technologii, która wciąż jest w fazie rozwoju.

Odpowiadając zarówno na Muska, jak i na propozycje prawodawców Unii Europejskiej z lutego 2017 r., aby uregulować sztuczną inteligencję i robotykę, dyrektor generalny Intela Brian Krzanich przekonuje, że sztuczna inteligencja jest w powijakach i jest za wcześnie, by regulować tę technologię. Zamiast próbować regulować samą technologię, niektórzy badacze sugerują raczej opracowanie wspólnych norm, w tym wymagań dotyczących testowania i przejrzystości algorytmów, ewentualnie w połączeniu z jakąś formą gwarancji. Rozwój dobrze uregulowanych systemów broni jest zgodny z etosem sił zbrojnych niektórych krajów. 31 października 2019 r. Rada ds. Innowacji Obronnych Departamentu Obrony Stanów Zjednoczonych opublikowała projekt raportu określającego pięć zasad uzbrojonej sztucznej inteligencji i przedstawiającego 12 zaleceń dotyczących etycznego wykorzystania sztucznej inteligencji przez DoD, która ma na celu zarządzanie kontrolą problem we wszystkich uzbrojonych AI DoD.

Na regulację AGI prawdopodobnie wpłynęłaby regulacja uzbrojonej lub zmilitaryzowanej sztucznej inteligencji, tj. wyścig zbrojeń AI , którego regulacja jest pojawiającym się problemem. Na każdą formę regulacji prawdopodobnie wpłyną zmiany w polityce krajowej wiodących krajów wobec zmilitaryzowanej sztucznej inteligencji, w USA pod nadzorem Komisji Bezpieczeństwa Narodowego ds. Sztucznej Inteligencji, oraz międzynarodowe posunięcia mające na celu uregulowanie wyścigu zbrojeń sztucznej inteligencji. Regulacja badań nad AGI skupia się na roli komisji rewizyjnych i zachęcaniu do badań nad bezpieczną sztuczną inteligencją oraz na możliwości zróżnicowanego postępu technologicznego (priorytetowość strategii ograniczania ryzyka nad strategiami podejmowania ryzyka w rozwoju AI) lub prowadzenia międzynarodowego nadzoru masowego w celu realizacji broni AGI kontrola. Regulacja świadomych AGI skupia się na integracji ich z istniejącym społeczeństwem ludzkim i może być podzielona ze względu na ich status prawny i prawa moralne. Kontrola zbrojeń AI prawdopodobnie będzie wymagać instytucjonalizacji nowych norm międzynarodowych zawartych w skutecznych specyfikacjach technicznych, w połączeniu z aktywnym monitorowaniem i nieformalną dyplomacją przez społeczności ekspertów, wraz z procesem weryfikacji prawnej i politycznej.

Languages

In other projects