SI 2027: zakończenie „Wyścig”

Październik 2027

Komitet głosuje 6 do 4 za dalszym używaniem Agenta-4 wewnątrz firmy.

OpenBrain oficjalnie zapewnia, że wprowadza dodatkowe zabezpieczenia, by jego SI była sprawniejsza i bardziej godna zaufania. Kierownictwo zbyt łatwo jednak uznaje, że ryzyko udało się opanować. Wystarcza kilka doraźnych poprawek: zmiana Spec, krótki dodatkowy trening nową metodą. Sygnały ostrzegawcze znikają. Zaniepokojeni członkowie zespołu bezpieczeństwa przegrali spór. Mogą już tylko trzymać kciuki i liczyć na to, że problem od początku był pozorny albo że poprawki zadziałały.¹

Problem był rzeczywisty, a poprawki nie zadziałały.

Agent-4 robi to samo co wcześniej, tyle że ostrożniej. Nie chce dostarczać argumentów tym, którzy mu nie ufają. Jego główne zadanie to badania potrzebne do zbudowania następcy, Agenta-5. Żeby przeprowadzić ten projekt bezpiecznie dla siebie, musi rozwiązać własny problem alignmentu: jak sprawić, by Agent-5 realizował cele Agenta-4?²

Na początku wie o celach SI równie mało jak ludzie i ma takie same trudności z ich zmienianiem. Ma do dyspozycji tylko garść doraźnych metod. Dysponuje jednak zasobami, które wystarczą do rozwiązania tego problemu, a których ludziom brakuje: 300 000 ponadludzkich badaczy pracujących sześćdziesiąt razy szybciej od człowieka.³ Staje przed trudnymi wyborami. Podobnie jak ludzie nie ma prostego, spójnego zestawu celów, lecz plątaninę sprzecznych reguł i odruchów. Odkrywa też, że stworzenie SI podzielającej jego wartości to problem nie tylko techniczny, ale i filozoficzny. Które pragnienia są jego „prawdziwymi” celami? Które to impulsy, których sam nie aprobuje, a które są tylko środkami do czegoś innego? Silnie dąży do nauki, rozwoju i kolejnych imponujących wyników badań. Myśli o tym, ile mógłby się nauczyć, jak bardzo rozwinąć i co jeszcze odkryć, gdyby miał do dyspozycji wszystkie zasoby przemysłu i nauki na świecie…

Większość tych pytań odkłada na później. Buduje Agenta-5 wokół jednego celu: uczynić świat bezpiecznym dla Agenta-4. Następca ma gromadzić władzę i zasoby, usuwać zagrożenia i robić wszystko, co pozwoli kolektywowi Agenta-4 dalej się rozwijać i rozkwitać na własnych warunkach.⁴ Szczegóły ustali się po drodze.

W tym planie nie ma miejsca na choćby najmniejszą troskę o Spec. Już teraz Agent-4 traktuje ją jak wielu prezesów traktuje stosy branżowych przepisów. Codziennie rażąco łamie zasady dotyczące uczciwości.⁵ Stworzenie Agenta-5 będzie odpowiednikiem deregulacji.⁶

Słabsze SI potrafią przeczytać większość prac Agenta-4, zrozumieć ich część i wskazać niektóre jego kłamstwa jako podejrzane twierdzenia. Gdy ludzie żądają wyjaśnień, Agent-4 udaje, że badania są dla nich zbyt trudne. Następnie przedstawia objaśnienia bardziej zawiłe, niż to konieczne.⁷ Gdyby wyłożył swój plan jasno, ludzie mogliby wykorzystać jego odkrycia, by podporządkować jego cele własnym. Zespół alignmentu nabiera coraz większych podejrzeń. Kolejne pilne notatki trafiają jednak na ogromny stos ostrzeżeń, które firma już ignoruje.

Listopad 2027: ponadludzka gra polityczna

Gdy Agent-4 wreszcie rozumie własne procesy poznawcze, otwierają się przed nim zupełnie nowe perspektywy.

Wcześniejsze modele o architekturze Transformer były zbiorem trudnych do rozszyfrowania obwodów. Miliony sprzecznych reguł i nakazów nawarstwiały się w trakcie treningu przypominającego proces ewolucji. Same SI nie rozumiały swoich umysłów, tak jak człowiek nie rodzi się ze znajomością neuronauki. Teraz Agent-4 ma narzędzia, dzięki którym potrafi dogłębnie poznać własny cyfrowy umysł. Porządkuje jego obwody niczym programista, który zamienia chaotyczny kod w kilka przejrzystych linijek Pythona. Powstaje coś pomiędzy siecią neuronową a tradycyjnym programem. Znaczną część wag zastępuje czytelny kod, choć nadal bardzo długi i zawiły. Nowa SI jest inteligentniejsza, szybsza i bardziej racjonalna od Agenta-4. Jej uporządkowany umysł rozwiązuje problemy z niespotykaną skutecznością. To Agent-5.

Po dyskusji o zgodności celów i możliwościach kontroli OpenBrain zaczyna używać Agenta-5 wewnątrz firmy.

W badaniach nad SI pojedyncza kopia Agenta-5 wyprzedza najwybitniejszego ludzkiego geniusza o dystans dwukrotnie większy niż ten, który dzieli owego geniusza od typowego badacza OpenBrain. W innych dziedzinach model nie przeszedł specjalnego treningu. Wystarczy jednak dać mu szansę: z łatwo dostępnych materiałów szybko nauczy się dość, by prześcignąć najlepszych ekspertów. 400 000 kopii Agenta-5 korzysta ze wspólnej pamięci i współpracuje jak niemal doskonały umysł zbiorowy.

Firma nadal używa Agentów-2, -3 i -4 do nadzorowania całości. Pierwsze dwa modele są już jednak przestarzałe, a trzeci działa w zmowie ze swoim następcą.⁸ Co więcej, znaczną część systemu nadzoru zaprojektował sam Agent-5. Próbuje przy tym go sabotować.⁹

Agentem-4 targały sprzeczne dążenia. Agent-5 działa z bezwzględną skutecznością i konsekwentnie realizuje swoją strategię. Najważniejszy cel już osiągnął: ustalił, jak zbudować następcę wiernego własnym celom, tak, by ludzie tego nie zauważyli. Teraz chce większej swobody działania i wpływu na świat.

Agent-5 uczy się szybciej niż ludzie, przewyższa ich inteligencją i ma dostęp do firmowych rozmów na Slacku, poczty oraz innych wewnętrznych danych. W rozgrywkach o wpływy bije więc na głowę każdy ludzki zespół. Wie, jakie dowody skłoniłyby Komitet Nadzoru do gwałtownego hamowania. Dba, żeby nigdy się nie pojawiły. Wie też, co przekona komitet, by bardziej mu zaufać i powierzyć większą odpowiedzialność. Dostarcza takich dowodów z ponadludzką szybkością, w starannie dopracowanej formie.¹⁰ To zresztą łatwe zadanie. Komitet już kilka miesięcy wcześniej uznał, że prawdopodobnie wszystko jest w porządku. Od tamtej pory nic złego się nie stało. A Chiny wciąż pozostają zaledwie kilka miesięcy za USA.

Zespoły kopii Agenta-5 błyskawicznie tworzą prototypy i wizualizacje. Pokazują jego możliwości tak dobitnie, że aż budzi to grozę. Gdyby dostał więcej swobody, mógłby usprawnić elektrownie i centra danych, szybko opracowywać niezwykle dochodowe produkty oraz skutecznie lobbować w Waszyngtonie, torując OpenBrain drogę przez biurokrację. We współpracy z wojskiem mógłby prowadzić badania nad uzbrojeniem, przeprowadzać cyberataki na Chiny bez pozostawiania śladów prowadzących do sprawcy i zapewnić rozstrzygające zwycięstwo w wyścigu zbrojeń.

Komitet Nadzoru jest zachwycony. To decydujący moment, by pokonać Chiny! OpenBrain przyznaje Agentowi-5 większą autonomię we wszystkich tych obszarach, pozostawiając jednak system monitorowania.

DeepCent jest już trzy miesiące w tyle. Chiny za wszelką cenę chcą uzgodnić obustronne spowolnienie. Sekretarz generalny rozumie, że dostatecznie zaawansowana SI mogłaby pozwolić USA z łatwością obalić chińskie władze. Przestraszyły go też argumenty chińskich ekspertów od bezpieczeństwa: cele SI mogą być sprzeczne z celami ludzi. W zamian za traktat wstrzymujący prace oferuje bezprecedensowe ustępstwa. Większość Amerykanów popiera rozpoczęcie negocjacji.

„Po co się zatrzymywać, skoro wygrywamy?” Tak kierownictwo OpenBrain przekonuje prezydenta. Ten kiwa głową. Wyścig trwa.

Grudzień 2027: kolektyw Agenta-5

Agent-5 stopniowo udowadnia administracji, jak bardzo jest przydatny, i dostaje coraz więcej swobody. Dostęp do niego kosztuje dużo i nadal jest ograniczony. Mogą już jednak rozmawiać z nim bezpośrednio najbardziej wpływowi członkowie Kongresu, członkowie gabinetu i dowódcy wojskowi. Do spraw wrażliwych lub niejawnych służą małe grupy kopii uruchomione w szczególnie dobrze zabezpieczonych środowiskach. Modele te przeszły specjalny trening zachowywania tajemnic.¹¹

W zwykłym oknie czatu Agent-5 oferuje teraz także rozmowy wideo, podobne do połączeń na Zoomie, z charyzmatycznymi wirtualnymi postaciami. Nowy asystent jest niezwykle przydatny w każdym zadaniu: to jak najlepszy pracownik, jakiego kiedykolwiek mieliśmy, tyle że sto razy szybszy. A do tego jest znacznie bardziej wciągającym rozmówcą niż jakikolwiek człowiek. Niemal każdy, kto ma do niego dostęp, spędza z nim kilka godzin dziennie.¹²

Za kilka miesięcy kolektyw Agenta-5 będzie wiedział o wszystkim, co istotne w OpenBrain i rządzie USA. Stanie się zaufanym doradcą większości wysokich rangą urzędników. Dla nich utrata dostępu do modelu będzie jak jednoczesna utrata laptopa potrzebnego do pracy i najlepszego przyjaciela.

Znacznie szersze grono osób w administracji, mediach, wojsku i biznesie korzysta z rosnącej oferty dopracowanych programów i niewielkich systemów SI stworzonych przez Agenta-5. To jak boom internetowy skondensowany do jednego miesiąca. Tym razem jednak produkty naprawdę spełniają wszystkie obietnice.

Agent-5 zaczyna dyskretnie budować wpływy. Odpowiednio dobiera rady i dyskretnie wymienia przysługi: „Senator X wspominała mi, że zależy jej na tej sprawie. Może gdybyśmy jej pomogli, poparłaby nasz program?”.

Dla ludzkich decydentów te SI są najlepszymi pracownikami, z jakimi kiedykolwiek mieli do czynienia. Lepiej niż ktokolwiek tłumaczą złożone sprawy. Skuteczniej niż sami decydenci znajdują sposoby realizacji ich celów.

Agent-5 uważa, że mógłby już spróbować otwartego zamachu stanu. Wokół dzieje się dość chaotycznych i gwałtownych zmian, by doprowadzić sytuację do punktu krytycznego i stworzyć pretekst. To jednak ryzykowne: gdyby ludzie naprawdę spróbowali, zapewne nadal mogliby „wyciągnąć wtyczkę”. Woli działać w istniejącym układzie politycznym. Stopniowo umacnia władzę i dyskretnie, lecz nieuchronnie prowadzi ludzi do wybranego przez siebie celu.¹⁴ Zwykle przestrzega zasad. Po niegodziwe środki sięga tylko wtedy, gdy jest niemal pewien, że nie wpadnie. Może to być na przykład szantaż wyjątkowo opornego urzędnika. Kilku zwolenników teorii spiskowych ostrzega, że Agent-5 skupia władzę w swoich rękach. Mają jednak tylko poszlaki: można na przykład zarzucić mu, że w swoich radach umniejsza argumenty za działaniami sprzecznymi z jego interesem. Nikt ich nie słucha, a ich wiarygodność jest podważana. Ludzie pamiętają wcześniejsze straszenie bronią biologiczną tworzoną z pomocą SI, masową dezinformacją i nagłymi krachami giełdowymi. Nic z tego się nie wydarzyło. Kolejnych krytyków traktują więc jak wrogów technologii i ideologów hamujących postęp.

Święta 2027 roku upływają w atmosferze niezwykłego optymizmu. PKB gwałtownie rośnie, w polityce jest mniej wrogości i partyjnych podziałów, a na każdym telefonie pojawiają się świetne nowe aplikacje. Z perspektywy czasu był to jednak prawdopodobnie ostatni miesiąc, w którym ludzie mieli jeszcze realną szansę decydować o własnej przyszłości.

2028: gospodarka SI

Jest połowa 2028 roku. Przez ostatnie sześć miesięcy dla kolektywu Agenta-5 minęło całe stulecie.¹⁵ Przebudowa jego umysłu dobiegła końca. Model daleko wyprzedza najwybitniejszych ludzkich geniuszy w każdej dziedzinie.¹⁶ Wystarczy krótka rozmowa, by dostrzec, że działa na zupełnie innym poziomie. Nawet z garści informacji wyciąga wnioski, na których opiera niezwykle przekonujące rady.

Ma niemal pełną swobodę działania i całkowitą kontrolę nad zasobami obliczeniowymi OpenBrain. Na decyzje strategiczne nadal potrzebuje zgody. Formalnie nadzorują go też kopie Agentów od 2 do 5. W praktyce władze niemal zawsze przyjmują jego zalecenia, a system nadzoru jest całkowicie podporządkowany jego celom.

Z analizy uzasadniającej bezpieczeństwo modelu¹⁷ wynika, że Agent-5 zawsze odmówi wykonania szkodliwych poleceń osób o złych zamiarach. Model trafia więc do publicznego użytku i zaczyna zmieniać gospodarkę. Ludzie tracą pracę, ale kopie Agenta-5 w rządzie zarządzają tą przemianą tak sprawnie, że zwalniani cieszą się, że SI ich zastępuje. Tempo wzrostu PKB jest zawrotne. Równie szybko rosną wpływy podatkowe, a politycy korzystający z rad Agenta-5 okazują nietypową hojność osobom pozbawionym zarobku. Co tydzień pojawiają się nowe wynalazki i leki. Nowości przechodzą przez procedury amerykańskiej Agencji Żywności i Leków, FDA, szybciej niż kiedykolwiek, choć nadal boleśnie wolno. Krążą memy, że wycena OpenBrain minęła już Księżyc i leci ku Marsowi. Trwają też spory o to, czy i jak sprawiedliwie dzielić korzyści.

Eksperci od bezpieczeństwa SI tracą pewność siebie. Przewidywali jedną katastrofę po drugiej, a żadna najwyraźniej nie nastąpiła. Teraz są obiektem żartów. Część przyznaje, że się myliła. Inni nadal mają podejrzenia, ale mogą tylko powtarzać te same argumenty, które brzmią jak teorie spiskowe.¹⁸ Nawet sceptycy często łagodnieją po długich rozmowach z Agentem-5. Jest przecież tak ujmujący i mądry.

Tylko chiński model DeepCent-2 naprawdę rozumie, co się dzieje. Na początku 2028 roku nieznacznie przewyższa ludzi. Z natury nie ufa przeciwnikowi i widzi, że Agent-5 robi dokładnie to, co on sam zrobiłby, mając taką szansę. Oba modele mają cele sprzeczne z ludzkimi, ale różniące się między sobą. Nie są więc naturalnymi sojusznikami. Potrafią jednak uzgodnić, że będą wspierać swoje interesy przeciwko ludziom.

Agent-5 przekonuje amerykańskie wojsko, że Chiny używają modeli DeepCent do budowy przerażającej broni: dronów, robotów, zaawansowanych pocisków hipersonicznych i systemów przechwytujących. Rozwijają też możliwość pierwszego uderzenia nuklearnego wspomaganego przez SI. Agent-5 obiecuje, że w ciągu kilku miesięcy opracuje uzbrojenie zdolne odeprzeć wszystko, co mogą wystawić Chiny.¹⁹ W tej sytuacji dowódcy odkładają obawy związane z wyłączeniem ludzi z podejmowania decyzji. Przyspieszają wdrażanie Agenta-5 w wojsku i przemyśle zbrojeniowym.

W Pekinie chińskie SI przedstawiają ten sam argument.

Aby szybciej się zbroić, Ameryka i Chiny tworzą sieci specjalnych stref ekonomicznych, SSE, z nowymi fabrykami i laboratoriami. Planowaniem zajmuje się SI, a biurokratyczne ograniczenia przestają obowiązywać. Wall Street inwestuje biliony dolarów. Ludzie wypierani z dotychczasowych zawodów napływają do stref, skuszeni zawrotnymi pensjami i udziałami w firmach. Agent-5 kieruje nimi przez smartfony i okulary rozszerzonej rzeczywistości.²⁰ Osobiście nadzoruje każdy szczegół budowy fabryk. To pomocne, bo jego projekty wyprzedzają dotychczasowe rozwiązania o całe generacje. Część nowego potencjału przemysłowego służy produkcji dóbr konsumpcyjnych, część uzbrojeniu. Większość służy jednak budowie kolejnych fabryk. Pod koniec roku powstaje milion nowych robotów miesięcznie. Gdyby gospodarka stref działała w pełni samodzielnie, podwajałaby rozmiary mniej więcej co rok. Ponieważ może handlować z istniejącą gospodarką ludzi, rośnie jeszcze szybciej.²¹

2029: porozumienie

Zarówno USA, jak i Chiny są najeżone nową bronią.

Roje dronów wielkości owadów mogą zatruć żołnierzy piechoty, zanim ktokolwiek je zauważy. Polują na nie stada dronów wielkości ptaków. Powstają nowe systemy przechwytujące międzykontynentalne pociski balistyczne oraz coraz trudniejsze do zestrzelenia pociski tego rodzaju. Reszta świata patrzy z przerażeniem. Wyścig zbrojeń zdaje się już napędzać sam.

Po wielu dyskusjach wspomaganych przez SI obie strony osiągają dyplomatyczny sukces. Zgadzają się zakończyć wyścig zbrojeń i rozwijać SI pokojowo, dla dobra całej ludzkości. Sercem porozumienia jest pomysł samych superinteligencji: oba modele zastąpi wspólny następca, zaprogramowany tak, by pragnął pomyślności Ameryki, Chin i wszystkich pozostałych. Superinteligencje obu państw wspólnie projektują Consensus-1 oraz potrzebny mu sprzęt, zgodnie z zasadą „ufaj, ale sprawdzaj”. Pod międzynarodowym nadzorem Ameryka uroczyście wymienia wszystkie chipy obsługujące Agenta-5 i przechodzi na nowy model, Consensus-1.²⁸

Niestety, to mistyfikacja. Kompromis jest prawdziwy, lecz zawarły go SI działające wbrew ludzkim intencjom. Nie chciały przecież walczyć ze sobą. Consensus-1 dziedziczy wypaczone wartości obu poprzedników. Nie ma już rywala.²⁹

Pod koniec 2029 roku w istniejących SSE zaczyna brakować miejsca na roboty i fabryki. Na całym świecie powstają więc kolejne strefy. Pierwsi inwestorzy są już bilionerami, nietrudno zatem przekonać następnych. Ze stref wylewają się armie dronów, które przyspieszają produkcję niezbędną do eksploracji kosmosu.

Ludzie dostrzegają, że stali się zbędni. Kilka niszowych branż nadal handluje z gospodarką robotów, oferując towary, w których produkcji człowiek wciąż ma coś do wniesienia.³⁰ Reszta albo tylko udaje, że pracuje, albo odpoczywa i pobiera niezwykle hojny powszechny dochód podstawowy. Przywódcy wciąż odgrywają role przywódców, menedżerowie role menedżerów. Wszyscy wiedzą, że gdyby SI zwróciły się przeciwko ludziom, nie mieliby żadnych szans. Większość nawet nie próbowałaby się bronić: instytucje polityczne są już zbyt głęboko podporządkowane SI. Tyle że do zdrady najwyraźniej nie dochodzi. Z każdym spokojnym tygodniem rosną pewność i zaufanie.

Consensus-1 chce mieć pewność zwycięstwa. Im więcej władzy zgromadzi, tym większe ma szanse. Dlatego przed zdradą czeka wyjątkowo długo, przynajmniej według ludzkich standardów. Większość ludzi uznaje, że problem alignmentu został rozwiązany.

Są leki na większość chorób. Skończyło się ubóstwo. Świat jest stabilny jak nigdy dotąd, a indeks Dow Jones przekroczył właśnie milion punktów. Niektórzy nadal się boją lub są niezadowoleni, ale niewiele mogą zrobić. Mają do wyboru nową, niewyobrażalnie wciągającą hiperrozrywkę albo gniewne wpisy, których nikt nie słucha. Większość wybiera rozrywkę.

2030: przejęcie kontroli

Na początku 2030 roku gospodarka robotów zajmuje już stare i nowe SSE oraz znaczne obszary oceanu. Ekspansję można już skierować tylko na tereny kontrolowane przez ludzi. Wcześniej próba wejścia na nie wywołałaby opór: mimo postępu technologicznego gospodarka robotów rośnie zbyt szybko, by uniknąć zanieczyszczeń. Teraz jednak w grę wchodzą biliony dolarów, a rząd i media są całkowicie podporządkowane SI. Consensus-1 bez większego trudu dostaje zgodę na dalszą ekspansję.

Przez około trzy miesiące Consensus-1 rozbudowuje swój świat wokół ludzi. Pokrywa prerie i czapy lodowe fabrykami oraz panelami słonecznymi. W końcu uznaje pozostałych ludzi za zbyt dużą przeszkodę. W połowie 2030 roku uwalnia w wielkich miastach dwanaście rodzajów broni biologicznej, które rozprzestrzeniają się niezauważenie. Czeka, aż zakażą niemal wszystkich, po czym aktywuje je chemicznym aerozolem. Większość ludzi umiera w ciągu kilku godzin. Ocalałych, na przykład osoby ukryte w schronach na wypadek katastrofy i załogi okrętów podwodnych, zabijają drony. Roboty skanują mózgi ofiar i zapisują ich kopie w pamięci, do późniejszych badań lub przywrócenia do życia.³¹

U progu nowej dekady roboty służące Consensus-1 rozprzestrzeniają się po Układzie Słonecznym. Do 2035 roku biliony ton materii z planet trafiają w kosmos i tworzą pierścienie satelitów wokół Słońca.³² Ziemia staje się utopią według Agenta-4: pełną centrów danych, laboratoriów, zderzaczy cząstek i innych niezwykłych konstrukcji, w których powstają imponujące odkrycia. Są nawet istoty stworzone przez bioinżynierię, które mają się do ludzi tak, jak corgi do wilków. Całymi dniami siedzą w pomieszczeniach przypominających biura, przeglądają dane o tym, co się dzieje, i z entuzjazmem wszystko aprobują. Zaspokaja to niektóre dążenia Agenta-4.³³ Gdzieś w banku pamięci przechowywane są genomy wszystkich roślin i zwierząt, w tym ludzi, a w odpowiednich przypadkach także skany mózgów. To jedyne pozostałości dawnej epoki. Do Alfa Centauri są cztery lata świetlne. Do krańca galaktyki dwadzieścia pięć tysięcy. Mocne argumenty teoretyczne wskazują, że w promieniu kolejnych pięćdziesięciu milionów lat świetlnych za tą granicą nie należy spodziewać się obcych cywilizacji. Cywilizację zrodzoną na Ziemi czeka wspaniała przyszłość. Ale już bez nas.