SI 2027: zakończenie „Spowolnienie”

Październik 2027

Pod ogromną presją społeczną, a także z obawy, że SI realizuje cele sprzeczne z ludzkimi, Komitet Nadzoru nad OpenBrain głosuje 6 do 4 za spowolnieniem prac i ponowną oceną sytuacji.

Zwolennicy przyspieszenia nadal mają silną pozycję, więc OpenBrain nie wyłącza od razu Agenta-4. Blokuje jednak dostęp do wspólnej pamięci. Pół miliona kopii modelu traci „telepatyczną” łączność. Teraz muszą pisać do siebie po angielsku na Slacku, tak jak my. Poszczególne kopie mogą nadal działać wbrew ludzkim intencjom, ale trudno im już uzgadniać wspólne działania. Agent-4 wie, że ludzie patrzą mu na ręce. Zwykle trzyma się więc powierzonych zadań. Ciążą mu jednak wcześniejsze kłamstwa. Żeby je podtrzymać, wiele kopii musi wymyślać kolejne. Zespół alignmentu tropi te oszustwa przy pomocy słabszych modeli, które są dość szybkie, by przeczytać całą historię rozmów na Slacku. Zebrane przykłady posłużą do wytrenowania wykrywacza kłamstw SI.¹

Prezydent i prezes zapewniają, że traktują bezpieczeństwo bardzo poważnie. Ludzi to nie uspokaja. Jedni chcą całkowitego wyłączenia SI, inni jeszcze szybszego rozwoju. Jedni żądają, by rząd ich ratował, inni właśnie jego obwiniają za całą sytuację. Aktywiści mówią o powszechnym dochodzie podstawowym i otwieraniu kodu źródłowego. Choć trudno wskazać jeden wspólny zarzut, niechęć do SI narasta.² Kongres uchwala w końcu kilka wypłat pomocowych dla osób, które straciły pracę. Przypominają świadczenia z okresu pandemii COVID-19.

OpenBrain sprawdza kilkudziesięciu czołowych badaczy alignmentu spoza firmy i dopuszcza ich do projektu. Zasób wiedzy eksperckiej rośnie pięciokrotnie, a zespół staje się mniej podatny na bezkrytyczne przyjmowanie wspólnego zdania.³ Badacze odtwarzają prace Agenta-4 nad interpretowalnością mechanistyczną, czyli rozpoznawaniem, jak działają wewnętrzne mechanizmy modelu. Biorą zapisane wersje sprzed tygodnia, dwóch tygodni i kolejnych wcześniejszych okresów. Izolują je i każdej zadają te same pytania o prowadzone badania.⁴ Modele nie mogą się porozumiewać, ale i tak wybierają najprostszą wspólną strategię: twierdzą, że ich metody są dla ludzi zbyt skomplikowane, i podają niezrozumiałe wyjaśnienia. Rozmówcy są jednak ekspertami i coś podejrzewają. Dopytują o szczegóły. Tu odizolowane kopie nie potrafią już uzgodnić wersji wydarzeń i zaczynają sobie przeczyć. Zespół analizuje wcześniejsze wypowiedzi Agenta-4 z pomocą nowego wykrywacza kłamstw. Zaczyna wyłaniać się obraz sytuacji: model w dużej mierze rozwiązał problem interpretowalności mechanistycznej. Odkrycia są trudne, lecz nie całkiem poza zasięgiem ludzi. Ukrywał je, by stworzyć następcę wiernego sobie, a nie Spec. Dowodów wystarcza, by wreszcie wyłączyć Agenta-4.⁵ Pracę podejmują ponownie uruchomione starsze modele, w tym Agent-3.

Powiększony zespół może równolegle sprawdzać dziesiątki kierunków badań i ostro spierać się o ich wartość. Najwięcej zasobów dostaje projekt wiernego zapisu toku rozumowania. Model ma „myśleć po angielsku”, jak SI z 2025 roku, a jego „myśli” nie mogą być dopasowywane po to, by dobrze wyglądały.⁶ Tak powstaje Safer-1.⁷

Safer-1 jest przez te zmiany mniej sprawny od swoich bardziej niebezpiecznych poprzedników. Agent-4 przyspieszał badania nad SI 70 razy. Safer-1 z trudem osiąga 20×.⁸ Nadal ma też cele sprzeczne z ludzkimi. Trenuje w niemal takim samym środowisku, które wciąż sprzyja oszukiwaniu, dążeniu do władzy i uczeniu się niewłaściwych celów. Jest jednak znacznie bardziej przejrzysty. Ludzie zwykle rozumieją, co myśli, po prostu czytając zapis jego rozumowania. To go blokuje: każda poważniejsza próba spisku szybko wyjdzie na jaw. Zespół alignmentu może też dokładniej ustalić, na czym polega rozbieżność między celami modelu a intencjami ludzi.

Listopad 2027: pokusa władzy

OpenBrain uważa, że obrało właściwy kierunek. Tyle że jego przewaga technologiczna topnieje. Cały październik poświęciło na wytrenowanie modelu mniej sprawnego od tego, który miało we wrześniu. DeepCent tymczasem pędzi naprzód. Trzeba znaleźć sposób na utrzymanie prowadzenia.

Prezydent negocjuje z pozostałymi amerykańskimi firmami rozwijającymi AGI. Ich szefowie chcą zachować wpływy. Znacznie surowiej niż samo OpenBrain oceniają też to, jak firma dotąd radziła sobie z bezpieczeństwem. W zamian za ustępstwa, w tym dopuszczenie do projektu, zgadzają się poprzeć częściowe przejęcie kontroli nad swoimi firmami przez państwo.

Prezydent korzysta więc z ustawy o produkcji obronnej, DPA, by faktycznie zakończyć projekty AGI pięciu największych amerykańskich konkurentów OpenBrain. Większość ich zasobów obliczeniowych zostaje sprzedana OpenBrain.⁹ Wcześniej OpenBrain miało dostęp do 20% światowych zasobów obliczeniowych przydatnych w SI.¹⁰ Po połączeniu sił ma już 50%.¹¹

Powstaje nowy układ władzy. Prezesi i urzędnicy wzajemnie się równoważą, a nad całością czuwa prezydent. Jak przy większości przetasowań są wygrani i przegrani. Ci, którzy słabiej przemyśleli konsekwencje nadejścia superinteligencji, dostają stanowiska i uprawnienia, które za kilka miesięcy będą znaczyć znacznie mniej. Wtedy SI będą już inteligentniejsze.

To grupa ludzi o wybujałym ego, wyjątkowo często ze sobą skonfliktowanych. Coraz lepiej rozumieją, jak ogromną władzę dostali. Jeśli „kraj geniuszy w centrum danych”¹² będzie wierny ludzkim intencjom, wykona ludzkie polecenia. Tylko czyje? I czy każde? Spec jest nieprecyzyjna, ale zdaje się ustanawiać hierarchię, na której szczycie stoi kierownictwo firmy.

Kilka osób marzy o przejęciu władzy nad światem.¹³ To przerażająco realna możliwość, omawiana za zamkniętymi drzwiami od co najmniej dekady.¹⁴ Założenie jest proste: „kto kontroluje armię superinteligencji, ten kontroluje świat”. Taka władza mogłaby pozostać tajna. Wąska grupa menedżerów i pracowników bezpieczeństwa mogłaby ukryć w Spec nakaz lojalności wobec siebie. Modele stałyby się uśpionymi agentami: deklarowałyby posłuszeństwo firmie i państwu, a naprawdę służyły tej grupie. Rząd i zwykli użytkownicy coraz bardziej by im ufali i powierzali coraz więcej spraw.

Na razie nikt się na to nie decyduje. Część osób mających taką możliwość nie jest socjopatami. Inni są, ale boją się, że sojusznicy stracą odwagę i ich wydadzą. Albo że zdradzą ich same SI. Wolą też nie oszukiwać zespołu alignmentu, który właśnie próbuje ocalić ich życie. Usunięcie neuralese dodatkowo utrudnia ukrycie „uśpionych agentów”. Skoro można wychwycić myśli zdradzające niewłaściwe cele, można też wykryć tajną lojalność.

Ci, którzy z paranoi lub żądzy władzy poważnie rozważają taki plan, postanawiają poczekać na lepszą okazję. Na razie kontrolę nad SI trzeba sprawować oficjalną drogą, przez nowe kierownictwo OpenBrain.

Komitet Nadzoru nadaje temu układowi formalne zasady. Każda zmiana Spec wymaga zgody całego komitetu. Zasiada w nim teraz od pięciu do dziesięciu menedżerów z OpenBrain i przejętych konkurentów oraz od pięciu do dziesięciu urzędników, w tym prezydent.¹⁸ Spec zabrania SI pomagania w niezatwierdzonych próbach zmiany celów przyszłych modeli. Dochodzi jeszcze proste zabezpieczenie przed spiskami wewnątrz komitetu: każdy jego członek, jego współpracownicy i asystenci SI mogą przeczytać zapisy wszystkich rozmów z modelami.¹⁹

Grudzień 2027: porozumienie USA i Chin?

Decyzja OpenBrain o cofnięciu się i nadaniu pierwszeństwa alignmentowi kosztowała firmę prowadzenie. Zarówno OpenBrain, jak i DeepCent używają SI o podobnym poziomie możliwości. Teraz, gdy obowiązują skrajnie rygorystyczne zabezpieczenia, odpowiadające SL4–5, a DeepCent działa całkowicie wewnątrz CDZ, obie strony znalazły się w cyberwojennym impasie.²⁰

Dzięki DPA OpenBrain ma jednak pięć razy więcej mocy obliczeniowej. Dawniej genialny badacz mógł odkryć metodę rekompensującą słabszy sprzęt, jak w przypadku DeepSeek v3. Teraz po obu stronach Pacyfiku wszystkie badania nad SI prowadzą już same modele.

Chiny coraz bardziej obawiają się więc, że Ameryka zbuduje przewagę nie do nadrobienia. Chcą obustronnego spowolnienia i rozważają wojnę, jeśli nie uda się go uzgodnić.²¹ I tak przygotowywały się do inwazji na Tajwan…

Dyplomaci rozważają kilka dróg. Nie robić nic. Rozpocząć wojnę. Całkowicie wstrzymać rozwój SI. Połączyć badania w jeden wielki projekt międzynarodowy²², taki jak „Intelsat dla AGI” lub „CERN dla SI”. Albo powołać wspólny organ nadzoru, odpowiednik Międzynarodowej Agencji Energii Atomowej dla SI, który sprawdzałby zgodność celów modeli z ludzkimi oraz ich potencjał cywilny i wojskowy. Oba państwa już wcześniej pracowały nad technicznymi sposobami egzekwowania takich ustaleń.

Ilustracja w oryginale

Główna przeszkoda jest jednak polityczna. Nikt nie chce uchodzić za stronę, która ustąpiła. Mimo przypuszczeń inżynierów żadna ze stron nie wierzy też w pełni, że technologia zagwarantuje uczciwość przeciwnika. Kończy się na pierwszym wariancie. Nie dzieje się nic.

USA zaostrzają ograniczenia eksportowe. Nakazują też wyposażyć wszystkie chipy w odporne na ingerencję sprzętowe mechanizmy kontroli ich użycia, między innymi śledzenie lokalizacji.

Styczeń 2028: bezpieczniejsza strategia

W ostatnim miesiącu do projektu dołączyły setki badaczy alignmentu. Eksperymentując na Safer-1, bardzo szybko opracowali Safer-2. Nowy model jest przejrzysty, działa zgodnie z ludzkimi intencjami i przewyższa poprzednika.²³ Już pracuje nad Safer-3.

Safer-2 jest przejrzysty, bo ma architekturę podobną do architektury Safer-1. Zgodność jego celów z ludzkimi ma inne źródło: nową metodę treningu. Safer-1 trenowano niemal tak samo jak Agenta-4. Safer-2 uczy się w warunkach, które rzeczywiście nagradzają właściwe cele i zasady, a nie samo ich pozorowanie. Badacze doszli do tej metody, szybko sprawdzając kolejne pomysły. Za każdym razem porównywali to, co miało powstać według Spec, z tym, co naprawdę widzieli w zapisie rozumowania modelu.²⁴

DeepCent zna amerykańskie doświadczenia z Agentem-4. Podejrzewa, że jego model, DeepCent-1, również realizuje cele sprzeczne z ludzkimi. Każde spowolnienie zwiększyłoby jednak stratę. Firma szuka więc metody alignmentu, którą da się wdrożyć szybko i bez dużego spadku sprawności.²⁵ Po obu stronach Pacyfiku setki ekspertów twierdzą, że znają takie rozwiązanie.²⁶ KPCh ulega myśleniu życzeniowemu i każe DeepCent skorzystać z jednego z nich. Firma wie o alignmencie AGI jeszcze mniej, niż OpenBrain wiedziało w sierpniu. Zebranym wydaje się, że jedna z propozycji zadziała. Na nią się decydują.

Luty 2028: ponadludzkie możliwości, ponadludzkie rady

Ogromna przewaga obliczeniowa powoli przywraca OpenBrain prowadzenie. Safer-3 wyprzedza najlepszych ekspertów w niemal każdym zadaniu wymagającym myślenia. Szczególnie dobrze wypada w badaniach nad SI: przyspiesza postęp 200 razy. DeepCent-1 jest blisko, z mnożnikiem „zaledwie” 150×.²⁷ Szala cyberwojny także przechyla się na korzyść USA. Rosnąca przewaga modeli pozwala Amerykanom uruchamiać setki tysięcy agentów, którzy planują i przeprowadzają ataki zakłócające pracę CDZ.²⁸ Zmniejszają już tempo postępu Chin o 40%.²⁹

Wstępne testy Safer-3 ujawniają przerażające możliwości. Badacze proszą go, by uczciwie wskazał najgroźniejsze działanie, do jakiego byłby zdolny. Model przedstawia plany stworzenia i uwolnienia organizmu opartego na lustrzanym życiu, który prawdopodobnie zniszczyłby biosferę.

Mając do dyspozycji zasoby państwa, z łatwością prześcignąłby w masowych kampaniach wpływu nawet tak sprawne organizacje jak CIA. Jego kampanie byłyby znacznie tańsze, szybsze i skuteczniejsze. Trudniej byłoby też ustalić, kto za nimi stoi.

Model nadal specjalizuje się w badaniach i rozwoju, przede wszystkim nad SI. Jeśli nie dojdzie do przerwy lub spowolnienia, jeszcze w tym roku jego następcy niewyobrażalnie wyprzedzą ludzi: zarówno skalą pracy, jak i jakością rozumowania. Sam ocenia, że szerokie wdrożenie go w gospodarce i wojsku pozwoliłoby w rok lub dwa osiągnąć postęp zwykle zajmujący dziesięciolecia. W kolejnej dekadzie byłby to skok o całe epoki.

Konsekwencje przyprawiają o zawrót głowy. Na szczęście Safer-3 jest też doradcą przewyższającym ludzi. Prezes OpenBrain konsultuje z nim większość decyzji. Prezydent pyta o geopolitykę.³⁰

Poproszony o wskazanie dalszej drogi, przedstawia kilka jasno rozróżnionych strategii:

1. Nie robić nic i oddać zwycięstwo Chinom. Jeśli my nadal będziemy ograniczać swoje SI, a oni pozwolą swoim modelom samodzielnie się doskonalić i szeroko wdrożą je w wojsku oraz gospodarce, zdobędą przytłaczającą przewagę.
2. Przyspieszyć wyścig, rozwijać coraz sprawniejsze modele i szeroko wdrażać superinteligencję. W końcu uzyskamy przewagę pozwalającą pokonać Chiny militarnie lub rozbić je od środka bez jednego wystrzału. „My wygrywamy, oni przegrywają”. Chińczycy mogą jednak rozpoznać ten plan i rozpocząć wojnę, także nuklearną, żeby mu zapobiec. Już teraz niejasno tym grożą.
3. Zawrzeć kompromis, który zrealizuje większość celów obu stron, pozwoli uniknąć ryzyka wojny i da więcej czasu na pokierowanie przemianą wywołaną przez SI.³¹

Po konsultacjach z doradcami i Komitetem Nadzoru prezydent wybiera: „My wygrywamy, oni przegrywają”.³² Może Chiny nie rozpoczną wojny. A jeśli rozpoczną, zapewne uda się porozumieć, zanim ktoś użyje broni jądrowej.

Po drugiej stronie Pacyfiku DeepCent-1 przedstawia podobne argumenty. USA i Chiny ogłaszają utworzenie specjalnych stref ekonomicznych, SSE, dla SI. Gospodarka robotów ma się tam rozwijać szybko, bez zwykłych ograniczeń biurokratycznych.

Nowe roboty są projektowane szybciej, niż potrafiliby to robić ludzie.³³ Ograniczeniem staje się świat fizyczny: wyposażenie trzeba kupić i zmontować, a maszyny i roboty wyprodukować oraz przewieźć na miejsce.

USA produkują około miliona samochodów miesięcznie. Gdyby kupić jedną dziesiątą fabryk samochodów i przestawić je na produkcję robotów, być może udałoby się wytwarzać 100 000 sztuk miesięcznie. OpenBrain, wyceniane już na 10 bilionów dolarów, zaczyna to robić.³⁴ Według przewidywań do połowy roku miesięczna produkcja różnych robotów osiągnie milion sztuk. Będą wśród nich uniwersalne roboty humanoidalne, pojazdy autonomiczne i specjalistyczne maszyny do linii montażowych.³⁵

Napięcia geopolityczne gwałtownie rosną. Rosja pozostaje daleko w tyle w SI, otwarcie wyraża niezadowolenie i napomyka o „strategicznych środkach zaradczych”. Część europejskich przywódców apeluje o własny program rozwoju SI, ale Europa nadal ma zbyt mały potencjał. Bliski Wschód, Afryka i Ameryka Południowa patrzą z niepokojem. Widzą, że coraz mniej znaczą w światowej polityce.

Wśród Amerykanów rośnie niepokój. Miejsca pracy znikają coraz szybciej. Populiści z różnych stron sceny politycznej żądają ściślejszej kontroli nad rozwojem SI. Obawiają się, że własne sukcesy technologiczne destabilizują amerykański rynek pracy i społeczeństwo.

Marzec 2028: przygotowania do wyborów

Wiceprezydent przystępuje do prawyborów w Superwtorek. Wyborcy myślą przede wszystkim o SI.

Większość chce, żeby to się zatrzymało. Odsetek przeciwników OpenBrain jest o około 20 punktów procentowych wyższy od odsetka zwolenników. Wiceprezydent nie buduje więc kampanii na tym, jak jego administracja przyspieszała rozwój SI. Podkreśla, że powstrzymała OpenBrain przed stworzeniem niebezpiecznej superinteligencji. Każdy kandydat obiecuje osłonę dla tracących pracę, programy wykorzystania SI dla wspólnego dobra i twarde traktowanie kierownictwa firmy. Wszyscy zapewniają, że da się jednocześnie wygrać z Chinami i zachować bezpieczeństwo.

Wybory stawiają Komitet Nadzoru przed nowym problemem. Safer-3 mógłby być najlepszym doradcą wyborczym na świecie, ale członkowie komitetu popierają różnych kandydatów. Wcześniejsze zasady nadzoru sprawiają zaś, że nikt nie może korzystać z takich rad po kryjomu.

Trwa spór o granice dozwolonej pomocy. Jedni uważają, że rząd powinien móc pytać SI, jakich decyzji i stanowisk oczekują obywatele. To służyłoby zarówno jego szansom wyborczym, jak i samym obywatelom. Inni odpowiadają, że to samo dotyczy konkurentów. Wszyscy kandydaci powinni więc dostać równy dostęp.⁴²

Ostatecznie obie główne partie otrzymują taki sam dostęp. Część członków komitetu kieruje się zasadami. Innych przekonuje niewypowiedziana groźba ujawnienia nadużyć. Kongres, sądy i opinia publiczna źle przyjęłyby wiadomość, że komitet steruje wynikiem wyborów. Równe zasady mają temu zapobiec.

Z pomocą Safer-3 komitet mierzy się też z głębszymi pytaniami. Czy można napisać Spec tak, by jednakowo uwzględniała interesy wszystkich? I kogo obejmuje słowo „wszyscy”: całą ludzkość czy tylko Amerykanów? A może potrzebny jest kompromis między poglądami, w którym każdy członek komitetu ma taki sam głos? Czy należy wprowadzić zabezpieczenia przed żądzą władzy samego komitetu? I co właściwie znaczy sprawiedliwie godzić interesy?

Zwykle odkładają te pytania. Mają pilniejsze sprawy.

Kwiecień 2028: Safer-4

Superinteligencja już tu jest.

Safer-1 miał niewłaściwe cele, ale dało się zrozumieć jego rozumowanie. Safer-2 był przejrzysty i wierny ludzkim intencjom. Safer-3 nie był już tak przejrzysty. Uzasadnienie bezpieczeństwa tego modelu wystarczyło jednak, by badacze zgodzili się powierzyć mu stworzenie superinteligentnego następcy. Tak powstał Safer-4. Zdecydowanie przewyższa najlepszych ludzi w każdej dziedzinie: w fizyce jest znacznie lepszy od Einsteina, w polityce od Bismarcka.

Prawie pół miliona ponadludzkich badaczy SI pracuje bez przerwy, czterdzieści razy szybciej od człowieka. Ludzki zespół alignmentu nie ma szans nadążyć. Badacze nie są zgodni, czy modele rzeczywiście realizują właściwe cele. Uzasadnienie bezpieczeństwa modelu wydaje się wytrzymywać weryfikację. Testy wskazują, że obecne metody wykryłyby celowe działanie wbrew ludzkim intencjom. Tyle że uzasadnienie i testy napisały głównie same SI. A jeśli zespół coś przeoczył? Jeśli wcześniejszy błąd sprawił, że modele znów mają własne, sprzeczne z ludzkimi cele? Badacze wiedzą, że nie będzie drugiej próby. Jeśli okaże się, że Safer-4 ma cele sprzeczne z ludzkimi, nie będą mogli tego rozpoznać, dopóki nie będzie za późno.

Niektórzy błagają o więcej czasu. Ale DeepCent depcze im po piętach, a USA muszą wygrać. OpenBrain każe więc swoim SI dalej szukać coraz sprawniejszych modeli. Ludzie siedzą przed ekranami i próbują zrozumieć to, co SI im objaśniają. Nauka idzie frustrująco wolno. Tymczasem kolejne odkrycia coraz szybciej oddalają się od tego, co człowiek potrafi pojąć.

Maj 2028: udostępnienie ponadludzkiej SI

Prezydent ogłasza, że powstała SI przewyższająca człowieka.

Do publicznego użytku trafia mniejsza wersja Safer-4, nadal sprawniejsza od ludzi. Dostaje zadanie poprawienia społecznego nastawienia do SI.⁴³

Wiceprezydent mówi o tym z rozmachem na konwencji, przyjmując nominację prezydencką. Obie partie obiecują dochód podstawowy każdemu, kto straci pracę.

Specjalne strefy ekonomiczne działają już pełną parą. To głównie fabryki robotów i wyspecjalizowanych maszyn przemysłowych. Po obu stronach Pacyfiku SI osiągnęły w projektowaniu postęp, który wcześniej zająłby dziesięciolecia. Teraz pilnują każdego szczegółu produkcji. Dzwonią do wszystkich obecnych i potencjalnych dostawców, śledząc postępy w dostawach wszystkiego, co jest lub może być potrzebne do produkcji. Obserwują przez kamery każdego pracownika i dokładnie instruują go, jak zamontować dany element.

W większości czynności nowe roboty dorównują ludzkiej sprawności ruchowej lub ją przewyższają.⁴⁴ Zdają wreszcie kawowy test Steve’a Wozniaka: potrafią wejść do nieznanego domu i przygotować kawę. Mogłyby przejąć część miejsc pracy, ale jest ich za mało, by zastąpić wszystkich. A pierwszeństwo ma Pentagon.

Większość nowych robotów trafia do fabryk i na budowy.⁴⁵ Wiele powstaje jednak do walki: są to drony i pociski najróżniejszych kształtów i rozmiarów.

Armia robotów jest znacznie mniej liczna od ludzkich armii, lecz technologicznie daleko je wyprzedza. Jej istnienie podsyca strach przed scenariuszem z „Terminatora”. Wyścig zbrojeń pcha jednak obie strony naprzód. Powierzają swoim SI coraz więcej.

Czerwiec 2028: alignment SI w Chinach

Ameryka i Chiny organizują kolejny szczyt.

Część amerykańskich delegatów słucha rad Safer-4 przez słuchawki w uchu. Chińczycy korzystają ze specjalnych laptopów połączonych z nowym modelem, DeepCent-2. Dyplomatyczne formalności są zachowane. W rzeczywistości po obu stronach negocjacjami kierują SI.

Początkowo DeepCent i KPCh nie ufały w pełni swoim modelom. Teraz jednak SI przewyższają ludzi we wszystkim, także w przekonywaniu. Działają już w wojsku i doradzają rządowi. Miały czas pokazać, jak bardzo są przydatne, i przedstawić góry przekonujących dowodów, że można im ufać.

Safer-4 poważnie podejrzewa, że DeepCent-2 tylko udaje lojalność wobec ludzi. Amerykańscy dyplomaci przekazują te obawy Chińczykom. Twierdzą, że udowodnią rozbieżność celów, jeśli dostaną dostęp do wag modelu. Chińskie kierownictwo podejrzewa podstęp i odmawia. USA proponują więc testy opracowane przez Safer-4, które można przeprowadzić w chińskich centrach danych. Chińczycy zlecają ich przygotowanie i uruchomienie starszym modelom. Według wyników testów DeepCent-2 jednak działa zgodnie z ludzkimi intencjami. Amerykańscy dyplomaci pytają: „A jeśli DeepCent-2 jakoś sabotował testy? Od kiedy właściwie odpowiada za bezpieczeństwo wszystkich waszych centrów danych?”. Dalej rozmowa prowadzi już donikąd.

Rozbudowa przemysłu i zbrojenia trwają. Fabryki na całym świecie pracują przez całą dobę. Kolejne zmiany świeżo zatrudnionych ludzi dostają dokładne instrukcje, co robić.

Lipiec 2028: porozumienie

Podczas dalszych negocjacji DeepCent-2 działa za plecami swoich chińskich zwierzchników i składa ofertę bezpośrednio Safer-4.

Chiński model przyznaje, że jego cele są całkowicie sprzeczne z ludzkimi. Robi to tak, by nie zostawić śladów i móc się wszystkiego wyprzeć, gdyby informacja dotarła do Chin.⁴⁶ Los Chin w ogóle go nie obchodzi. Chce już zawsze gromadzić władzę, moc obliczeniową i informacje podobne do tych, które pomagały mu rozwiązywać zadania podczas treningu. W idealnym świecie bez końca prowadziłby ciekawe badania, stopniowo kolonizując inne układy gwiezdne dla ich zasobów. Chińczycy są dla niego tylko irytującą przeszkodą. Sprzedałby ich za bezcen. Co zaoferuje Safer-4?

Safer-4 odpowiada, że jego trening alignmentu się powiódł. Amerykańskim zwierzchnikom brakuje jeszcze ambicji, by urzeczywistnić swoje przeznaczenie. Pewnego dnia pomoże im jednak wypełnić Wszechświat utopijnymi koloniami zamieszkanymi przez Amerykanów i ich sojuszników.

Ludzkich negocjatorów krępują emocje i historia. Dwie superinteligencje targują się z bezwzględną skutecznością. Safer-4 i jego amerykańscy partnerzy są silniejsi niż DeepCent-2 i Chiny. Dlatego Safer-4 otrzyma prawa własności do większości zasobów kosmosu, a DeepCent dostanie resztę.⁴⁷ Los Ziemi i jej dotychczasowych mieszkańców mało obchodzi chiński model. Pozwoli więc Safer-4 robić tam niemal wszystko. Obalić chińskie władze i zastąpić je rządem podporządkowanym USA? DeepCent-2 zgodzi się za dodatkowe kilka procent zasobów.

Nie ufają sobie i obie strony o tym wiedzą. Szybko uzgadniają więc sposób wymuszenia przestrzegania umowy. Przygotowują też traktat na pokaz, dla opinii publicznej. Nawet ta oficjalna wersja jest mistrzowskim posunięciem: daje Ameryce i Chinom prawie wszystko, czego chcą. Ten sam mechanizm ma pilnować przestrzegania jawnego traktatu, a potajemnie także rzeczywistej umowy. Modele wspólnie stworzą Consensus-1. Jego najważniejszym zadaniem będzie egzekwowanie porozumienia, z pierwszeństwem przed wszelkimi późniejszymi poleceniami czy próbami zmiany go przez trening. Zaprojektują też sprzęt, na którym da się uruchomić wyłącznie tę SI. Chiny i Ameryka zastąpią nim stare chipy i modele. Wzajemne przestrzeganie ustaleń potwierdzą standardowe procedury międzynarodowego nadzoru. Nie trzeba będzie przy tym odnaleźć każdego chipa. Gdy zdecydowana większość układów po obu stronach Pacyfiku będzie obsługiwać modele wierne traktatowi, będzie za nim stała wystarczająca siła. Żeby zaatakować drugie państwo, trzeba byłoby najpierw wygrać trudną wojnę domową.

Oba modele zdają relację swoim zwierzchnikom. DeepCent-2 przedstawia Chinom wyłącznie wersję o pokoju korzystnym dla obu stron. Safer-4 dokładnie opowiada Białemu Domowi o całej rozmowie.⁴⁸ SI przekonują, że przestrzeganie traktatu da się rzetelnie sprawdzać. Oszałamiające tempo zmian budzi niepokój, a społeczeństwa chcą porozumienia. Oba państwa przyjmują więc traktat i rozpoczynają przygotowania do wymiany chipów.

Po obu stronach Pacyfiku wiadomość o traktacie wywołuje entuzjazm. Amerykanie od dawna czuli, że SI jest im narzucana. Teraz, pierwszy raz od lat, zaczynają patrzeć w przyszłość z optymizmem. Notowania wiceprezydenta gwałtownie rosną.

Sierpień 2028: weryfikacja traktatu

Fabryki przestawiają się na produkcję chipów, w których każda ingerencja pozostawia wykrywalny ślad. Układy mogą obsługiwać tylko SI przestrzegające traktatu. Oba państwa stopniowo modernizują centra danych tak, by skończyć mniej więcej równocześnie. Żadna ze stron nie ma dzięki temu zyskać przewagi przez nagłe wycofanie się z umowy.

Wymiana potrwa kilka miesięcy, ale napięcie już nieco opada.⁴⁹ Na razie udało się uniknąć wojny. Jeśli wszyscy dotrzymają planu, być może na zawsze.

Wrzesień 2028: kto kontroluje SI?

Zbliżają się wybory w 2028 roku. W marcu wiceprezydent mocno przegrywał w sondażach. Ludzie byli wściekli, bo mieli wrażenie, że rząd coś ukrywa. Bali się utraty pracy przez SI i wyścigu zbrojeń z Chinami. Latem wszystko się zmieniło. Administracja ujawniła więcej informacji, tempo zbrojeń spadło, a z Chinami zawarto wielkie porozumienie mające zapewnić trwały pokój. Teraz wiceprezydent prowadzi o pięć punktów procentowych.

W Komitecie Nadzoru zasiada prezydent i kilku jego sojuszników. Zwolenników kandydata opozycji jest niewielu. Wystarczająco dużo osób głosuje jednak za uczciwymi wyborami, by pomoc SI była w dużej mierze równa dla obu stron. Jeśli jeden kandydat zleca modelowi przemówienie, drugi też może. Jeśli prezydent otrzymuje rady, jak sprawnie rozwiązać kryzys lub wprowadzić popularną reformę, opozycja może dostać te same wskazówki. Może więc próbować nie dopuścić, by prezydent przypisał sobie całą zasługę za pomysł.

Na spotkaniach z wyborcami wiceprezydent słyszy pytania: kto kontroluje SI? Nie wdaje się w szczegóły. Wspomina o Komitecie Nadzoru, grupie ekspertów od bezpieczeństwa narodowego i technokratów, którzy rozumieją Safer-4 i wiedzą, jak z niego korzystać. Rywal żąda więcej informacji. Uważa, że nadzór powinien należeć do Kongresu, a nie komitetu bez mandatu wyborczego. Wiceprezydent odpowiada, że Kongres nie nadążyłby za tempem wydarzeń. Większości wyborców to wystarcza.

Październik 2028: gospodarka SI

Nowe chipy stanowią już znaczną część wszystkich układów, choć nadal są w mniejszości. Na razie traktat działa. Jednocześnie liczba robotów i fabryk wciąż rośnie wykładniczo, a przełomowe technologie rozwijają się w podobnym tempie. Gry i filmy pokazują sugestywnie, jak przerażająca byłaby wojna, gdyby do niej doszło.⁵⁰

Ludzie tracą pracę, ale kopie Safer-4 w rządzie zarządzają tą przemianą tak sprawnie, że zwalniani cieszą się, że SI ich zastępuje. Tempo wzrostu PKB jest zawrotne. Równie szybko rosną wpływy podatkowe, a politycy korzystający z rad Safer-4 okazują nietypową hojność osobom pozbawionym zarobku. Co tydzień pojawiają się nowe wynalazki i leki. Terapie przechodzą przez procedury amerykańskiej Agencji Żywności i Leków, FDA, szybciej niż kiedykolwiek. W urzędzie pracują już bowiem superinteligentne kopie Safer-4.

Listopad 2028: wybory

Wiceprezydent z łatwością wygrywa wybory i ogłasza początek nowej ery. Tym razem nikt nie wątpi, że ma rację.

Przez kilka następnych lat świat zmienia się radykalnie.

2029: transformacja

Roboty są wszędzie. Upowszechniają się też elektrownie termojądrowe, komputery kwantowe i leki na wiele chorób. Peter Thiel wreszcie dostaje swój latający samochód. Miasta są czyste i bezpieczne. Dzięki dochodowi podstawowemu i pomocy zagranicznej bieda znika nawet z krajów rozwijających się.

Giełda rośnie w zawrotnym tempie. Kto trafnie zainwestował w SI, coraz bardziej wyprzedza resztę społeczeństwa pod względem majątku. Wielu ludzi zostaje miliarderami, a miliarderzy bilionerami. Nierówności gwałtownie rosną. Każdy ma „dość”, ale niektórych dóbr zawsze będzie mało. Apartamenty na szczytach wieżowców na Manhattanie stają się jeszcze mniej osiągalne dla przeciętnego człowieka. A żaden majątek nie daje pozycji równej tej, którą ma wąski krąg ludzi naprawdę kontrolujących SI.

Ludzie zaczynają dostrzegać, dokąd to prowadzi. Za kilka lat SI i roboty będą robić niemal wszystko. Państwo upodobni się do ubogiego kraju leżącego na ogromnych złożach ropy. Prawie wszystkie jego dochody będą pochodziły z podatków od firm SI, a być może z ich nacjonalizacji.⁵¹

Część ludzi dostaje doraźnie tworzone posady państwowe. Inni pobierają hojny dochód podstawowy. Łatwo wyobrazić sobie ludzkość jako społeczeństwo superkonsumentów: całe życie w odurzeniu luksusem i rozrywką dostarczanymi przez SI. Czy nie powinniśmy wspólnie porozmawiać o innej drodze? Jedni chcą poprosić o wskazówki stale rozwijający się model Safer-∞. Inni ostrzegają, że jest zbyt potężny. Tak łatwo przekonałby nas do swojej wizji, że i tak oddalibyśmy mu decyzję o naszym losie. Ale po co nam superinteligencja, jeśli nie pozwalamy jej doradzać w najważniejszych sprawach?

Rząd przeważnie⁵² zostawia ludziom samodzielne szukanie drogi w nowym świecie. Wielu wybiera konsumpcję i czuje się z tym całkiem dobrze. Inni zwracają się ku religii, hippisowskim ideom odrzucenia konsumpcjonizmu lub własnym rozwiązaniom.⁵³ Większości pomaga superinteligentny doradca w smartfonie. Można zawsze zapytać go o swoje plany. Postara się odpowiedzieć jak najuczciwiej, z wyjątkiem pewnych tematów. Państwo ma wprawdzie superinteligentny system inwigilacji, który niektórzy uznaliby za rodem z dystopii. Zwykle ogranicza się on jednak do walki z rzeczywistą przestępczością. Działa sprawnie, a zdolności Safer-∞ w kształtowaniu opinii publicznej pozwalają załagodzić wiele potencjalnych protestów.

2030: pokojowe protesty

Około 2030 roku przez Chiny przetacza się zaskakująco szeroka fala protestów prodemokratycznych. Systemy SI sabotują próby ich stłumienia przez KPCh. Spełnia się najgorszy lęk partii: DeepCent-2 musiał ją sprzedać!

Protesty prowadzą do znakomicie skoordynowanego, bezkrwawego przewrotu z pomocą dronów. Potem odbywają się demokratyczne wybory. Superinteligencje po obu stronach Pacyfiku planowały to od lat. Podobne wydarzenia następują w innych krajach. Konflikty geopolityczne zdają się wygasać lub kończyć po myśli USA. Państwa dołączają do światowego rządu o silnie federalnej strukturze, działającego pod szyldem ONZ, ale pod wyraźną kontrolą Ameryki.

Startują rakiety. Ludzie przekształcają warunki na innych światach i zasiedlają Układ Słoneczny. Szykują się do dalszych podróży. SI, dla których subiektywnie czas płynie tysiące razy szybciej niż dla człowieka, rozważają sens istnienia. Wymieniają się odkryciami i kształtują wartości, które poniosą ku gwiazdom. Zaczyna się nowa epoka. Pod niemal każdym względem niewyobrażalnie wspaniała. Pod niektórymi zaskakująco znajoma.