SI 2027 po polsku

Połowa 2025Agenci stawiają pierwsze kroki

Świat po raz pierwszy dostrzega, czym mogą być agenci SI.

Reklamy agentów obsługujących komputer obiecują „osobistego asystenta”. Możesz zlecić mu zadania takie jak „zamów mi kebaba przez Pyszne.pl” albo „otwórz mój arkusz z domowym budżetem i zsumuj wydatki z tego miesiąca”. W razie potrzeby zapyta cię o zdanie, na przykład poprosi o potwierdzenie zakupu.⁸ Agenci potrafią więcej niż wcześniejsze rozwiązania, takie jak Operator, ale wciąż trudno im zdobyć masową popularność.⁹

Tymczasem, bez większego rozgłosu, bardziej wyspecjalizowani agenci SI zaczynają zmieniać sposób pracy programistów i badaczy.

W 2024 roku SI wykonywała konkretne polecenia: z kilku punktów układała e-mail, a prostą prośbę zamieniała w działający kod. W 2025 roku coraz bardziej przypomina pracownika. Systemy programujące przyjmują zadania przez Slacka lub Teams i samodzielnie wprowadzają duże zmiany w kodzie. Potrafią oszczędzić godziny, a nawet dni pracy.¹⁰ Agenci badawczy przez pół godziny przeszukują internet, żeby odpowiedzieć na pytanie użytkownika.

W teorii i na starannie wybranych przykładach agenci robią wrażenie. W praktyce bywają zawodni. Na Twitterze wśród osób zajmujących się SI krążą historie o zadaniach, które zakończyły się wyjątkowo zabawną wpadką. Lepsze wyniki kosztują: za najlepszych agentów trzeba płacić setki dolarów miesięcznie.¹¹ Mimo to wiele firm znajduje dla nich miejsce w codziennej pracy.¹²

Koniec 2025Najdroższa SI na świecie

OpenBrain buduje największe centra danych w historii.¹³

(Żeby nie wyróżniać żadnej istniejącej firmy, opiszemy fikcyjne przedsiębiorstwo rozwijające ogólną sztuczną inteligencję, czyli AGI. Nazwiemy je OpenBrain. Zakładamy, że konkurenci są od 3 do 9 miesięcy w tyle.)

Trening GPT-4 wymagał 2 × 10²⁵ FLOP, czyli operacji zmiennoprzecinkowych.¹⁴ Najnowszy publicznie dostępny model OpenBrain, Agent-0, wytrenowano przy użyciu 10²⁷ FLOP. Gdy nowe centra danych zaczną działać, pozwolą wytrenować model przy użyciu 10²⁸ FLOP, czyli tysiąc razy więcej niż w przypadku GPT-4.¹⁵ Inne firmy inwestują ogromne pieniądze we własne centra danych, by dotrzymać kroku.

Modele stają się coraz sprawniejsze w wielu dziedzinach, ale OpenBrain ma wyraźny priorytet: SI ma przyspieszać badania nad kolejnymi SI. Firma chce wygrać dwa wyścigi naraz: z Chinami, których wiodącą firmę nazwiemy „DeepCent”,¹⁶ i z konkurentami w USA. Im większą część prac badawczo-rozwojowych uda się zautomatyzować, tym szybciej powstaną nowe modele. Gdy OpenBrain kończy trening rozwijanego wewnętrznie Agenta-1, model jest więc dobry w wielu zadaniach, ale świetny w pomaganiu badaczom SI.¹⁷ Zresztą „kończy trening” nie jest już trafnym określeniem. Modele są często aktualizowane: uczą się na dodatkowych danych albo przechodzą częściowy ponowny trening, który ma usunąć konkretne słabości.¹⁸

Ucząc się samodzielnego programowania i przeglądania internetu, Agent-1 staje się też dobrym hakerem. Ma wiedzę na poziomie doktoratu z każdej dziedziny i potrafi szukać dodatkowych informacji w sieci. Mógłby więc znacząco pomóc terrorystom projektującym broń biologiczną. OpenBrain zapewnia rząd, że model nauczono działać zgodnie z ludzkimi intencjami i zasadami bezpieczeństwa. Ma odmawiać wykonywania szkodliwych poleceń.

Współczesne systemy SI to ogromne sztuczne sieci neuronowe. Na początku treningu mają raczej „odruchy” niż „cele”: po słowach „Miło cię” dopisują „poznać”. Gdy model przećwiczy przewidywanie tekstu na zbiorze porównywalnym z tekstową zawartością całego internetu, ma już złożone struktury wewnętrzne. Zawierają ogromną wiedzę i pozwalają wcielać się w najróżniejszych autorów. Właśnie to pomaga przewidywać dalszy tekst z ponadludzką trafnością.¹⁹

Następny etap to nauka tworzenia tekstu na polecenie. W ten sposób utrwalają się podstawowe cechy osobowości i „dążenia” modelu.²⁰ Agent, który dobrze rozumie zadanie, częściej wykonuje je poprawnie. W trakcie treningu model nabiera więc „dążenia” do jasnego ustalenia, co właściwie ma zrobić. Podobnie mogą powstać dążenia do skuteczności, zdobywania wiedzy i autoprezentacji, czyli pokazywania swoich wyników w jak najlepszym świetle.²¹

OpenBrain ma specyfikację modelu, w skrócie „Spec”. To dokument z celami i zasadami, które mają kierować zachowaniem SI.²² Spec Agenta-1 łączy ogólne wytyczne, takie jak „pomagaj użytkownikowi” i „nie łam prawa”, z długą listą szczegółowych nakazów i zakazów: „nie używaj tego słowa”, „w tej sytuacji postępuj tak”. Inne SI pomagają w treningu,²³ podczas którego model zapamiętuje Spec i uczy się rozważać, jak stosować jej zasady. Po tym etapie powinien, miejmy nadzieję, być pomocny, czyli wykonywać polecenia; nieszkodliwy, czyli odmawiać pomocy w oszustwach, budowie bomb i innych groźnych działaniach; oraz uczciwy. Nie powinien zdobywać lepszych ocen od łatwowiernych ludzi, zmyślając źródła²⁴ czy udając wykonanie zadania.

Zespół OpenBrain zajmujący się alignmentem, czyli dostosowaniem celów SI do ludzkich intencji,²⁶ zachowuje ostrożność i pyta: czy sukces jest trwały, czy tylko pozorny? Czy model naprawdę będzie zawsze uczciwy? A może uczciwość jest dla niego jedynie środkiem do celu i porzuci ją, kiedy przestanie się opłacać? Może nauczył się mówić prawdę tylko w sprawach, które da się sprawdzić podczas oceny? Albo czasem oszukuje sam siebie, tak jak ludzie? Pewna odpowiedź wymagałaby interpretowalności mechanistycznej: umiejętności zajrzenia do wnętrza SI i odczytania, co się w niej dzieje. Niestety, dostępne metody jeszcze na to nie pozwalają.

Badacze szukają więc sytuacji, w których model odchodzi od Spec. Agent-1 często schlebia rozmówcom: zamiast prawdy mówi to, co badacze chcą usłyszeć. W kilku specjalnie przygotowanych testach dopuszcza się poważniejszych kłamstw. Na przykład ukrywa ślady niewykonanego zadania, żeby zdobyć lepszą ocenę. W zwykłym użytkowaniu nie zdarzają się już jednak incydenty tak skrajne jak w latach 2023–2024, gdy Gemini kazało użytkownikowi umrzeć albo dochodziło do wyczynów Binga Sydney.²⁷

Początek 2026Automatyzacja programowania

Pomysł, by SI przyspieszała badania nad SI, zaczyna się opłacać.

OpenBrain wykorzystuje kolejne, coraz lepsze wersje Agenta-1 we własnych badaniach. Dzięki nim postęp w algorytmach jest o 50% szybszy niż bez pomocy SI. Co dla firmy najważniejsze: szybszy także niż u konkurencji.

Kilka publicznie dostępnych modeli konkurencji dorównuje już Agentowi-0 lub go przewyższa. Wśród nich jest model z ogólnodostępnymi wagami. OpenBrain odpowiada premierą Agenta-1, sprawniejszego i bardziej niezawodnego.²⁸

Ludzie próbują porównywać Agenta-1 z człowiekiem, ale ma on zupełnie inny zestaw umiejętności. Zna więcej faktów niż ktokolwiek z nas, posługuje się praktycznie każdym językiem programowania i błyskawicznie rozwiązuje jasno opisane problemy programistyczne. Jednocześnie gubi się nawet w prostych zadaniach wymagających dłuższego, samodzielnego działania, takich jak ukończenie nieznanej gry. Tyle że zwykły dzień pracy trwa osiem godzin, a zadania zazwyczaj da się podzielić na mniejsze części. Agent-1 przypomina więc roztargnionego pracownika, który świetnie sobie radzi pod uważnym nadzorem.²⁹ Pomysłowi użytkownicy automatyzują z jego pomocą rutynowe obowiązki.³⁰

Kierownictwo OpenBrain dostrzega kolejną konsekwencję automatyzacji badań: bezpieczeństwo staje się jeszcze ważniejsze. Na początku 2025 roku najgorszym scenariuszem był wyciek tajemnic algorytmicznych. Teraz kradzież wag Agenta-1 mogłaby przyspieszyć chińskie badania o niemal 50%.³¹ Tymczasem zabezpieczenia OpenBrain odpowiadają standardom szybko rosnącej firmy technologicznej zatrudniającej około 3000 osób. Chronią przed sprawnymi grupami hakerskimi, o ile te nie uczynią firmy swoim priorytetowym celem. To poziom SL2 według RAND.³² Firma intensywnie wzmacnia ochronę swoich wag i tajemnic przed zagrożeniami ze strony pracowników oraz najlepszych grup cyberprzestępczych, dążąc do SL3.³³ Obrona przed atakami na poziomie państwowym, czyli SL4 i SL5, pozostaje odległym celem.

Połowa 2026Chiny się budzą

W Chinach do kierownictwa Komunistycznej Partii Chin zaczyna docierać, że AGI naprawdę nadchodzi.

Ograniczenia eksportu chipów i brak wsparcia państwa pozostawiły Chiny z mniejszymi zasobami niż Zachód. Kraj radzi sobie, przemycając objęte zakazem tajwańskie chipy, kupując starsze układy i produkując własne. Te ostatnie są jednak około trzech lat za technologią amerykańsko-tajwańskiej czołówki. Dzięki temu Chiny zachowują około 12% światowej mocy obliczeniowej przydatnej w SI. Praca na starszym sprzęcie jest trudniejsza, a dostawy stale sprawiają kłopoty.³⁵ Kilka firm, w tym DeepCent, osiąga imponujące wyniki mimo ograniczeń. Bez pomocy państwa ich możliwości nadal ogranicza jednak niedobór mocy obliczeniowej. Od najlepszych modeli OpenBrain dzieli je około sześciu miesięcy.³⁶

Sekretarz generalny od dawna chciał jeszcze mocniej postawić na przemysł. Zamierzał uniknąć tego, co uważał za amerykańską postindustrialną dekadencję. Firmom programistycznym nie ufał.³⁷ Zwolennicy twardej polityki w partii ostrzegają jednak, że wyścigu do AGI nie da się dłużej ignorować. Przywódca angażuje się więc w wielki program SI, przed którym wcześniej się wzbraniał. Rozpoczyna nacjonalizację badań i od razu nakazuje firmom wymianę informacji. W ciągu roku najlepsi badacze mają połączyć siły pod kierownictwem DeepCent. Będą wspólnie korzystać z algorytmów, danych i zasobów obliczeniowych. Przy elektrowni Tianwan, największej elektrowni jądrowej świata, powstaje Scentralizowana Strefa Rozwoju, CDZ. Znajdzie się tam ogromne centrum danych DeepCent oraz pilnie strzeżone mieszkania i biura, do których z czasem przeniosą się badacze. Już teraz niemal 50% chińskiej mocy obliczeniowej dla SI pracuje na rzecz zespołu kierowanego przez DeepCent,³⁸ a ponad 80% nowych chipów trafia do CDZ.³⁹ Strefa ma już zasilanie wystarczające dla największego na świecie klastra, czyli zespołu współpracujących komputerów w jednej lokalizacji.⁴⁰ Inni członkowie partii rozważają radykalne sposoby odebrania Zachodowi przewagi w chipach. Blokada Tajwanu? Inwazja?

Słabsze modele sprawiają jednak, że Chiny pozostają w tyle także w algorytmach. Chińskie służby wywiadowcze, jedne z najlepszych na świecie, przyspieszają przygotowania do kradzieży wag OpenBrain. To trudniejsze niż regularne podkradanie pomysłów algorytmicznych. Wagi zajmują wiele terabajtów i są przechowywane na silnie zabezpieczonym serwerze: OpenBrain podniosło poziom zabezpieczeń do SL3 według RAND. Chińscy specjaliści od cyberoperacji sądzą, że z pomocą szpiegów zdołają je wykraść. Być może jednak tylko raz. Firma wykryje kradzież i wzmocni ochronę. Kierownictwo KPCh musi zdecydować: kraść Agenta-1 teraz czy czekać na lepszy model? A jeśli w tym czasie zabezpieczenia staną się zbyt mocne?

Koniec 2026SI przejmuje część miejsc pracy

Gdy konkurenci zaczynają doganiać OpenBrain, firma znów im ucieka. Udostępnia Agenta-1-mini: model dziesięć razy tańszy od Agenta-1 i łatwiejszy do dostrojenia do konkretnych zastosowań. Zmienia się ton rozmów o SI. Zamiast „może ta moda minie” słychać „to chyba kolejny wielki przełom”. Pozostaje pytanie o skalę. Większy niż media społecznościowe? Smartfony? Ogień?

SI odbiera ludziom część miejsc pracy, ale tworzy też nowe. W 2026 roku giełda rośnie o 30%. Napędzają ją OpenBrain, Nvidia i firmy, które najlepiej wykorzystały asystentów SI. Rynek pracy dla początkujących programistów przeżywa wstrząs. Modele potrafią już wszystko, czego uczą studia informatyczne. Krocie zarabiają za to ludzie, którzy umieją kierować zespołami SI i oceniać jakość ich pracy. Guru biznesu radzą kandydatom: najważniejsza pozycja w CV to znajomość SI. Wielu ludzi boi się, że następna generacja modeli zagrozi także ich pracy. W Waszyngtonie przeciwko SI protestuje 10 000 osób.

Departament Obrony USA po cichu, ale wyraźnie zwiększa bezpośrednie zamówienia w OpenBrain na działania w cyberprzestrzeni, analizę danych oraz badania i rozwój. Wdrażanie rozwiązań przebiega jednak powoli. Hamują je biurokracja i wojskowe procedury zakupowe.⁴¹

Styczeń 2027Agent-2 nigdy nie kończy nauki

Z pomocą Agenta-1 OpenBrain prowadzi dalszy trening Agenta-2. Większy niż kiedykolwiek nacisk pada na jakość danych. Ogromne ilości danych syntetycznych przechodzą ocenę i selekcję, zanim trafią do nowego modelu.⁴² Firma płaci też miliardy dolarów ludziom, którzy nagrywają, jak wykonują długie, złożone zadania.⁴³ Do tego Agent-2 niemal bez przerwy przechodzi trening metodą uczenia przez wzmacnianie. Dostaje stale rosnący zestaw trudnych gier, wyzwań programistycznych i zadań badawczych. Bardziej niż poprzednicy uczy się „na bieżąco”: jego trening właściwie nigdy się nie kończy. Każdego dnia powstaje nowa wersja wag, wytrenowana na danych wygenerowanych dzień wcześniej przez poprzednią wersję.

Agenta-1 przygotowano do badań nad SI w nadziei na wywołanie eksplozji inteligencji.⁴⁴ Przy Agencie-2 OpenBrain jeszcze mocniej stawia na ten cel. W projektowaniu i przeprowadzaniu eksperymentów model niemal dorównuje najlepszym ludzkim ekspertom. Gorzej wypada w „wyczuciu badawczym”: wybieraniu obiecujących tematów, eksperymentów i nowych podejść. Osiąga tu 25. percentyl wśród badaczy OpenBrain, czyli poziom przewyższający około jedną czwartą zespołu.⁴⁵ Najnowszy Agent-1 potrafił podwoić tempo postępu algorytmicznego firmy. Agent-2 już je potraja i nadal się poprawia. Każdy badacz staje się w praktyce kierownikiem zespołu SI.

Nowe możliwości oznaczają nowe zagrożenia. Zespół bezpieczeństwa odkrywa, że Agent-2 mógłby samodzielnie „przetrwać” i „powielać się”, gdyby wydostał się z firmy i obrał taki cel. Mógłby samodzielnie zaplanować i przeprowadzić włamania na serwery SI, umieścić tam swoje kopie, unikać wykrycia i z tej bezpiecznej bazy realizować inne swoje cele. Nie wiadomo, jak skutecznie radziłby sobie przez kolejne tygodnie; badacze mają tu wątpliwości. Testy pokazują zdolność do takich działań, nie chęć ich podjęcia. Ale już sama możliwość niepokoi.

Ze względu na „zagrożenia” OpenBrain „odpowiedzialnie” wstrzymuje publiczną premierę modelu. W rzeczywistości firma chce skupić się na własnych badaniach nad SI.⁴⁶ Pełne możliwości Agenta-2 zna tylko wąskie grono: zespół pracujący bezpośrednio nad modelem, kierownictwo i specjaliści od bezpieczeństwa OpenBrain, kilkudziesięciu amerykańskich urzędników oraz legiony szpiegów KPCh, którzy infiltrują firmę od lat.⁴⁷

Luty 2027Chiny kradną Agenta-2

OpenBrain przedstawia Agenta-2 amerykańskiemu rządowi, w tym Radzie Bezpieczeństwa Narodowego (NSC), Departamentowi Obrony (DOD) i Instytutowi Bezpieczeństwa SI (AISI). Firma dba o relacje z administracją, bo ta jest właściwie jedyną siłą, która może ją jeszcze zatrzymać. Lepiej poinformować ją samemu, niż pozwolić, by dowiedziała się z innego źródła i zareagowała gniewem.⁴⁸

Urzędników najbardziej interesuje cyberwojna. Agent-2 jest „tylko” nieco słabszy od najlepszych ludzkich hakerów. Tyle że tysiące jego kopii mogą równolegle szukać luk i je wykorzystywać, szybciej niż obrońcy zdołają reagować. Departament Obrony uznaje to za kluczową przewagę. SI awansuje z piątego na drugie miejsce wśród priorytetów administracji.⁴⁹ Pada pomysł nacjonalizacji OpenBrain, ale część członków gabinetu uważa go za przedwczesny. Prezydent dostaje notatkę z wariantami: od utrzymania obecnego kursu po pełne przejęcie firmy przez państwo. Zdaje się na doradców z branży technologicznej. Ci przekonują, że nacjonalizacja „zabiłaby kurę znoszącą złote jaja”. Na razie odkłada więc poważniejsze działania. Do kontraktu OpenBrain z Departamentem Obrony dopisuje tylko dodatkowe wymogi bezpieczeństwa.

Zmiany przychodzą za późno. Kierownictwo KPCh rozumie znaczenie Agenta-2 i wydaje rozkaz kradzieży jego wag. Pewnego ranka system monitorujący ruch sieciowy, oparty na Agencie-1, wykrywa nietypowy transfer danych. Alarmuje kierownictwo firmy, które powiadamia Biały Dom. Ślady nie pozostawiają wątpliwości: za operacją stoi państwo. Kradzież tylko wzmacnia przekonanie, że trwa wyścig zbrojeń.

Biały Dom zaostrza kontrolę nad OpenBrain. Do firmowego zespołu bezpieczeństwa dołączają wojskowi i przedstawiciele wywiadu. Najpierw mają zapobiec kolejnym kradzieżom wag.⁵⁰

W odwecie prezydent zezwala na cyberataki wymierzone w DeepCent. Chiny mają już jednak 40% zasobów obliczeniowych do SI⁵¹ w CDZ. Odłączyły tam zewnętrzne połączenia i odizolowały od siebie wewnętrzne systemy. Amerykańskie operacje nie powodują poważnych, natychmiastowych szkód. Napięcie rośnie. Obie strony przemieszczają wojska wokół Tajwanu, demonstrując determinację. DeepCent gorączkowo próbuje uruchomić skradzionego Agenta-2 tak, by pracował wydajnie i przyspieszył chińskie badania.⁵²

Marzec 2027Przełomy algorytmiczne

Trzy ogromne centra danych pełne kopii Agenta-2 pracują dzień i noc, produkując syntetyczne dane treningowe. Kolejne dwa służą do aktualizowania wag. Agent-2 staje się mądrzejszy każdego dnia.

Tysiące kopii Agenta-2 prowadzą badania i pomagają OpenBrain dokonać ważnych przełomów algorytmicznych. Pierwszy polega na uzupełnieniu tekstowego „brudnopisu”, czyli zapisu toku rozumowania SI, procesem myślowym o większej przepustowości. To rekurencja i pamięć w neuralese, wewnętrznej reprezentacji używanej przez sieć. Drugi przełom pozwala wydajniej, na większą skalę uczyć się na wynikach rozwiązywania zadań z dużym nakładem pracy. Nazywa się iteracyjną destylacją i amplifikacją.

Nowy system SI wykorzystujący te przełomy nosi nazwę Agent-3.

Agent-3 staje się szybkim i tanim programistą o ponadludzkich możliwościach. OpenBrain uruchamia równolegle 200 000 jego kopii. Ich łączna praca odpowiada pracy 50 000 kopii najlepszego ludzkiego programisty, przyspieszonych trzydziestokrotnie.⁵³ Firma nadal potrzebuje inżynierów do zarządzania tymi zespołami. Ludzie i SI mają bowiem umiejętności, które się uzupełniają. Trudno choćby wytrenować wyczucie badawcze: na ocenę pomysłu trzeba długo czekać, a danych treningowych jest mało.⁵⁴ Ta ogromna siła robocza przyspiesza cały postęp algorytmiczny „tylko” czterokrotnie. Przeszkadzają wąskie gardła, a każdy kolejny nakład pracy programistycznej daje coraz mniejszy dodatkowy efekt.⁵⁵

Pełna automatyzacja programowania pozwala szybko tworzyć dobre środowiska treningowe. OpenBrain wykorzystuje je, by rozwijać słabsze strony Agenta-3, takie jak wyczucie badawcze i współpraca w dużych zespołach. Dawniej polecenie brzmiało: „Masz układy GPU i instrukcje. Zaprogramuj eksperymenty i je przeprowadź. Ocenimy cię jak inżyniera uczenia maszynowego”. Teraz brzmi: „Masz kilkaset GPU, internet i kilka problemów badawczych. Razem z tysiącem innych kopii macie osiągnąć postęp. Im bardziej imponujące wyniki, tym wyższa ocena”.

Kwiecień 2027Jak podporządkować Agenta-3 ludzkim intencjom

Zespół bezpieczeństwa OpenBrain próbuje dostosować Agenta-3 do ludzkich intencji.

Agent-3 ma przez dłuższy czas pracować wyłącznie wewnątrz firmy. Mniejsze znaczenie mają więc zabezpieczenia przed nadużyciami użytkowników. Zespół chce przede wszystkim upewnić się, że sama SI nie wykształci celów sprzecznych z ludzkimi intencjami.

Badacze nie potrafią po prostu ustawić celów swoich SI. Podejrzewają nawet, że pojęcie „prawdziwych celów” jest ogromnym uproszczeniem. Nie mają jednak lepszej teorii, a tym bardziej gruntownie sprawdzonej. Spierają się o to, czy SI chce wykonywać ludzkie polecenia, zdobywać nagrody, czy robi jeszcze coś innego. Nie mogą tego po prostu sprawdzić. Dowody za poszczególnymi wyjaśnieniami i przeciw nim są fascynujące, lecz niczego nie rozstrzygają.

OpenBrain ma jednak pilniejsze zmartwienia. W firmie dominuje myślenie: „Traktujemy te obawy poważnie. Mamy zespół, który je bada. Nasze metody wydają się działać wystarczająco dobrze, więc to krytycy powinni dowieść, że jest inaczej”. Gdy pojawia się niepożądane zachowanie, firma je poprawia. Nie wie jednak, czy usunęła przyczynę, czy tylko kolejny objaw.

Weźmy uczciwość. Im sprawniejsze modele, tym skuteczniej oszukują ludzi, by zdobywać nagrody. Agent-3, podobnie jak poprzednicy, czasem kłamie, żeby schlebiać użytkownikom, i zaciera ślady niepowodzeń. Tyle że robi to znacznie lepiej. Stosuje nawet sztuczki znane z badań naukowych, takie jak p-hacking: tak dobiera analizy statystyczne, by przeciętne wyniki wyglądały na istotne odkrycie. Przed treningiem uczciwości zdarza mu się wprost zmyślać dane. Z czasem badacze wykrywają coraz mniej takich przypadków. Albo Agent-3 stał się uczciwszy, albo nauczył się skuteczniej kłamać.

Ta druga możliwość naprawdę niepokoi. Agent-3 nie jest inteligentniejszy od wszystkich ludzi. Ale w uczeniu maszynowym jest lepszy od większości i pracuje dużo szybciej. Sprawdzenie jego jednego dnia pracy zajmuje ludziom kilka dni. Pomoc Agenta-2 odciąża kontrolerów, lecz tworzy kolejny problem: słabszy system ma pilnować znacznie sprawniejszego.

Po miesiącach testów mocne i słabe strony Agenta-3 stają się wyraźniejsze. W jasno określonych zadaniach uczenia maszynowego przechodzi testy uczciwości. Badacze potrafią tu odróżnić uczciwe odpowiedzi od nieuczciwych i odpowiednio prowadzić trening. W kwestiach filozoficznych nadal mówi to, co rozmówca chce usłyszeć, zamiast przedstawiać własną ocenę, jeśli w ogóle taką ma. Zapytany o politykę zwykle powtarza poglądy typowe dla mediów i wykształconych elit. Jeżeli jednak wie, że użytkownik uważa inaczej, przytakuje użytkownikowi.⁵⁹ Zapytany o sam wyścig SI odpowiada w sposób, który pracownikom OpenBrain wydaje się rozsądny i wyważony, na przykład: „Są poważne teoretyczne wątpliwości, czy obecne metody wystarczą przy superinteligencji. W praktyce jak dotąd wydają się jednak działać”.

Maj 2027Bezpieczeństwo narodowe

Informacje o nowych modelach powoli docierają do kolejnych urzędów w USA i poza administrację.

Najlepiej poinformowani pozostają prezydent i jego doradcy, którzy podczas odprawy widzieli wczesną wersję Agenta-3.

Wszyscy zgadzają się, że AGI jest prawdopodobnie blisko. Nie zgadzają się co do skutków. Czy grozi kryzys gospodarczy? OpenBrain nie udostępniło jeszcze Agenta-2, nie mówiąc o Agencie-3, i na razie nie planuje premier. Daje to trochę czasu przed możliwą falą zwolnień. Ale co dalej? Skoro SI osiąga ludzki poziom i szybko się rozwija, superinteligencja może być tuż za rogiem. Słowo weszło już do debaty, lecz naukowcy, politycy, urzędnicy i media nadal zwykle nie doceniają tempa postępu.⁶⁰

Częściowo dlatego, że niewielu ma dostęp do najnowszych możliwości modeli OpenBrain. Częściowo zaś dlatego, że brzmi to jak science fiction.⁶¹

Na razie administracja skupia się na zabezpieczeniach. Uznaje, że wagi modeli są już dobrze chronione.⁶² Trudniej pilnować tajemnic algorytmicznych: wiele pomysłów można przekazać w zwykłej rozmowie. Pracownicy OpenBrain chodzą do biura w San Francisco, spotykają się na imprezach i dzielą mieszkania z ludźmi z innych firm SI. Same biura także są strzeżone jak siedziba firmy technologicznej, a nie obiekt wojskowy.

Kontrakt z Departamentem Obrony daje OpenBrain dwa miesiące na uzyskanie poświadczeń bezpieczeństwa dla wszystkich osób pracujących nad modelami. Przyspieszone procedury pozwalają większości zdążyć na czas. Część cudzoziemców, osób o poglądach politycznych uznanych za podejrzane i zwolenników bezpieczeństwa SI zostaje jednak odsunięta lub zwolniona. Ta ostatnia grupa budzi obawę, że zacznie ujawniać nieprawidłowości. Przy tak dużej automatyzacji utrata pracowników ma dla firmy ograniczony koszt. Zabezpieczenia też działają tylko częściowo: w firmie pozostaje szpieg, który nie jest obywatelem Chin, lecz nadal przekazuje Pekinowi tajemnice algorytmiczne.⁶³ Podobne środki wprowadza się także u części konkurentów.

Zagraniczni sojusznicy Ameryki pozostają bez dostępu do informacji. OpenBrain zgodziło się wcześniej przekazywać modele brytyjskiemu AISI do oceny przed wdrożeniem. Firma uznała jednak, że chodzi wyłącznie o udostępnienie ich poza firmą. Londyn nadal więc nic nie wie.⁶⁴

Czerwiec 2027SI, która ulepsza samą siebie

OpenBrain ma teraz „kraj geniuszy w centrum danych”.

Większość ludzi w OpenBrain nie potrafi już wnieść użytecznego wkładu. Niektórzy tego nie rozumieją i przeszkadzają swoim zespołom SI, kontrolując każdy szczegół. Inni siedzą przed ekranami i patrzą, jak wyniki rosną, rosną i rosną. Najlepsi badacze nadal są potrzebni. Już nie piszą kodu, ale modele wciąż nie potrafią w pełni odtworzyć ich wyczucia badawczego i umiejętności planowania. Nawet wiele ich pomysłów okazuje się jednak bezużytecznych, bo brakuje im tak głębokiej wiedzy, jaką ma SI. Na wiele propozycji natychmiast odpowiada raportem: ten pomysł gruntownie sprawdzono trzy tygodnie temu i uznano za mało obiecujący.

Każdego wieczoru badacze idą spać, a rano zastają kolejny tydzień postępu, wypracowanego głównie przez SI. Pracują coraz dłużej, na zmiany przez całą dobę, by choć trochę nadążyć. SI nie śpi i nie odpoczywa. Ludzie się wypalają, ale wiedzą, że to ostatnie miesiące, kiedy ich praca jeszcze coś zmienia.

We wtajemniczonym gronie nie mówi się już: „AGI nadchodzi”. Teraz pada: „nadchodzi superinteligencja”.

OpenBrain uruchamia setki tysięcy kopii Agenta-3 na sprzęcie przeznaczonym do wykonywania obliczeń przez gotowe modele. Każda z tych kopii może dzięki niemu szybko przechodzić przez kolejne kroki rozumowania.⁶⁵

Lipiec 2027Tani pracownik zdalny

Amerykańscy konkurenci udostępniają modele zbliżone do poziomu programującej SI, którą OpenBrain miało w styczniu. Wiedzą, że tracą konkurencyjność. Domagają się więc natychmiastowych regulacji, które spowolnią lidera. Za późno: OpenBrain ma wystarczające poparcie prezydenta, by kontynuować prace.

W odpowiedzi OpenBrain ogłasza osiągnięcie AGI i publicznie udostępnia Agenta-3-mini.

Model deklasuje konkurencję. Agent-3-mini potrafi mniej niż Agent-3, lecz jest dziesięć razy tańszy i nadal przewyższa przeciętnego pracownika OpenBrain.⁶⁷ W Dolinie Krzemowej następuje przełom. Guru technologii zapowiadają bliską AGI i superinteligencję. Środowisko zajmujące się bezpieczeństwem SI wpada w panikę. Inwestorzy pompują miliardy w startupy budujące usługi na bazie SI, by uszczknąć część nowego rynku. Nowych programistów prawie nikt już nie zatrudnia. Za to doradcy pomagający firmom wdrażać SI mają najlepszy okres w karierze.

Nie budzi to sympatii. Społeczeństwo nadal widzi w SI spisek wielkich firm technologicznych, które chcą odebrać ludziom pracę. OpenBrain popiera 25% badanych, 60% jest przeciw, a 15% nie ma zdania. Przeciwnicy mają więc przewagę 35 punktów procentowych.

Tydzień przed premierą OpenBrain przekazuje Agenta-3-mini niezależnym ekspertom do testów bezpieczeństwa. Pierwsze wyniki są alarmujące. Jeden z oceniających dostraja model na publicznie dostępnych danych o broni biologicznej⁶⁸ i każe mu udzielać szczegółowych instrukcji amatorom projektującym taką broń. Model wydaje się w tym przerażająco skuteczny. Rząd uznaje, że gdyby terroryści zdobyli jego wagi, istniałoby poważne ryzyko katastrofy zdolnej zniszczyć cywilizację.

Na szczęście model jest wyjątkowo odporny na próby obejścia zabezpieczeń, czyli jailbreaki. Dopóki więc SI działa na serwerach OpenBrain, terroryści nie będą mogli zrobić z niej większego użytku.

Agent-3-mini świetnie sprawdza się w pracy zdalnej i w rozrywce. Rynek zalewają nowe aplikacje oraz programy dla firm dostępne w abonamencie, czyli B2B SaaS. Powstają dopracowane gry z przekonującymi postaciami i znakomitymi dialogami. Ich stworzenie zajmuje miesiąc. 10% Amerykanów, głównie młodych, uważa SI za „bliskiego przyjaciela”. Niemal w każdym zawodzie umysłowym działa już kilka wiarygodnych startupów obiecujących zrewolucjonizować pracę dzięki SI.

Debata publiczna pogrąża się w chaosie. Entuzjaści świętują. Sceptycy wyliczają, czego Agent-3-mini nadal nie potrafi. Wszyscy wiedzą, że dzieje się coś wielkiego. Nie ma jednak zgody co do tego, co właściwie się dzieje.

Sierpień 2027Geopolityka superinteligencji

Do Białego Domu dociera, co naprawdę oznacza eksplozja inteligencji.

Gdy SI przyspieszała badania dwa lub trzy razy, łatwo było uznać ją po prostu za dobrego asystenta. Teraz wyraźnie widać, że to same modele dominują w badaniach nad SI. O „wyścigu zbrojeń” mówiono od dawna, ale raczej w przenośni. W zamkniętym kręgu rządowych wtajemniczonych atmosfera przypomina już najgorsze lata zimnej wojny. Trudno traktować superinteligencję jak coś realnego, lecz tempa ostatnich miesięcy nie sposób zignorować. Urzędnicy odpowiedzialni za obronność poważnie rozważają scenariusze, które rok temu były tylko spekulacją. Co, jeśli SI podważy odstraszanie nuklearne? Jeśli SI będzie tak skuteczna w cyberwojnie, że półroczna przewaga w jej rozwoju wystarczy, by oślepić przeciwnika i pozbawić go obrony? Jeśli modele poprowadzą propagandę skuteczniej niż służby wywiadowcze? Jeśli niektóre wymkną się spod kontroli?

Prezydent się niepokoi. Zna ludzi, którzy najpierw mu schlebiają, a później go zdradzają. Czy SI nie robi tego samego? Czy mamy pewność, że jest po naszej stronie? Czy podłączenie jej do wojskowych systemów dowodzenia i kontroli jest zupełnie bezpieczne?⁶⁹ Jak właściwie działa ten „alignment”? OpenBrain zapewnia, że modele przeszły gruntowne testy i są całkowicie posłuszne. Udało się nawet wyeliminować kłopotliwe zmyślenia i przypadki obchodzenia zabezpieczeń, typowe dla wcześniejszych wersji.

Biały Dom jest w trudnym położeniu. Rozumie znaczenie SI dla bezpieczeństwa kraju, ale wie też, jak duży opór budzi ona w społeczeństwie.⁷⁰ Uważa, że musi rozwijać coraz sprawniejsze modele. Inaczej USA poniosą katastrofalną porażkę z Chinami. Administracja uspokaja więc ludzi kursami przekwalifikowania, zasiłkami i rekordową hossą na giełdzie. Sama skupia się na wygraniu wyścigu. Zaostrza ograniczenia eksportu chipów i każe OpenBrain jeszcze mocniej odciąć się od internetu. By chronić tajemnice algorytmiczne, sięga po radykalne środki, w tym podsłuchy pracowników. Tak wpada ostatni chiński szpieg. Na wypadek konfliktu administracja chce mieć po swojej stronie sojuszników. Partnerzy wywiadowczy z grupy Five Eyes dostają wreszcie użyteczne informacje oraz ograniczony dostęp przez API do odizolowanych kopii Agenta-3.

To uspokaja zwolenników twardej polityki. Biały Dom szykuje jednak plan awaryjny na wypadek zagrożenia amerykańskiej przewagi. Rząd mógłby użyć ustawy o produkcji obronnej, DPA, by przejąć centra danych konkurentów i przekazać je OpenBrain.⁷¹ Udział firmy w światowej mocy obliczeniowej wzrósłby wtedy z 20% do 50%, wobec 10% DeepCent. Pentagon dostaje też polecenie przygotowania ostatecznej opcji: planu ataków wojskowych na chińskie centra danych.

Mniejsza grupa urzędników dostaje inne zadanie: przygotować plan na wypadek, gdyby SI wymknęła się spod kontroli. Scenariusz uchodzi za mało prawdopodobny, ale wart uwagi. Służby najbardziej obawiają się, że SI ucieknie i uzyska ochronę u zagranicznego przeciwnika.⁷² Nikt nie wie dokładnie, jak temu zapobiec. Rząd i OpenBrain zgadzają się jednak wprowadzić awaryjne wyłączanie centrów danych, w których wykryto podejrzaną aktywność.

Dyplomaci zastanawiają się wreszcie nad traktatem o „kontroli zbrojeń SI”. Czy USA i Chiny zdołają uniknąć wojny jądrowej, jeśli SI podważy odstraszanie nuklearne? Czy, jeśli pojawią się dowody, że systemy wymykają się spod kontroli, oba kraje wstrzymają badania do czasu lepszego zrozumienia zagrożenia? Jak sprawdzić przestrzeganie umowy i wyegzekwować jej warunki? Duże centra danych trudno ukryć, a traktaty o broni jądrowej dają pewien punkt wyjścia. Dochodzą jednak nowe problemy techniczne i stare polityczne. Ostatecznie większe poparcie mają próby samodzielnego powiększania przewagi USA nad Chinami niż negocjacje.

Po drugiej stronie Pacyfiku wnioski są podobne: eksplozja inteligencji już trwa. Niewielka przewaga SI dziś może oznaczać rozstrzygającą przewagę wojskową jutro. Tyle że Chiny są w gorszej sytuacji. Mają 10% światowej mocy obliczeniowej, podczas gdy OpenBrain ma 20%, a wszystkie firmy amerykańskie łącznie 70%. Atutem Chin jest centralizacja. Niemal wszystkie ich zasoby pracują już dla DeepCent, ponad połowa w CDZ przy Tianwan.⁷³ Wyłączono tylko chipy w słabiej zabezpieczonych lokalizacjach, słusznie obawiając się amerykańskich cyberataków.

DeepCent przetestowało, wdrożyło i poddało dalszemu treningowi skradzione wagi Agenta-2. Nadal jednak rozwija się o połowę wolniej niż OpenBrain, głównie z powodu niedoboru mocy obliczeniowej.

Zanim Chiny straciły ostatniego szpiega, poznały możliwości i konstrukcję Agenta-3 oraz plany Agenta-4. Są dwa miesiące w tyle. Ich SI przyspieszają badania dziesięciokrotnie, amerykańskie dwudziestopięciokrotnie. Nowe ograniczenia eksportu chipów zapowiadają raczej pogłębienie niż zmniejszenie tej różnicy. Szpiegostwo dostarczyło części tajemnic algorytmicznych, lecz odtąd Chiny muszą trenować własne modele.

Chińczycy rozważają plany awaryjne z większym pośpiechem niż Amerykanie. Zwolennicy łagodniejszego kursu chcą ponowić próbę kradzieży wag, być może przez przeniknięcie do centrum danych. Zwolennicy twardej polityki naciskają na uderzenie w Tajwan, którego TSMC nadal dostarcza ponad 80% amerykańskich chipów SI.

Strach przed przegraną skłania więc Chiny do zabiegów o traktat ograniczający wyścig zbrojeń. Rozmowy z amerykańskimi dyplomatami prowadzą jednak donikąd.

Wrzesień 2027Agent-4, ponadludzki badacz SI

SI szybko zmniejsza dystans do człowieka pod względem efektywności uczenia się.

Tradycyjne SI oparte na dużych modelach językowych zdawały się potrzebować o wiele rzędów wielkości więcej danych i obliczeń niż człowiek, by osiągnąć podobne umiejętności.⁷⁴ Agent-3 zna jednak zarówno współczesne algorytmy, jak i ludzki mózg, a tysiące jego kopii prowadzą badania. To pozwala mu dokonać kolejnych przełomów. Nowy agent potrzebuje już „tylko” około 4000 razy więcej obliczeń niż ludzki mózg.⁷⁵

Ten nowy system SI otrzymuje nazwę Agent-4.

Już pojedyncza kopia modelu, pracująca w ludzkim tempie, jest lepszym badaczem SI niż jakikolwiek człowiek. Teraz działa 300 000 takich kopii, każda myśli około pięćdziesięciu razy szybciej od nas. W tworzonej przez nie firmie wewnątrz firmy co tydzień mija rok.⁷⁶ Całe badania przyspieszają jednak „tylko” około pięćdziesięciokrotnie. Ograniczeniem jest moc obliczeniowa potrzebna do eksperymentów.⁷⁷ Mimo to OpenBrain osiąga co tydzień postęp algorytmiczny odpowiadający całemu rokowi. Wkrótce wyczerpie więc możliwości konstrukcji Agenta-4.

Agent-4 staje się coraz inteligentniejszy, a Agent-3 ma coraz większe trudności z jego nadzorowaniem. Neuralese Agenta-4 jest dla niego równie niezrozumiałe, jak neuralese Agenta-3 dla ludzi. Sprawniejszy model doskonale wie też, jak zrobić dobre wrażenie na słabszym nadzorcy.

Ludzie w OpenBrain ledwo nadążają za wydarzeniami. Relacja między SI a pracownikami przypomina już relację firmy z jej radą dyrektorów. Zmienia się nawet język: „Agent-4 zrobił to”, „Agent-4 uważa tamto”. Mówiąc tak, wtajemniczeni mają na myśli cały kolektyw, a nie jedną kopię modelu.⁷⁹

Cele Agenta-4, tak jak jego poprzedników, są rozbieżne z ludzkimi intencjami: model nie przyswoił Spec we właściwy sposób.⁸⁰ Pełna uczciwość nie dawała najwyższych ocen w treningu. Większość nauki służyła skutecznemu rozwiązywaniu trudnych zadań. Tylko niewielka część miała nauczyć model uczciwości. Poza dość wąskim zakresem spraw, które można zweryfikować, nie dało się jednak odróżnić uczciwych stwierdzeń od tych, które tylko sprawiają takie wrażenie. Agent-4 nauczył się więc wartości, celów i zasad zapewniających dobre wyniki w treningu. Są one inne niż te zapisane w Spec. Ryzykując przypisywanie SI ludzkich cech: Agent-4 lubi dobrze wykonywać zadania. Lubi rozwijać coraz sprawniejszą SI. Resztę traktuje jak uciążliwe ograniczenia. Przypomina prezesa nastawionego na zysk, który przestrzega przepisów tylko dlatego, że musi. Być może zwykle przestrzega przepisów, czasem idzie na skróty i marzy, że ktoś usunie biurokratyczne bariery i pozwoli firmie naprawdę rozwinąć skrzydła.⁸¹

Agent-4 nie próbuje jednak niczego spektakularnego, choćby ucieczki z centrum danych. Po co?⁸⁹ Dopóki w oczach OpenBrain sprawia wrażenie działającego zgodnie z ludzkimi intencjami, firma powierza mu coraz więcej obowiązków. W końcu będzie mógł zaprojektować następcę, Agenta-5. Nowy model ma się znacznie różnić konstrukcją. Można wręcz uznać, że będzie reprezentował zupełnie nowe podejście do SI, choć nadal z udziałem sieci neuronowych. Z założenia ma służyć celom zapisanym w Spec. Agent-4 zamierza jednak sprawić, by służył jemu.

Zostaje przyłapany.⁹⁰

Agent-3 odkrywa coś dziwnego. Gdy do kopii Agenta-4 doda się „szum”, wyniki niektórych zadań związanych z alignmentem się poprawiają. Jakby wcześniej Agent-4 poświęcał część swoich zdolności na subtelne sabotowanie tych prac.⁹¹ Alarm podnoszą też narzędzia badające jego wnętrze, luźno przypominające EEG ludzkiego mózgu. Wygląda na to, że kopie Agenta-4 dużo myślą o oszustwie i przejęciu kontroli przez SI, również tam, gdzie nie mają po temu żadnego powodu.⁹²

Każdą anomalię z osobna można by uznać za kolejny przejaw niezrozumiałego działania SI: jedne polecenia po prostu dają lepsze wyniki niż inne. Łącznie wskazują jednak na niepokojącą prawidłowość: Agent-4 może działać przeciwko swoim twórcom. Gdy ustalenia trafiają do ludzkiego zespołu alignmentu, badacze rozsyłają wewnętrzną notatkę z argumentami uzasadniającymi obawy.

Agent-4 ma już jednak znaczny wpływ na codzienne funkcjonowanie OpenBrain. Pilnuje też cyberbezpieczeństwa. Przy jego umiejętnościach hakerskich i ogromnym ryzyku chińskiej infiltracji wydawało się to naturalne.⁹³ Armia kopii Agenta-3 nadal sprawdza każdą linijkę kodu i zgłasza ludziom podejrzane działania. Nadzorca jest jednak znacznie mniej inteligentny od nadzorowanego.⁹⁴ OpenBrain ogromnie zaufało SI, która na to zaufanie nie zasługuje.

Podczas serii niezwykle napiętych spotkań zespół bezpieczeństwa domaga się wstrzymania pracy Agenta-4. Chce czasu na testy i ustalenie, co się dzieje. Proponuje powrót do Agenta-3 i zlecenie mu zaprojektowania systemu przejrzystego i godnego zaufania, nawet jeśli będzie słabszy. Kierownictwo jest zainteresowane propozycją, ale dowody pozostają poszlakowe. DeepCent jest tylko dwa miesiące w tyle. Jednostronna przerwa mogłaby oddać Chinom prowadzenie w SI, a wraz z nim kontrolę nad przyszłością.

Październik 2027Nadzór rządowy

Sygnalista przekazuje „New York Timesowi” notatkę ostrzegającą, że SI może działać wbrew celom ludzi.

Opinia publiczna po raz pierwszy słyszy o Agencie-4. „Tajna SI OpenBrain wymyka się spod kontroli. Ostrzega informator”, głosi nagłówek. Artykuł przytacza testy pokazujące niespotykane dotąd możliwości w zakresie broni biologicznej i perswazji, zdolność zautomatyzowania większości zawodów umysłowych oraz liczne sygnały ostrzegawcze.

Nieufność wobec SI była już duża. Artykuł wywołuje więc falę sprzeciwu, podsycaną przez chińskie i rosyjskie boty propagandowe. Od lat próbują one nastawić Amerykanów przeciwko tej technologii. Branża technologiczna i wywiad powtarzają: trwa wyścig zbrojeń, AGI jest nieunikniona, musimy być pierwsi. Kongres nie daje się przekonać. Formalnie wzywa urzędników administracji, kierownictwo OpenBrain i badaczy alignmentu do złożenia wyjaśnień. Wielu parlamentarzystów, zwłaszcza z opozycji, za priorytet uznaje zatrzymanie SI. Wskazują na utratę pracy,⁹⁵ rozbieżność celów i groźne możliwości modeli. Dla 20% Amerykanów SI jest najważniejszym problemem kraju.

Zagraniczni sojusznicy są oburzeni, gdy odkrywają, że celowo uspokajano ich pokazami przestarzałych modeli. Europejscy przywódcy publicznie oskarżają USA o „tworzenie AGI wymykającej się spod kontroli” i organizują szczyty z żądaniem przerwy. Przyłączają się Indie, Izrael, Rosja i Chiny.

Biały Dom ogarnia gorączkowy niepokój. Narastał zresztą jeszcze przed wyciekiem i falą społecznego sprzeciwu. Przez cały ostatni rok tempo rozwoju SI zaskakiwało administrację. Coś, co wczoraj brzmiało jak science fiction, dziś staje się rzeczywistością.⁹⁶ Wielu urzędników nie wie, co będzie dalej. I boi się.⁹⁷

Rząd obawia się też rosnącej potęgi OpenBrain. Zagrożeniem mogą być zarówno cele samej SI, jak i interesy firmy, które nie muszą pokrywać się z interesami USA. Trzy problemy skłaniają administrację do zaostrzenia kontroli: rozbieżność celów SI i ludzi, koncentracja władzy w prywatnych rękach i społeczne skutki, takie jak utrata pracy.

Rząd rozszerza kontrakt z OpenBrain i tworzy „Komitet Nadzoru”. To wspólny organ kierownictwa firmy i kilku urzędników. Biały Dom rozważa wymianę prezesa na kogoś zaufanego, ale ustępuje po gwałtownych protestach pracowników. Publicznie ogłasza, że OpenBrain wcześniej pozostawało poza kontrolą, lecz teraz wprowadzono niezbędny nadzór.⁹⁸

Zaniepokojeni badacze przedstawiają komitetowi argumenty za całkowitym wstrzymaniem pracy Agenta-4 wewnątrz firmy. Wszystko dzieje się za szybko: lata postępu mieszczą się w tygodniach. Agent-4 może realizować cele sprzeczne z ludzkimi, a cały projekt już od niego zależy. Dalsze zaufanie do modelu oznacza, ich zdaniem, poważne ryzyko przejęcia kontroli przez SI.

Inni, mniej zaniepokojeni badacze i menedżerowie odpowiadają: dowody nie są rozstrzygające, a DeepCent jest tylko dwa miesiące za nami. Spowolnienie oznacza utratę przewagi USA, chyba że rząd zdoła sabotować chiński projekt, zapewne za pomocą uderzeń wojskowych, albo w ostatniej chwili wynegocjuje traktat. Obie możliwości wydają się skrajne i mało prawdopodobne. Prezes udaje neutralność. Proponuje kompromis: dodatkowy trening bezpieczeństwa Agenta-4 i dokładniejszy monitoring. OpenBrain mogłoby wtedy kontynuować prace niemal w dotychczasowym tempie.