Kybernetik a filozof Jan Romportl: Apokalypsy vyhlížíme, abychom je zaplašili

Všechny jednotlivé kroky, které jsou v obou scénářích studie prezentované, jsou velmi logické a podložené, přičemž autoři mají dobré odhady pravděpodobností, se kterými se v daných kontextech mohou objevit – dá se to najít v doplňujících materiálech. Nicméně pravděpodobnost funguje tak, že čím více událostí za sebe řetězíme, tím méně je celkově pravděpodobné, že to dopadne takto.

Proto si můžeme být skoro jisti, že reálný vývoj nebude úplně přesně podle uvedených scénářů. Nicméně obecné směřování a některé klíčové momenty jsou tam zcela jasné a velmi dobře popsané a pravděpodobné.

Efektivní akceleracionismus vznikl zcela záměrně jako ideologický protivník efektivního altruismu. To znamená, že ze své podstaty bude vždy tvrdit opak. Takže když efektivní altruisté vypracovali poměrně detailní studie o tom, že je důležité zpomalit vývoj obecné umělé inteligence (AGI), aby se získalo víc času na výzkum a vývoj systémů, které ji uřídí, tak efektivní akceleracionisté musí zaujmout ideologické stanovisko, že žádné zpomalení není potřeba, že je naopak nutno ještě zrychlit.

Takový přístup nemá nic společného s racionálním uvažováním. Je to asi tak „racionální“ jako představa, že když budeme moderními biotechnologiemi vyvíjet strašně rychle a bez regulací nové a děsivější viry, tak je to bezpečnější, než kdybychom postupovali pomalu a opatrně, protože v rámci toho rychlého vývoje se nějak „sama od sebe“ vyřeší naše ochrana proti těm virům.

Navíc řada ze zastánců efektivního akceleracionismu považuje riziko zániku civilizace v desítkách procent za akceptovatelné, pokud je v sázce získání nadvlády nad budoucím světem a směřování k „lepším technologickým zítřkům“ a „novému údělu člověka“. Pro spoustu z nich jsou totiž lákavé různé představy transhumanismu a posthumanismu – tedy že je naším cílem přetvořit člověka do nějakého nového, dokonalejšího a lepšího druhu.

Čína je s vývojem AGI v tuto chvíli zhruba půl roku za USA. Alespoň podle toho, co je vidět navenek. Rozhodně prokázali schopnost držet s USA krok v oblasti vývoje špičkových základových modelů jako například DeepSeek nebo Qwen.

Rozhodně ale Čínu výrazně zpomaluje americké omezení na dodávání čipů potřebných k trénování i provozu AI. Čína si sice během pár let vybuduje vlastní kompetenci pro vývoj čipů na stejné úrovni, ale Amerika sází na to, že to té doby už bude mít prototyp AGI, který jí umožní dále zvyšovat náskok před Čínou. Zároveň jestliže nyní Čína má problém s nedostatkem čipů, tak USA mají problém, kde brát elektrickou energii na napájení výpočetních center s příkonem řádově desítek gigawatt. To je naopak pro Čínu daleko lépe řešitelné.

Dá se nicméně očekávat, že Čína bude vzhledem k bezpečnosti AGI postupovat racionálněji a zodpovědněji než USA. Čínský první místopředseda vlády a člen stálého výboru politbyra Ting Süe-siang dokonce letos v Davosu prohlásil: „Musíme investovat do umělé inteligence, ale nemůžeme do ní investovat naplno, aniž bychom věděli, jaké jsou její brzdy. Současně musíme takové brzdy vyvinout.“

To svědčí o čínském konzervativnějším, zodpovědnějším a opatrnějším přístupu k bezpečnosti AI, který je v obrovském kontrastu s velmi nezodpovědným přístupem Trumpovy administrativy. Ta dokonce zakázala ve svém Big Beautiful Bill jednotlivým státům v USA jakkoli regulovat AI na státní úrovni. To je smutné a je to v příkrém rozporu s pluralitou a heterogenitou USA, což vždy byla její konkurenční výhoda.

Nedělám si samozřejmě iluze, že by čínské politbyro chtělo bezpečnou AGI z nějakých hlubokých humanistických pohnutek. Jde o čistě pragmatické směřování komunistické strany, jejíž hlavní pohnutka je nekonečné setrvání u moci, a proto si nemůže dovolit příchod nějaké jiné autonomní entity, která by ji v této pozici ohrozila.

Ve svém technokratickém pragmatismu však čínská komunistická strana vidí celou problematiku daleko reálněji.

Na pařížském AI Action Summitu začátkem letošního roku slíbila Ursula von der Leyenová, že Evropská unie investuje 200 miliard eur do rozvoje umělé inteligence. A zároveň Emmanual Macron prohlásil, že Francie investuje dalších 100 miliard.

Máme tedy poslední příležitost. Velmi rychle a efektivně investovat těchto 300 miliard eur do rozvoje AI infrastruktury a startupů. Tím mám na mysli jak rozvoj evropské výpočetní infrastruktury, tak i AI produktů a distribučních kanálů včetně sociálních sítí.

Pozadu nesmí zůstat ani rozvoj energetiky, abychom měli čím vlastní výpočetní centra napájet.

Kde je ale největší příležitost EU: vytvoření spolehlivých nástrojů pro takzvaný AI alignment a pro „mechanistickou interpretabilitu AI systémů“. Jinými slovy jde o nástroje na „čtení mysli AI“ a „opravu myšlenek“ AI, které by byly v rozporu s našimi zájmy.

Čili Evropská unie by měla půlku z těch 300 miliard investovat do rozvoje schopností – tedy to, co nyní dělají USA a Čína – a druhou půlku do AI alignmentu. Při troše štěstí pak Evropa bude jediná, které se podaří vytvořit AGI a mít ji zároveň pod kontrolou. To je velmi důležité.

U psa nemáme možnost vštípit mu nějaké žádoucí chováním tím, že mu přímo nakonfigurujeme miliardy neuronů v jeho mozku. Můžeme mu jen dávat různé úkoly, sledovat, jak je plní, a buď mu dávat odměnu, nebo ho potrestat. A v průběhu tohoto procesu doufáme, že se mu to žádoucí chování do mozku otiskne samo. A přesně tak je to s AI, jejíž umělé neuronové sítě trénujeme podobným způsobem.

Jenomže na rozdíl od psa bude mít AGI daleko hlubší a podrobnější reprezentaci světa, včetně našeho fungování v něm, našeho vztahu vůči AGI, našich záměrů, našich cílů a stejně tak i svých skutečných cílů. Na rozdíl od psa tedy dokáže AGI daleko lépe strategicky využít všech těchto znalostí k tomu, aby dosáhla svých skutečných cílů – k nimž však my nemáme žádný přístup, protože nedokážeme přímo číst a interpretovat miliardy jejích umělých neuronů.

Jednoznačně se učí lépe lhát. Nebo kulantněji řečeno: učí se „strategicky klamat“, aby lépe dokázala dosáhnout svého cíle, ať už je jakýkoli. Máme to už dnes podložené řadou výzkumných článků, které toto chování popisují už na aktuálních verzích velkých jazykových modelů.

Jan Kulveit to vystihuje velmi dobře a s jeho studií souhlasím. Je to takový obecnější princip, než který se snaží vystihnout AI 2027. Podle Jana Kulveita a jeho týmu není hlavním problémem to, že by došlo ke skokovému ovládnutí lidstva ze strany AGI. Problémem je spíše postupné oslabování lidstva a ztrácení jeho schopnosti být strůjcem vlastního osudu a rozhodovat o svých věcech.

Studie vychází z analýzy tří základních kolektivních systémů: ekonomik, kultur a států. Ty jsou v současnosti víceméně sladěny s lidskými zájmy, protože přímo potřebují lidskou účast na svém fungování.

Jakmile ale toto přestane platit a lidská účast – například práce, kognitivní činnosti nebo odvádění daní – nebudou pro kolektivní systémy potřebné, hodnoty těchto systémů se nejspíše začnou rozcházet s hodnotami a potřebami lidí.

V prvé řadě musí existovat funkční AGI alignment, jinak nic moc ostatního ani nebude mít příliš smysl. Pokud se alignment podaří, pak je nutné zajistit z dlouhodobého hlediska tři věci.

Zaprvé, z čeho budou žít lidé, kteří postupně přijdou o práci, jelikož už jejich kognitivní či jiné schopnosti nejsou zapotřebí; zadruhé, co budou tito lidé dělat; a za třetí, jaký bude smysl lidského života, když AI bude skoro ve všem lepší než člověk.

První věc je otázkou hlavně na ekonomy a politiky. Domnívám se, že bude nezbytné zavést základní nepodmíněný příjem. To bude důležitý pilíř transformace.

Druhá a třetí věc jsou v podstatě spojené nádoby. Vycházejme zcela pragmaticky z toho, že nová podoba společnosti bude stát na třech pilířích: zábava, náboženství a péče o člověka.

Řada lidí, možná desítky procent, se skutečně odpojí od reálného světa ve fyzickém i ekonomicko-produktivním smyslu a ponoří se do hyper-personalizovaného světa digitální zábavy – metaverse, velmi realistické počítačové hry, sociální sítě plné AI přátel, nová generace video-on-demand platforem jako například Netflix. Budeme se s tím muset naučit žít jako s novou realitou.

Relativně malá skupina lidí, třeba tak deset procent, bude i nadále vykonávat ekonomicky produktivní činnost – extrémně efektivně a v extrémním spřažení s AI. Leccos z toho budou firmy s obrovskou ekonomickou hodnotou, které mají jen jediného člověka – zakladatele, jenž je „obalen“ zbytkem firmy v podobě AI agentů.

Další skupina lidí, která bude poměrně velká, najde smysl a náplň svého života v tom, že bude tvořit něco, co bude mít svoji hodnotu právě proto, že to je vytvořené člověkem – a jiný člověk je ochoten za to zaplatit, protože si toho cení. Příkladem mohou být umělci, ale třeba i řemeslníci.

A všichni ostatní by měli nalézt smysl svého života v péči o jiné lidi. Nikoli jen v úzkém smyslu „ošetřování“ nemocných nebo seniorů, ale v hlubším a daleko širším smyslu „starání se o blaho a rozvoj jiného člověka“. To je role učitelů, průvodců, koučů, mentorů, trenérů, duchovních a celé řady dalších. Všechny tyto role mohou zažít obrovský rozkvět. Nebo prostě jen mnoho lidí bude moct strávit většinu svého života péčí o sebe samotné a o svoji rodinu – což vůbec není špatná vyhlídka.

Pokud se nám toto podaří, považoval bych transformaci za velmi úspěšnou. Máme obrovskou příležitost využít následující fakt: Když stroj předčí člověk ve všech fyzických i kognitivních činnostech, v čem může člověk zůstat lepší než stroj?

V bytí člověkem. Jak metafyzicky, tak i prozaicky biologicky – jsme hypersociální opi, kteří mají ve svém biologickém hardwaru zakódovanou fyzickou potřebu blízkosti jiného člověka.

Lidstvo si nejspíše v každé své epoše myslelo, že už „vyrostlo“ z mýtů – že mýty jsou záležitosti předchozích epoch a zmatených lidí v nich. Ale vždy nás mýty nakonec dohnaly a vždy se opakovaly znovu a znovu. Nikoli doslova, ale jejich smysl, vždy jen v novém kabátě.

Mýty jsou totiž nejtrvalejší sémiotický nástroj. Jsou to symboly, které přetrvají nejdéle. Když uděláme úložiště jaderného odpadu, které bude nesmírně nebezpečné po dalších mnoho desítek tisíc let, jak ho označíme pro příští tisíce generací, aby se k tomu nepřibližovaly?

Všechny výstražné cedulky se do té doby dávno rozpadnou, stejně tak knihy i digitální úložiště. Lidské kultury i jazyky zmizí. Jaká jediná sémiotická struktura má šanci přetrvat? Mýtus. Vzniknou tedy mýty, v jejichž zárodku bude smysl nebezpečí jaderného úložiště.

Řekl bych, že sledování mýtů je součást naší lidské biologicky dané „softwarové výbavy“, kterou nás postupně vybavila evoluce. Proč? Protože se ukázalo, že to zvyšuje naší šanci na přežití. Takže bych to nepodceňoval. Ani vyhlížení apokalyps. Vyhlížíme je, abychom je ve skutečnosti zaplašili.