Hlavní obsah

„Riskují budoucnost lidstva.“ Výzkumník OpenAI a Anthropicu varoval před superinteligencí

Závod o stále výkonnější umělou inteligenci zašel příliš daleko a technologické firmy riskují budoucnost lidstva. Tvrdí to Jacob Coxon, který v uplynulých třech letech pracoval na výzkumu v OpenAI i Anthropic. Z druhé jmenované společnosti nyní odešel. Podle něj se obě firmy ženou k takzvané superinteligenci, tedy systémům, které by mohly být ve většině oblastí výrazně schopnější než lidé.

Foto: Shutterstock

Ilustrační foto

Článek

„Dnes jsem rezignoval na svou pozici v Anthropic. Poslední tři roky jsem se věnoval výzkumu pretrainingu v OpenAI i Anthropic. Ani jedna z těchto společností podle mě nejedná zodpovědně. Řítí se přímo k samostatně se zlepšující superinteligenci a hazardují s našimi životy,“ napsal Coxon ve středu na sociální síti X.

Coxon v OpenAI působil od roku 2023 a podílel se mimo jiné na práci související s modelem GPT-4o. Letos v červenci přešel do Anthropicu, společnosti, která se dlouhodobě profiluje důrazem na bezpečnost umělé inteligence. V září však oznámil i svůj odchod.

Ve svém vlákně Coxon varuje, že současný vývoj AI se podle něj nezpomaluje, ale naopak nabírá na rychlosti. „Nepodceňujte sílu této technologie. Brzy budeme mít nadlidské systémy, které dokážou hacknout cokoli, přes noc transformovat celá odvětví a získat skutečnou moc a zdroje,“ napsal.

„Mohla by nás všechny zabít“

Ještě dál jde v další části svého prohlášení. „Lidé, kteří AI vytvářejí, upřímně věří, že by nás mohla všechny zabít ještě před koncem tohoto desetiletí. Není to žádný marketingový trik,“ tvrdí Coxon.

Podle něj přitom někteří manažeři a přední výzkumníci své obavy na veřejnosti zmírňují, aby jejich vyjádření působila rozumněji. „Já ale v soukromí slyším od těch samých lidí vyjadřovat strach. Žádná jiná lidská činnost podle mě nepředstavuje takovou úroveň nebezpečí,“ dodává.

Společnosti OpenAI a Anthropic na jeho prohlášení zatím oficiálně nereagovaly.

Pojem superinteligence označuje hypotetický systém umělé inteligence, který by svými schopnostmi výrazně překonal člověka prakticky ve všech oblastech, kde je zapotřebí inteligence.

Nejde tedy jen o program, který je lepší než člověk v šachu, matematice nebo programování. Superinteligentní systém by teoreticky mohl současně excelovat ve vědě, strategickém plánování, programování, výzkumu, přesvědčování lidí nebo vymýšlení nových technologií.

Právě tento scénář označuje Coxon za potenciálně kritický.

Proč to tedy vůbec stavějí?

Na první pohled je v jeho argumentaci rozpor: pokud se lidé v AI laboratořích skutečně obávají, že superinteligence může být nebezpečná, proč ji dál vyvíjejí?

Coxon má na tuto otázku vlastní odpověď. „V OpenAI mnoho lidí ještě hluboce nepochopilo, co je skutečně v sázce z hlediska budoucnosti civilizace,“ tvrdí.

V případě Anthropicu je podle něj situace jiná. „V Anthropic jsou tyto sázky dobře pochopené. Jenže jsou uvězněni v závodě o to, aby se tam dostali jako první – věří, že nikdo jiný nebude jednat zodpovědně, a proto to musí udělat oni sami, navzdory riziku.“

Podle něj tedy nejde pouze o touhu po technologickém prvenství. Problémem má být i strach, že pokud jedna firma zpomalí, konkurence pokračovat nepřestane.

Podle něj by případný rychlý přechod k systémům schopným zásadně zlepšovat vlastní schopnosti vyžadoval mnohem vyšší míru jistoty, že neexistuje bezpečnější cesta. „Pokus o rychlý průchod touto fází vývoje AI by měl vyžadovat mimořádnou míru jistoty, že neexistují žádné lepší cesty vpřed,“ uvedl.

Coxon přitom není zastáncem úplného zastavení vývoje umělé inteligence. Tvrdí, že věří v možnost mezinárodní koordinace a dohody mezi hlavními AI laboratořemi.

Pohled bývalého AI výzkumníka samozřejmě není vědeckým důkazem, že katastrofický scénář skutečně nastane. Je to však pozoruhodné varování člověka, který pracoval přímo uvnitř dvou nejvýznamnějších laboratoří současného vývoje umělé inteligence.

Související témata:

Výběr článků

Načítám