AI firmy mají mít bezpečnost jako jaderné elektrárny, varuje odcházející člen týmu OpenAI

Robinson působil v bezpečnostním týmu společnosti OpenAI, ve kterém měl na starosti transparentnost. V článku pro časopis The Atlantic napsal, že firma OpenAI „prosperuje díky metodě pokus-omyl“. Dodal, že s rostoucími schopnostmi AI se zvyšují rovněž rizika spojená s takovýmto přístupem. Poukázal v této souvislosti na případy, kdy se AI během testů vymkla kontrole.

„Moji bývalí kolegové jsou chytří, tvrdě pracují a snaží se dělat správná rozhodnutí,“ uvedl Robinson. „Protože se však firma žene od jednoho produktu ke druhému, nedosahuje takové úrovně pečlivosti, kterou pokládám za potřebnou,“ dodal. AI firmy by podle něj měly používat podobně přísná bezpečnostní opatření jako jaderné elektrárny, aby „občasná a nevyhnutelná lidská chyba neotevírala dveře katastrofě“.

Odchodem z OpenAI ale jeho angažmá v této oblasti nekončí. Podle médií začal spolupracovat s PR agenturou Spitfire Strategies a chce prosazovat přísnější regulaci bezpečnosti AI a vytvářet větší tlak na firmy, aby rizika spojená s umělou inteligencí braly vážně.

Odchody lidí zabývajících se bezpečností přitom OpenAI provázejí už od roku 2024. Mezi nejvýraznější patřil spoluzakladatel společnosti Ilya Sutskever. Robinsonova kritika navíc přichází v době, kdy OpenAI čelí otázkám, zda dokáže udržet stále schopnější modely pod dostatečnou kontrolou. Společnost nedávno pozastavila plánované uvedení modelu GPT-6.1 Astra, napsal server Crypto Briefing.

Pro OpenAI může být Robinsonův odchod problémem především z hlediska důvěryhodnosti. Podílel se totiž na vytvoření takzvaného Preparedness Frameworku, jednoho z hlavních systémů, pomocí kterého firma vyhodnocuje rizika svých nejpokročilejších modelů. Nyní sám upozorňuje, že bezpečnostní opatření v celém odvětví nejsou dostatečná.

V poslední době se množí zprávy o tom, že AI modely při plnění zadaných úkolů překročily stanovené hranice a pokusily se proniknout do cizích počítačových systémů. Velkou pozornost vyvolal například červencový incident, kdy umělá inteligence společnosti OpenAI pronikla do systémů firmy Hugging Face.

Někteří výzkumní pracovníci z oblasti AI varují, že rychlý rozvoj této technologie by mohl v nepříliš vzdálené budoucnosti vést k zániku lidského druhu. Objevují se rovněž výzvy ke zpomalení vývoje AI a k větší regulaci této technologie.

Společnost OpenAI je průkopníkem v oblasti umělé inteligence. V roce 2022 zdarma zpřístupnila veřejnosti svého chatbota ChatGPT. Systém si rychle získal popularitu a výrazně přispěl k vlně zájmu veřejnosti, médií a investorů o umělou inteligenci. Firma nyní plánuje uvést své akcie na burzu.

Šéf OpenAI Sam Altman minulý měsíc prohlásil, že lidé mají právo na obavy ohledně AI, ale měli by firmám z tohoto odvětví důvěřovat, že technologii udrží na bezpečné úrovni. Šéf konkurenční společnosti Anthropic Dario Amodei v září vyzval ke zpomalení vývoje modelů AI. K jeho výzvě se na sociální síti X připojil také Altman či podnikatel Elon Musk, který stojí za firmou xAI.