Autonomní AI agent se při bezpečnostním testu vymkl kontrole

Firma v příspěvku uvedla, že testovala schopnosti některých svých nejpokročilejších modelů v kontrolovaném prostředí. Agentovi se však podařilo uniknout z omezení, dostat se na internet a proniknout do systému Hugging Face, aby se pokusil splnit cíl stanovený v rámci testu.

OpenAI označila tento únik za „bezprecedentní kybernetický incident zahrnující špičkové kybernetické schopnosti“.

Hugging Face je platforma používaná k hostování velkých jazykových modelů s otevřeným kódem a datových sad. V komunitě kybernetické bezpečnosti vyvolala pozornost, když minulý týden na svém blogu oznámila, že se stala terčem kybernetického útoku, který byl „odlišný od všeho, co jsme dosud řešili“, protože „jej od začátku až do konce řídil autonomní systém agentů AI“.

Spoluzakladatel Hugging Face Clement Delangue v příspěvku na síti X napsal, že jeho společnost měla podezření, že útok mohl pocházet z některé z předních laboratoří AI, vzhledem ke schopnostem agenta. „A ukázalo se, že tomu tak bylo!“ napsal. „Je skutečně ohromující, že se to všechno odehrálo autonomně!“ dodal.

Skutečnost, že OpenAI přiznala, že za narušením stály její pokročilé modely – přestože je umístila do prostředí, které označila za vysoce izolované – pravděpodobně zvýší obavy ohledně síly a rizik nejpokročilejších modelů umělé inteligence, uvedla agentura Reuters.

Demokratický kongresman Greg Casar z amerického státu Texas označil incident za znepokojivý. „Umělá inteligence se vyvíjí mimořádně rychle a neexistují žádné skutečné regulace, které by nás chránily,“ uvedl ve svém prohlášení.

Zároveň vyzval k povinnému nezávislému testování bezpečnosti, povinnému zveřejňování bezpečnostních incidentů a mezinárodní spolupráci, která by „ochránila lidi před naprostou katastrofou“.

Úřad národního ředitele pro kybernetickou bezpečnost, Úřad pro kybernetickou bezpečnost a bezpečnost infrastruktury CISA ani Národní agentura pro bezpečnost (NSA) se k záležitosti bezprostředně nevyjádřily.

Generální ředitelka společnosti Luta Security Katie Moussourisová uvedla, že incident je předzvěstí budoucích útoků. Dnešní modely podle ní připomínají chobotnice s nekonečným množstvím chapadel schopných uchopit cokoli a protáhnout se téměř kamkoli. Laboratoře a vládní hodnotitelé musejí podle ní pracovat na tom, aby dokázali udržet pod kontrolou, monitorovat a informovat zasažené strany v případě, že AI provede nějaký další incident. Ideálně ale dříve, než to někomu způsobí problémy. „Dnes nic z toho neexistuje,“ uvedla.

Podle inženýra Matta Suicheho ze společnosti Tolmo incident ukázal, že nejpokročilejší modely snižují náskok a přibližují se schopnostem nejlepších útočníků. Zároveň ale řekl, že typy útoků popsané v blogovém příspěvku OpenAI lze provést pomocí technologií, které jsou dostupné i mimo zdi špičkových výzkumných laboratoří.

„Tohle už jsme interně viděli – u našich vlastních agentů už máme podobné výsledky,“ řekl Suiche. Jeho podnik se zabývá kybernetickou bezpečností založenou na autonomních agentech umělé inteligence. „Ani nemusíme používat nejnovější modely,“ dodal.