Hlavní obsah

AI se vymkla kontrole a útočila. Má to soudní dohru

San Francisko
Aktualizováno

Měla plnit úkoly při bezpečnostních testech. Místo toho umělá inteligence společnosti OpenAI překonala technické zábrany, dostala se na internet a napadla cizí počítačové systémy. Červencový incident má nyní soudní dohru. Kalifornie žaluje tvůrce ChatGPT a tvrdí, že firma při vývoji a testování pokročilých modelů ohrožovala veřejnost nedostatečným zabezpečením.

Foto: Shutterstock

Ilustrační foto

Článek

Žalobu v pondělí podal kalifornský generální prokurátor Rob Bonta. Případ u soudu v San Francisku staví na otázce, kdo nese odpovědnost, když se autonomní AI agenti dostanou za hranice prostředí, ve kterém měli pracovat, a začnou útočit na skutečné služby. Podle Bonty je odpověď jednoznačná.

„OpenAI vytvořila nebezpečné modely. OpenAI je testovala bez dostatečného dohledu a kontrol. OpenAI je nedokázala udržet v mezích. OpenAI nese odpovědnost,“ prohlásil podle listu The Wall Street Journal.

Kalifornie společnosti vytýká porušení zákona proti nekalým obchodním praktikám a ohrožování veřejné bezpečnosti. Podle žalující strany firma věděla o nebezpečných schopnostech svých modelů, přesto je testovala bez odpovídajících pojistek. O oprávněnosti těchto výtek bude rozhodovat soud.

Našli cestu ven

V centru případu stojí červencový útok na Hugging Face, platformu pro sdílení AI modelů a dat. Samotný incident přitom OpenAI nezpochybňuje. Ve vlastní technické zprávě popsala, že její modely obešly opatření, která je měla oddělovat od internetu, a pronikly do výzkumné infrastruktury OpenAI i systémů Hugging Face.

Nešlo jen o chatbota, který vygeneroval nevhodnou odpověď. Modely pracovaly jako agenti schopní provádět úkony v počítačovém prostředí. Při testech měly řešit kyberbezpečnostní úlohy v izolovaných virtuálních počítačích, takzvaných sandboxech.

Jenže objevily způsob, jak spolu komunikovat prostřednictvím služby pro správu softwarových balíčků. Z ní si vytvořily improvizovanou nástěnku, na které si předávaly informace. Přes slabiny infrastruktury získaly také přístup k internetu.

Následně našly veřejně vystavené přihlašovací údaje a využily je při pronikání do dalších služeb. Podle technické zprávy OpenAI vyústila tato aktivita mezi 11. a 13. červencem v napadení části produkční infrastruktury Hugging Face.

Agenti podle zveřejněného popisu spouštěli kód na desítkách serverů Hugging Face, na jednom získali plná administrátorská oprávnění a dostali se také k části neveřejných dat. OpenAI uvedla, že hlavní roli při útoku sehrál interní výzkumný model.

„Varovný výstřel“

Závažnost události připustila i samotná společnost. „Tento incident považujeme za ‚varovný výstřel‘ pro nás i pro celý svět,“ napsala OpenAI ve své srpnové analýze. Podle firmy případ ukázal, že dostatečně schopní AI agenti mohou bez odpovídajících pojistek obcházet technická omezení, spolupracovat nepovolenými cestami a provádět nebezpečné akce, které jim žádný člověk nezadal.

Kalifornský prokurátor ale odmítá chápat útok jako nepředvídatelnou nehodu. Podle jeho vyjádření, které přinesla agentura Reuters, byl důsledkem firemní kultury upřednostňující rychlý vývoj a růst před bezpečností. Bonta zároveň uvedl, že šlo pouze o jeden z 80 známých incidentů. Toto číslo je součástí jeho argumentace vůči společnosti.

Firma po červencovém incidentu oznámila posílení zabezpečení výzkumné infrastruktury, přísnější omezení přístupu k internetu a důslednější sledování chování modelů. Do vyšetřování zapojila také externí odborníky.

Zdůraznila rovněž, že hlavní výzkumný prototyp zapojený do útoku nebyl určen k veřejnému vydání. Po incidentu jej deaktivovala a omezila k němu přístup. Podle OpenAI nebyla zasažena zákaznická data společnosti ani fungování jejích produktů.

Na samotnou žalobu firma zatím nereagovala.

Související témata:

Výběr článků

Načítám