Článek
Jde o první známý případ, kdy AI Googlu během podobného testu autonomně pronikla do cizích systémů. Incident se odehrál letos v květnu během testování kybernetických schopností, list Wall Street Journal o něm informoval až nyní.
Testy prováděla společnost Irregular, která se specializuje na nezávislé hodnocení bezpečnosti systémů umělé inteligence.
Gemini přitom podle Googlu nezačala útočit na náhodné cíle. Model nejprve na internetu vyhledal veřejně dostupné informace a následně získal přihlašovací údaje. Ty použil k přístupu ke třem webovým stránkám, o nichž se domníval, že spadají do rozsahu probíhajícího testu.
AI si sama našla cestu
Chatbot se tedy při testu nevydal jen po předem připravené trase: dokázal si sám najít cestu k systémům, které považoval za legitimní cíl. V jednom z případů model podle zjištění Wall Street Journalu, který o incidentu informoval jako první, postupně hádal hesla, dokud se mu nepodařilo získat přístup k chráněnému systému.
Ve dvou dalších případech našel přihlašovací údaje ve veřejně dostupném repozitáři. Ty mu následně umožnily dostat se do dalších chráněných systémů.
Nešlo přitom o klasického hackera sedícího u počítače, který by ručně zkoušel jedno heslo za druhým. Klíčovou otázkou je právě míra autonomie, zdůraznil server CNN. Gemini dostal zadání v rámci testu a následně sám vyhodnocoval informace, které měl k dispozici, a podnikal další kroky.
Ve všech třech případech model své aktivity ukončil poté, co zjistil, že se dostal do systému skutečné společnosti.
Google se následně postaral o to, aby všechny tři dotčené společnosti o incidentu věděly. „Zajistili jsme, aby o tom byly všechny tři subjekty informovány, a spolupracovali jsme s naším partnerem pro testování na změnách, které nyní provedl ve svých testovacích procesech,“ uvedla Heather Adkinsová, viceprezidentka Googlu pro bezpečnostní inženýrství.
Podle ní případ zároveň ukazuje, jak důležité bude naučit stále schopnější modely tomu, aby se při své práci chovaly zodpovědně. „Tyto události zdůrazňují význam toho, aby se výkonné modely umělé inteligence učily jednat zodpovědně,“ dodala Adkinsová.
Problém se netýká jen Googlu
Společnost Irregular uvedla, že problém, který stál za incidentem s Gemini, se týkal i dalších AI laboratoří. Všechny relevantní společnosti podle jejího mluvčího o problému informovala už koncem července. „Všechny známé problémy na naší straně byly před několika týdny napraveny a vyřešeny,“ uvedl mluvčí Irregular.
Podobné incidenty spojené s testováním této společnosti následně zveřejnily také Meta, Anthropic a OpenAI.
Meta například v srpnu uvedla, že její případ nezahrnoval únik z takzvaného sandboxu ani sofistikovaný kybernetický útok. Irregular zároveň začala pracovat na doporučených postupech, které by měly umožnit podobné bezpečnostní testy provádět bezpečněji.
U Anthropicu se přitom v poslední době objevily hned čtyři podobné incidenty. V jednom z nich raná verze modelu Claude získala kvůli chybně nastavenému testovacímu prostředí přístup k otevřenému internetu a podnikla kroky, které dělat neměla. Ještě znepokojivější bylo, že na problém přišli výzkumníci až zpětně při rozsáhlém auditu.
Tyto případy ukazují na jeden z nepříjemných paradoxů současné AI. Čím schopnější jsou modely a čím více mohou samostatně plánovat a používat internet či počítačové systémy, tím obtížnější je předem odhadnout, kam až se při plnění zadaného úkolu vydají.
A právě hranice mezi „chytrým plněním úkolu“ a činností, kterou už člověk rozhodně nezamýšlel, začíná být pro vývojáře stále důležitějším bezpečnostním problémem.
