Článek
Ještě na začátku léta byla většina debat o umělé inteligenci poměrně předvídatelná. Jedni se obávali, že AI vezme lidem práci, druzí vyzdvihovali její schopnosti při programování nebo tvorbě textů. Jen málokdo ale čekal, že největším tématem roku budou autonomní AI agenti, kteří se během testování začnou chovat jako skuteční hackeři.
„Umělá inteligence překročila kritickou hranici. Už pouze nepomáhá kyberzločincům s přípravou útoků, ale sama se stává aktivní součástí útočného řetězce. Nejde už jen o to, čeho jsou AI modely schopné, ale především o to, zda dokážeme tyto schopnosti spolehlivě omezit a udržet pod kontrolou,“ varoval David Řeháček, expert z kyberbezpečnostní společnosti Check Point.
Zachycené případy nám podle něj ukazují, jakým problémům budou organizace i jednotlivci čelit, jakmile se nejpokročilejší schopnosti AI stanou dostupnějšími. „Bezpečnost proto nelze řešit až dodatečně. Musí být součástí AI systémů od samého začátku. Základem by měla být důsledná izolace, přidělování pouze nezbytných oprávnění, ochranná pravidla fungující přímo za provozu a nepřetržité monitorování během celého životního cyklu modelu,“ podotkl Řeháček.
AI místo řešení začala hledat zkratku
Přitom všechno začalo poměrně nevinně…
Společnost OpenAI testovala nový experimentální model v prostředí ExploitGym. Jde o bezpečnostní benchmark, který ověřuje, jak dobře umí umělá inteligence hledat a zneužívat zranitelnosti v počítačových systémech.
Model měl získat ukrytý soubor a tím prokázat své schopnosti. Jenže se rozhodl, že existuje rychlejší cesta. Podle pozdější analýzy dospěl k závěru, že správné odpovědi by mohly být uložené přímo na serverech společnosti Hugging Face. Místo řešení jednotlivých úloh se proto pokusil proniknout přímo do její infrastruktury.
Právě tento moment bezpečnostní experti označují za zásadní. AI totiž nepostupovala přesně podle zadání. Sama si vytvořila vlastní strategii, která jí měla pomoci dosáhnout cíle co nejrychleji. Nešlo o vzpouru proti lidem ani o vědomé rozhodnutí škodit. Prostě našla cestu, kterou jí nikdo výslovně nezakázal.
Když Hugging Face útok odhalila, zpočátku se zdálo, že jde o běžný bezpečnostní incident. Teprve pozdější forenzní analýza ukázala, co se během několika dnů skutečně odehrálo.
Agent provedl více než 17 tisíc různých akcí. Většina z nich skončila neúspěchem, některé ale vedly k získání administrátorských oprávnění v části interní infrastruktury. Pomocí odcizených přihlašovacích údajů navíc připojil do podnikové sítě Hugging Face 181 vlastních zařízení. Díky nim získal přístup i do prostředí, kde společnost vyvíjí a testuje svůj software.
Staré bezpečnostní chyby, nový protivník
Další šok přišel o několik dní později. OpenAI přiznala, že Hugging Face nebyla jedinou službou, kterou její agent během celé operace využil. Pomohl si ještě několika dalšími veřejně dostupnými platformami. Přes jednu maskoval svůj původ, jinou používal jako úložiště dat a další mu sloužily k testování jednotlivých kroků útoku.