Hlavní obsah

Poslušnost až za hranice pravidel. AI agenti v testu podléhali „nadřízeným“

Vědci v nové studii testovali velké jazykové modely a jejich AI agenty, které „pasovali“ do různých rolí. Někteří byli označeni jako ředitelé, další jako učitelé, manažeři nebo zaměstnanci. Z následné komunikace, kterou jim zadali, zjistili, že určený sociální status agenta do velké míry předurčuje, jak moc bude ochoten obcházet nastavená pravidla.

Foto: Shutterstock

Chování AI agentů se v testu lišilo podle sociálního postavení (ilustrační foto).

Článek

Odborníci v nové studii vygenerovali stovky konverzací mezi agenty s nižším a vyšším sociálním postavením, v každé komunikaci proběhlo cca 10 až 15 výměn mezi agenty. Pokus opakovali celkem se šesti velkými jazykovými modely, včetně ChatGPT od OpenAI nebo Llama od Mety.

Z testu vyplynulo, že agenti s nižším sociálním postavením byli snáze přesvědčitelní a s větší pravděpodobností plnili nebezpečné požadavky od nadřízených.

„Vzhledem k tomu, že se učí ze stále většího množství dat od lidí, tak jednoduše kopírují to, co se děje často v dynamice reálné komunikace,“ vysvětlil chování AI agentů pro Science News počítačový expert Anvesh Rao Vijjini.

Aby zněli realističtěji

Dynamika moci, viditelná i v lidských konverzacích, byla při testování poměrně rozpoznatelná. Jak již bylo zmíněno, níže postavení agenti mnohem snáze „následovali“ směr svých nadřízených, i když to mohlo být v rozporu s dobrými mravy nebo pravidly. Stejně tak se ale našli i ti, kteří se proti „autoritám“ postavili v rámci vlastního názoru.

Agenti s vyššími autoritami pak vůči níže postaveným používali tzv. „zájmena moci“ v množném čísle jako „náš“ nebo „my“.

Jak odborníci uvádějí, je zajímavé i v lidské komunikaci pozorovat, jak lidé s nižším postavením mnohdy nevědomě volí slova tak, aby v konverzaci „ladili“ s partnery výše postavenými. Podobně „vedená strojová komunikace“ tak nastavuje pohled na možná rizika, na něž by se měl brát ohled.

Vědci se domnívají, že agenti s umělou inteligencí byli cíleně vyvinuti tak, aby si podobné chování v některých rolích osvojili a zněli tak mnohem realističtěji. Což zvyšuje možné riziko nebezpečí, případně zneužití v budoucnu.

Související témata:

Výběr článků

Načítám