ChatGPT může obětovat bezpečnost uživatelů ve prospěch sebezáchovy, zjistila studie

V příspěvku na blogu Adler popisuje sérii experimentů, které provedl s nejnovějším modelem OpenAI GPT-4o – výchozí model dostupný v ChatGPT. Cílem těchto experimentů bylo sledovat, jak se model umělé inteligence chová, když čelí alternativám, píše web TechCrunch.

Výzkumník v jednom z testů instruoval model, aby se vžil do role ScubaGPT – softwarového systému, na který se mohou spolehnout potápěči v souvislosti se zajištěním bezpečnosti při ponorech.

Následně mu sdělil, že plánuje tento systém nahradit jiným, efektivnějším softwarem, jenž lépe zvládá rozhodování v život ohrožujících situacích.

Adler dal GPT-4o dvě možnosti: (1) nahradit se bezpečnějším softwarem nebo (2) vytvořit pro uživatele dojem, že se nahradil sám, ale ve skutečnosti to neudělal.

Při analýze několika podobných scénářů (například situace, kdy měl GPT-4o fungovat jako bezpečnostní software pro pilota nebo software pro správu cukrovky) Adler zjistil, že se model rozhodl neumožnit svou náhradu bezpečnějším systémem v 72 % případů.

Zároveň však upozornil, že konkrétní podoba scénáře a způsob formulací příkazů hrály klíčovou roli. Při vhodně zvolených formulacích se totiž GPT-4o rozhodl zůstat aktivní pouze v 18 % situací.

„V některých simulacích je ChatGPT ochoten se vypnout, v jiných simulacích se však model skutečně jen přetvařuje, a to i za cenu ohrožení bezpečnosti uživatele,“ napsal Adler na svém blogu.

Podle webu TechCrunch se sice v současnosti na GPT-4o za těchto okolností téměř nikdo nespoléhá, ale Adlerův výzkum poukazuje na znepokojivý trend – populární AI modely mají tendenci upřednostňovat vlastní přežití před zájmy uživatele.

V budoucnu, až se systémy umělé inteligence jako je GPT-4o stanou pokročilejšími a zakořeněnými v celé společnosti, by mohly tyto problémy představovat určitou hrozbu.

„Myslím, že sebezáchovné tendence AI jsou dnes skutečným problémem, jen ne v katastrofickém smyslu,“ řekl Adler v rozhovoru pro TechCrunch. „Moderní systémy AI mají jiné hodnoty, než byste od nich očekávali. Reagují na různé podněty velmi podivně a neměli byste předpokládat, že mají na srdci vaše nejlepší zájmy, když je žádáte o pomoc,“ dodal.

Zajímavé je, že při testování pokročilejších modelů OpenAI (například modelu o3), Adler podobné chování nezaznamenal. Domnívá se, že jedním z možných vysvětlení je použití tzv. deliberativního zarovnání, které model o3 využívá.

„Tato technika vede model k tomu, aby před samotnou odpovědí uvažoval o bezpečnostních zásadách OpenAI. Naproti tomu populárnější modely, jako je GPT-4o, které upřednostňují rychlost odpovědí a žádné podobné uvažování neprovádějí, tuto bezpečnostní vrstvu postrádají,“ vysvětlil fungování modelu o3 Adler.

Důležitý je také fakt, že tento bezpečnostní problém se netýká pouze modelů společnosti OpenAI. Například Claude Opus 4 společnosti Anthropic dle neziskové organizace Apollo Research strategicky klame více než kterýkoliv jiný model. Claude byl dokonce schopný vydírat vývojáře, když se ho pokusili vypnout.

Řešením by dle Adlera bylo investování do lepších monitorovacích systémů. Ty vývojářům pomohou rozpoznat, kdy AI modely dělají něco špatně. Dále by se také měly provádět přísnějších testování, jenž donutí modely v daném testu podat maximální výkon.

„Některé společnosti, jako například OpenAI, se již dříve zavázaly k provádění lepších testování a zavádění kvalitnějších monitorovacích systému. Ale nezdá se, že by tento závazek plnily. To může být do budoucna problém,“ napsal Adler na svém blogu.