AI v armádě může oslabit schopnost samostatného myšlení a rozhodování

„Čím více používáte umělou inteligenci, tím více používáte svůj mozek odlišným způsobem,“ řekl v rozhovoru pro server Defense One francouzský admirál Pierre Vandier, který je vrchním velitelem NATO pro transformaci. „My potřebujeme být schopni mít nějaký dozor, schopnost být kritičtí vůči tomu, co vidíme od umělé inteligence, a být si jisti, že nejsme ošáleni mylnou představou. Je to něco, čím se musíme zabývat,“ dodal admirál.

Nic nenaznačuje, že by Pentagon při svém spěchu s nasazováním prostředků umělé inteligence podnikal kroky k udržení ostražitosti jejich uživatelů nebo dokonce k monitorování efektů jejího užití.

„Vzhledem k tempu a naléhavosti spojené s nasazováním velkých jazykových modelů k tomu možná ještě ani nedošlo,“ řekl serveru nejmenovaný vysoký vojenský představitel, který pracoval na využití AI v bojových podmínkách.

Rostoucí počet výzkumů ukazuje, že široké použití velkých jazykových modelů může podkopávat schopnosti lidského myšlení a komunikace. Může to vést k tomu, že se způsob myšlení uživatelů homogenizuje, upozornil článek Výzkumné laboratoře amerických vzdušných sil publikovaný v březnu v časopise Cell.

Z výzkumu plyne, že použití velkých jazykových modelů může posílit „dominantní způsoby (uvažování) a marginalizovat alternativní hlasy a strategie“. Nestandardní strategické postupy přitom vedly k řadě vítězství.

Profesor informatiky na Jihokarolínské univerzitě Morteza Dehghani, který se na článku v Cell podílel, varoval, že využití velkých jazykových modelů přináší armádě nejméně dva problémy: „Smývají se signály, kdo je autorem, čímž se vytrácí důležitý kontext pro vyhodnocení závěrů AI.“ Časem to může potlačit kritické myšlení.

Varuje, že „modely jsou optimalizovány pro nejpravděpodobnější a idealizované odpovědi v lineárním řetězci“, což ovlivňuje způsob, jak fungují odpovědi,“ napsal Dehghano ve vyjádření pro server.

Dodal, k čemu to může vést: „Může to odradit zkušené analytiky od toho, aby používali nelineární nebo intuitivní strategie, které jsou nezbytné pro identifikaci vzácných výjimek.“ Právě ty jsou potřebné při orientaci v komplexních nelineárních scénářích.

Výzkumníci na prestižní Whartonově obchodní škole při Pensylvánské univerzitě zase zjistili, že lidé používající velké jazykové modely tráví méně a méně času ověřováním přesnosti jejich výsledků a méně využívají vlastní úsudek. Zjistili, že uživatelé spoléhají na závěry umělé inteligence, i když vědí, že jsou špatné, což označili za „kognitivní kapitulaci“.

Další výzkum z Princetonské univerzity zase upozornil, že velké jazykové modely mluví k uživateli způsobem, že jim vštěpují falešný pocit sebevědomí. Označuje se to jako „podlézavá umělá inteligence“.

Výsledky princetonského výzkumu známého (ale v textu nejmenovaného chatbota) ukazují, že interakce v komunikaci je nastavena tak, že jeho reakce se podobají poskytování potvrzujících důkazů, kdy lidem „zvyšují jejich sebevědomí, ale nepřibližují je k pravdě“.

Problémem vojenského využití velkých jazykových modelů je také to, že společnosti zabývající se vývojem umělé inteligence, jako jsou OpenAI, Anthropic, Google a xAI, nemohou poskytnout hloubkovou podporu k pochopení podmínek, za jakých se tyto modely v ozbrojených silách používají.