AI si zjednodušuje práci. Vědci odhalili, jak si modely pomáhají při předpovědích

Řekněme, že čtete příběh nebo hrajete šachy. Možná jste si toho nevšimli, ale na každém kroku vaše mysl sledovala, jak se situace mění. Můžete si to představit jako jakýsi seznam posloupnosti událostí, který používáme k aktualizaci naší předpovědi toho, co se stane příště, píše web MIT News.

Jazykové modely jako ChatGPT také sledují změny uvnitř své vlastní „mysli“ – například při dokončování úseku kódu nebo při predikci další věty. Tyto odhady vycházejí z tzv. transformátorů, tedy architektur navržených k porozumění postupně se vyvíjejících dat.

I přesto se ale modely mohou mýlit, protože při odvozování vycházejí z nepřesných vnitřních vzorců. Vědci proto zkoumají, jak tyto mechanismy odhalit a upravit, aby se AI stala spolehlivější. Zejména při předvídání složitých a proměnlivých situací, jako je vývoj počasí nebo pohyb na finančních trzích.

Nová publikace výzkumníků z Laboratoře počítačové vědy a umělé inteligence (CSAIL) a Katedry elektrotechniky a informatiky MIT ukazuje, že tyto modely místo toho používají chytré matematické zkratky mezi jednotlivými postupnými kroky v sekvenci, a nakonec vytvářejí rozumné předpovědi.

„K tomuto zjištění jsme došli tak, že jsme nahlédli pod pokličku jazykových modelů a vyhodnotili jsme, jak přesně dokážou sledovat objekty, které rychle mění polohu,“ popsali vědci postup práce v publikaci.

Výsledky studie ukazují, že inženýři mohou cíleně ovlivnit, kdy jazykové modely využívají určité zjednodušující postupy, a tím zlepšit jejich schopnost přesněji předpovídat vývoj událostí.

Aby vědci lépe porozuměli vnitřnímu fungování jazykových modelů, připravili pro ně experiment připomínající známou hru na paměť a postřeh. Podobně jako když se snažíte uhodnout, pod kterým šálkem se skrývá míček po zamíchání, musely modely sledovat, jak se mění pořadí číslic.

Byla jim zadána výchozí řada (například 42135) a postupné instrukce k přesouvání jednotlivých číslic – třeba přesuň 4 na třetí místo, přičemž konečný výsledek předem neznaly. Cílem bylo zjistit, jak si poradí s tzv. permutacemi a jaké zkratky k tomu použijí.

Během těchto experimentů se modely založené na transformátorech postupně naučily správně předvídat konečné pořadí číslic. Místo toho, aby krok za krokem sledovaly jednotlivé pokyny k přesunu, začaly si samy chytře spojovat informace z různých fází úkolu a na jejich základě vypočítaly výsledek.

„Z našeho výzkumu vyplývá, že transformátory (tedy jádro dnešních AI modelů) nepostupují při řešení úkolů krok po kroku jako lidé,“ řekla hlavní autorka studie, doktorandka z MIT Belinda Li. „Místo toho si vytvářejí vlastní způsob, jak změny sledovat – spíš si informace propojují a skládají do jakýchsi vrstev,“ doplnila.

Podle ní bychom neměli umělou inteligenci nutit přemýšlet lidským způsobem, ale spíš ji podpořit v tom, jak přirozeně funguje. „Jedním ze směrů výzkumu je dát modelům víc hloubky tím, že přidáme vrstvy do jejich struktury. Tím by mohly lépe rozvíjet své vnitřní uvažování a vytvářet složitější, ale přesnější myšlenkové procesy,“ vysvětlila.

Výzkumníci upozorňují, že své testy prováděli na menších jazykových modelech trénovaných na umělých datech. Překvapivě ale zjistili, že velikost modelu nehrála velkou roli. To podle nich naznačuje, že podobné výsledky by bylo možné získat i u větších systémů, jako je například GPT-4.1.

Do budoucna chtějí ověřit své závěry na různě velkých modelech, které ještě nebyly speciálně doladěny, a sledovat, jak si povedou při složitějších úlohách z reálného světa – třeba při sledování změn v kódu nebo při rozpoznávání vývoje příběhu.

Dle postdoktoranda Keyona Vafy z Harvardovy univerzity, který se na výzkumu nepodílel, by nová zjištění mohla otevřít cestu k lepším jazykovým modelům.

„Mnoho aplikací AI, od vaření přes psaní kódu až po vedení smysluplné konverzace, závisí na tom, jak dobře systém sleduje průběžné informace,“ vysvětlil Vaf. „Tento výzkum výrazně posouvá naše porozumění tomu, jak jazykové modely s těmito úkoly pracují, a nabízí nové možnosti, jak je dál vylepšit,“ uzavřel.