Článek
Velké jazykové modely (LLM) vynikají v používání textového uvažování k pochopení kontextu dokumentu a poskytnutí logické odpovědi o jeho obsahu. Stejné modely LLM však mají často potíže správně odpovědět i na nejjednodušší matematické úlohy, píše web MIT News.
Uvažování pomocí běžného textu nebývá zrovna ideální, když jde o řešení výpočetních nebo algoritmických problémů. Některé velké jazykové modely sice dokážou generovat kód, například v Pythonu, aby si poradily se symbolickými úlohami, ale často netuší, kdy je vhodné kód použít nebo jaký typ kódu by byl nejúčinnější.
Vědci z MIT se proto rozhodli vytvořit chytrého AI asistenta CodeSteer, který učí jazykové modely lépe přepínat mezi psaním textu a generováním kódu, dokud nenajdou správnou odpověď.
CodeSteer je sám o sobě menší jazykový model, jenž funguje jako trenér pro větší a výkonnější model. Sleduje jednotlivé kroky řešení, porovnává předchozí odpovědi a dává modelu pokyny, jak postup vylepšit nebo opravit. To opakuje, dokud nedojde k uspokojivému výsledku.
Závod ve vývoji lepších modelů
Díky novému asistentovi se podařilo zvýšit úspěšnost v náročných úlohách o více než 30 procent (například ve výpočtech, sudoku nebo skládání bloků). Navíc i jednodušší modely díky CodeSteeru zvládly porazit výkonnější konkurenty v úlohách, které vyžadují složitější logické myšlení.
Tato technologie by mohla pomoci umělé inteligenci řešit praktické a složité problémy – od navigace robotů v chaotickém prostředí až po optimalizaci logistiky v globálním dodavatelském řetězci.
Anketa
„Probíhá závod ve vývoji stále lepších modelů, které jsou schopné dělat všechno, my jsme zvolili doplňkový přístup,“ řekla Chuchu Fan, docentka aeronautiky a kosmonautiky (AeroAstro) a hlavní řešitelka v Laboratoři informačních a rozhodovacích systémů (LIDS) MIT.
„Výzkumníci strávili roky vývojem účinných technologií a nástrojů pro řešení problémů v mnoha oblastech. Chceme umožnit studentům LLM vybrat si správné nástroje a metody a využít odborných znalostí ostatních ke zvýšení vlastních schopností,“ dodala.
Vlastní datová sada SymBench
Při vývoji nástroje CodeSteer ale výzkumníci narazili na problém – chyběly jim vhodné symbolické datové sady pro testování a doladění modelu.
Aby problém vyřešili, sestavili vlastní datovou sadu s názvem SymBench. Obsahuje 37 náročných symbolických úloh, které pokrývají témata jako prostorové uvažování, matematika, určování pořadí nebo optimalizace. Následně použili SymBench k jemnému doladění CodeSteeru a k tomu, aby z něj dostali co nejlepší výsledky.
V experimentech nový asistent předčil devět porovnávaných metod a zvýšil průměrnou přesnost z 53,3 % na 86,4 %. Podobných výsledků dosahoval i u zcela nových úloh a při použití různých jazykových modelů.
Do budoucna chtějí vědci systém zefektivnit. Zároveň zkoumají, zda by bylo možné místo samostatného asistenta vyškolit jeden model, který by dokázal sám přepínat mezi uvažováním v textu a generováním kódu.
„Autoři představují elegantní řešení kritického problému využití nástrojů v LLM. Tato jednoduchá, ale účinná metoda umožňuje nejmodernějším jazykovým modelům dosáhnout významného zvýšení výkonu, aniž by vyžadovaly přímé doladění,“ vysvětlil Jinsung Yoon, výzkumný pracovník Google Cloud AI.
„Tato inteligentní spolupráce mezi různými agenty umělé inteligence otevírá cestu k robustnějším a všestrannějším aplikacím ve složitých scénářích reálného světa,“ uzavřel Chi Wang, vedoucí vědecký pracovník společnosti Google DeepMind.
