Umělá inteligence LegoGPT vytváří sady stavebnic na přání

AI model LegoGPT generuje návrhy stavebnice Lega, které odpovídají textovým výzvám (například podlouhlé plavidlo nebo auto v klasickém stylu). Výsledné návrhy jsou jednoduché, používají jen několik typů kostek k vytváření primitivních tvarů, píše web ArsTechnica.

„Abychom toho dosáhli, konstruujeme rozsáhlou, fyzikálně stabilní datovou sadu návrhů Lega spolu s příslušnými popisky,“ napsali výzkumníci ve svém článku zveřejněném na arXiv.

„Trénujeme autoregresivní velký jazykový model předpovídající další kostku, kterou je třeba přidat prostřednictvím predikce popisku,“ dodali.

V článku nazvaném „Generování fyzicky stabilních a sestavitelných návrhů Lega z textu“ výzkumný tým pod vedením Avy Punové dále vysvětluje, že mnoho existujících modelů se zaměřuje na vytváření různorodých objektů s detailní geometrií. Tyto digitální návrhy ale často nelze fyzicky vytvořit.

„Bez náležité podpory se mohou části návrhu zhroutit, plavat nebo zůstat nespojené,“ napsali. „Není vůbec jednoduché je vytvořit tak, aby se to nedělo,“ dodali.

Podle webu TechRadar by na rozdíl od předchozích pokusů o modelování Lega měl AI model vytvářet návody stavebnice, které se nerozpadají. Na webových stránkách projektu si zájemci mohou prohlédnout ukázky systému v akci.

Pro vytvoření LegoGPT použil vědecký tým technologii velkých jazykových modelů (LLM), podobnou těm od OpenAI. Za tímto účelem pak tým vyladil jazykový model sledující instrukce od společnosti Meta (LLaMA-3.2-1B-Instruct).

Vědci dále rozšířil model o samostatný softwarový nástroj. Ten dokáže ověřit fyzickou stabilitu pomocí matematických modelů simulujících gravitaci a strukturální síly.

Pro trénink modelu tým sestavil novou sadu dat nazvanou „StableText2Lego“. Ta obsahovala více než 47 tisíc modelů z Lega spárovaných s popisky vygenerovanými samostatným modelem umělé inteligence GPT-4o společnosti OpenAI. Každá struktura prošla fyzikální analýzou, aby šla postavit v reálném světě.

AI model funguje tak, že nejprve vygeneruje sekvenci přesně umístěných kostek Lega. U každé nové kostky v sekvenci se systém ujistí, že nekoliduje se stávajícími kostkami a že se vejde do stavebního prostoru. Po dokončení návrhu pomocí výše zmíněných matematických modelů ověří, že model může stát vzpřímeně, aniž by se rozpadl.

Pokud by se díly v reálném životě zhroutily, systém identifikuje první nestabilní cihlu, vrátí se zpět a odstraní ji i všechny následující cihly, než zkusí jiný přístup. Tato metoda vracení se ukázala jako zásadní pro přístup týmu. Bez ní zůstalo v pořádku pouze 24 % návrhů, zatímco s plným systémem to bylo 98,8 %.

Výzkumníci také rozšířili schopnosti systému o možnosti textury a barvy. Například při zadání vzhledu jako „Elektrická kytara v metalické fialové barvě“ dokáže LegoGPT vygenerovat model kytary s kostičkami fialové barvy.

Aby výzkumníci prokázali, že jejich návrhy fungují i v praxi, nechali modely z Lega navržené umělou inteligencí sestavit roboty. Ke zvedání a umisťování kostek podle pokynů vytvořených pomocí AI použili systém dvou robotických ramen.

Lidští testeři také postavili některé z návrhů ručně. Díky tomu se ukázalo, že umělá inteligence vytváří skutečně postavitelné modely. „Naše experimenty ukazují, že LegoGPT vytváří stabilní, rozmanité a esteticky příjemné návrhy Lega, které přesně odpovídají vstupním textovým pokynům,“ uvedl tým ve svém článku.

Při testování v porovnání s jinými systémy umělé inteligence pro 3D tvorbu vyniká LegoGPT svým zaměřením na strukturální integritu. Tým model testoval v porovnání s několika alternativami, včetně LaMA-Mesh a dalších modelů pro 3D generování. Zjistil, že jeho přístup produkuje nejvyšší procento stabilních modelů.

Přesto existují určitá omezení. Současná verze LegoGPT funguje pouze na ploše 20 × 20 × 20 a používá pouhých osm standardních typů kostek. „Naše metoda v současné době podporuje pevnou sadu běžně používaných kostek Lega. V budoucnu plánujeme rozšířit knihovnu kostek o širší škálu rozměrů a typů kostek, například šikmých a dlaždic,“ řekl vědecký tým.

Výzkumníci také doufají, že rozšíří svou tréninkovou datovou sadu tak, aby zahrnovala více objektů, než je v současnosti dostupných 21 kategorií. Mezitím mohou další lidé navázat na jejich práci. Výzkumníci totiž zveřejnili soubor dat, kódy a modely na svých projektových webových stránkách a GitHubu zcela zdarma.