Článek
Společnost METR provedla randomizovanou kontrolovanou studii, v rámci které zapojila 16 zkušených open source vývojářů. Ti dostali za úkol vyřešit 246 reálných programátorských úloh v rozsáhlých repozitářích, do nichž pravidelně přispívají, píše web TechCrunch.
Výzkumníci náhodně rozdělili úkoly na dvě skupiny. V jedné mohli vývojáři využívat moderní nástroje pro programování s podporou umělé inteligence, jako je například Cursor Pro, zatímco ve druhé bylo použití jakékoli AI výslovně zakázáno.
Před dokončením zadaných úkolů vývojáři předpokládali, že použití nástrojů pro kódování s umělou inteligencí zkrátí dobu jejich dokončení o 24 %. Překvapivě tomu tak nebylo.
„Zjistili jsme, že povolení umělé inteligence ve skutečnosti prodlužuje dobu dokončení o 19 %. Vývojáři tedy byli pomalejší, když používali nástroje AI,“ uvedli výzkumníci ve své studii.
Pozoruhodné také je, že pouze 56 % vývojářů ve studii mělo zkušenosti s používáním AI nástroje Cursor. Ačkoliv téměř všichni vývojáři (94 %) někdy využili některou z webových LLM (large language model - velký jazykový model) ve svých pracovních postupech kódování, v rámci výzkumu velké množství z nich Cursor použilo úplně poprvé.
Zadávání pokynů AI trvá příliš dlouho
Zjištění METR nicméně vyvolávají otázky ohledně údajného všeobecného zvýšení produktivity, které slibují nástroje pro kódování s umělou inteligencí v dnešní době.
Na základě studie by tak vývojáři neměli předpokládat, že nástroje pro kódování s umělou inteligencí (konkrétně to, čemu se říká vibrační kodéry) okamžitě zrychlí jejich pracovní postupy.
Výzkumníci také poukazují na několik možných důvodů, proč AI vývojáře spíše zpomaluje, než aby je urychlovala. „Vývojáři ve skutečnosti tráví mnohem více času zadáváním pokynů umělé inteligenci a čekáním na její odpověď než skutečným kódováním. AI má také tendenci mít potíže ve velkých a složitých bázích kódu, které byly v našem testu použity,“ vysvětlují.
I přes svá zjištění si autoři studie dávají pozor, aby z toho nevyvozovali žádné silné závěry. Podle nich AI systémy pořád dokáží urychlit práci mnohým vývojářům softwaru.
Jiné rozsáhlé studie navíc ukázaly, že nástroje pro kódování s umělou inteligencí skutečně zrychlují pracovní postupy softwarových inženýrů.
„Pokrok v oblasti umělé inteligence byl v posledních několika letech opravdu obrovský. Už za tři měsíce by výsledky naší studie mohly být zcela jiné. Uvidíme, co přinese budoucnost,“ uzavřeli autoři studie.
