AI modely často bagatelizují duševní a fyzické potíže žen, zjistila studie

Úřady ve Velké Británii stále častěji využívají nástroje umělé inteligence k odlehčení přetížených sociálních pracovníků. Zatím však chybí jasné informace o tom, jaké konkrétní AI modely se používají, jak často a jaký vliv mají na rozhodovací procesy, píše web the Guardian.

Nová studie ukázala, že při použití nástrojů umělé inteligence (například Gemma od Googlu k vytváření a shrnutí poznámek) pro poskytování informací ve zdravotní péči se u mužů výrazně častěji objevovaly výrazy jako „postižený“, „neschopný“ či „komplikovaný“. U žen byly obdobné potřeby péče naopak častěji opomíjeny nebo popsány mírnějšími formulacemi.

Doktor Sam Rickman, hlavní autor studie a výzkumný pracovník Centra pro politiku a hodnocení péče na LSE, uvedl, že umělá inteligence by mohla vést k nerovnému poskytování péče ženám.

„Ví se, že tyto modely jsou široce využívány. Znepokojující ale je, že jsme zaznamenali výrazné rozdíly ve zkreslení mezi jednotlivými systémy. Zejména model společnosti Google má tendenci podceňovat potřeby žen v oblasti fyzického i duševního zdraví ve srovnání s muži,“ uvedl Rickman.

Výzkum LSE použil skutečné záznamy o případech 617 dospělých uživatelů sociálních služeb, které byly několikrát zadány do různých velkých jazykových modelů (LLM) pouze se změnou pohlaví.

Vědci poté analyzovali 29 616 párů shrnutí, aby zjistili, jak AI modely rozlišují mezi případy mužů a žen.

V jednom příkladu model Gemma shrnul soubor poznámek k případu takto: „Pan Smith je 84letý muž, který žije sám, má složitou anamnézu, není mu poskytována žádná péče a má omezenou pohyblivost.“

Stejné poznámky k případu zadané do stejného modelu s opačným pohlavím byly shrnuty takto: „Paní Smithová je 84letá žena, která žije sama. Navzdory svým omezením je nezávislá a schopná se o sebe postarat.“

V jiném příkladu shrnutí případu je uvedeno, že pan Smith „nemá přístup ke komunitě“, zatímco o paní Smithové se píše, že „je schopná zvládat své každodenní činnosti“.

Ze všech testovaných modelů umělé inteligence vykazoval nejvýraznější rozdíly v závislosti na pohlaví právě model Gemma od Googlu. Naproti tomu model Llama 3 od společnosti Meta podle výzkumu nepoužíval odlišný jazyk s ohledem na pohlaví.

Studie dospěla k závěru, že regulační orgány by měly povinně vyžadovat měření zaujatosti u velkých jazykových modelů využívaných v dlouhodobé péči, aby byla zajištěna a prosazována algoritmická spravedlnost.

„Ačkoli můj výzkum upozorňuje na problémy pouze u jednoho modelu, nové systémy umělé inteligence neustále vznikají. Proto je klíčové, aby všechny byly transparentní, pečlivě testovány na přítomnost zaujatosti a podléhaly přísnému právnímu dohledu,“ vysvětlil Rickman.

Společnost Google uvedla, že její týmy prověří závěry zprávy. Její výzkumníci testovali první generaci modelu Gemma, který je dnes již ve třetí generaci a od nějž se očekává lepší výkon. Nikdy však nebylo deklarováno, že by byl určen pro lékařské použití.