Článek
Podle případové studie publikované minulý týden v časopise Annals of Internal Medicine se šedesátiletý muž, který chtěl ze zdravotních důvodů omezit kuchyňskou sůl ve své stravě, obrátil na velký jazykový model (LLM) pro tipy na náhradu, píše web Fox News.
ChatGPT mu doporučil nahradit běžnou kuchyňskou sůl (chlorid sodný) bromidem sodným, muž tento postup dodržoval po dobu tří měsíců.
Bromid sodný je chemická látka podobná běžné soli, která je však pro lidskou konzumaci ve větším množství jedovatá. V minulosti se využívala jako antikonvulzivum (pomocník při léčbě záchvatů, například u epilepsie - pozn. red.) a sedativum, dnes se podle National Institutes of Health používá hlavně k průmyslovému čištění, ve výrobě a zemědělství.
Známky paranoie, sluchové a zrakové halucinace
Muž se kvůli příznakům nespavosti, únavě, špatné koordinaci, červeným hrbolkům na kůži a nadměrné žízni rozhodl navštívit nemocnici. Tam po několika testech zjistili, že se jedná o bromismus, což je stav způsobený dlouhodobým působením bromidu sodného.
Šedesátník také vykazoval známky paranoie, byly u něj zjištěny sluchové a zrakové halucinace, nakonec byl po pokusu o útěk umístěn na psychiatrii.
Doktoři mu podávali tekutiny, elektrolyty, a také mu byla nasazena antipsychotika. Po třech týdnech sledování byl z nemocnice propuštěn.
„Tento případ ukazuje, jak může používání umělé inteligence potenciálně přispět ke vzniku nepříznivých zdravotních následků, kterým lze předcházet,“ napsali výzkumníci v případové studii.
„Je důležité vzít v úvahu, že ChatGPT a další systémy umělé inteligence mohou generovat vědecké nepřesnosti, postrádají schopnost kriticky diskutovat o výsledcích a v konečném důsledku podporují šíření dezinformací,“ dodali výzkumníci.
Umělá inteligence není lékař
Doktor Harvey Castro, certifikovaný lékař urgentní medicíny a národní řečník o umělé inteligenci z amerického Dallasu, zdůraznil, že umělá inteligence je nástroj a ne lékař.
„Velké jazykové modely vytvářejí text předpovídáním statisticky nejpravděpodobnějšího pořadí slov, nikoli ověřováním faktů,“ řekl pro Fox News.
„Bromidový omyl společnosti ChatGPT ukazuje, proč je kontext ve zdravotních radách nejdůležitější. Umělá inteligence nenahrazuje profesionální lékařský úsudek, což je v souladu s prohlášením společnosti OpenAI,“ doplnil.
Aby se předešlo případům, jako je tento, Castro vyzval k zavedení více ochranných opatření pro velké jazykové modely (LLM), jako jsou integrované databáze lékařských znalostí, automatické označování rizik, kontextové výzvy a kombinace dohledu člověka a umělé inteligence.
„S cílenými ochrannými opatřeními se mohou LLM vyvinout z rizikových univerzálních nástrojů v bezpečnější specializované nástroje. Nicméně bez regulace a dohledu se budou vzácné případy, jako je tento, pravděpodobně opakovat,“ dodal Castro.
Firma OpenAI poskytla společnosti Fox News následující prohlášení. „V našich podmínkách je uvedeno, že ChatGPT není určen k léčbě jakéhokoli zdravotního stavu a nenahrazuje odborné poradenství. Máme bezpečnostní týmy, které pracují na snižování rizik a vycvičili jsme naše systémy umělé inteligence, aby lidem doporučily vyhledat odborné poradenství,“ napsala společnost.
