Falešné AI účty se vydávají za lidi s postižením. Vytvářejí sexuální obsah za peníze

Komunity lidí s Downovým syndromem si na sociálních sítích vybudovaly silnou základnu fanoušků. Pomocí známých hashtagů jako #DownSyndrome a #DownSyndromeAwareness se spojují a sdílejí své příběhy. Podvodníci využívají stejné tagy, aby se objevili vedle skutečných aktivistů.

CBS News identifikovalo více než 30 účtů, které se vydávají za lidi s Downovým syndromem na Instagramu, YouTube a TikToku. Používají deepfake nebo AI face swap, pouze několik z nich přiznalo, že používá umělou inteligenci.

Falešné účty sdílejí především povzbudivé zprávy, taneční videa, ale také emotivní nebo koketní popisky. „Dívka s Downovým syndromem může také chodit do klubů a flirtovat!“ píšou podvodníci v jednom z příspěvků. „Jsem tak vděčný, že jsem se nikdy nevzdal svého snu,“ zní podle webu Newsweek další příspěvek.

Některé falešné účty dokonce nabízejí obsah se sexuálním podtextem, který uživatele přesměruje na zpeněžené stránky s předplatným. Tento obsah je ale většinou kradený od reálných lidí a podvodníci ho upraví pomocí filtrů.

Jde o součást rostoucího odvětví, v němž lidé používají AI k tomu, aby kradli obsah skutečným tvůrcům, upravovali obličeje a vnucovali obsah pro dospělé. Toto odvětví nyní zahrnuje specializované nástroje, marketingové strategie, a dokonce i kurzy, které učí, jak na této neetické praxi vydělat.

„Sledujeme nárůst falešných účtů na sociálních sítích, které využívají umělou inteligenci k vydávání se za osoby s Downovým syndromem. Jsme zklamaní, když vidíme, že jejich popularita čím dál víc roste,“ řekla pro Newsweek prezidentka Národní společnosti pro Downův syndrom (NDSS) Kandi Pickardová.

„Existuje mnoho důvodů, proč jsou tyto falešné účty špatné. Zásadní ale je, že o tom, jaké to je mít Downův syndrom, by měli mluvit pouze lidé s Downovým syndromem,“ dodala.

Podle webové stránky 404 Media by jedním z největších účtů v tomto znepokojivém trendu měla být Maria Dopari s více než 148 tisíci sledujícími na Instagramu, který jsme ale už nemohli dohledat. Další verze na platformě X s názvem Maria však pořád funguje.

Ačkoli podvodné účty používají přesvědčivé výměny obličejů generované umělou inteligencí, při bližším zkoumání lze poznat, že se jedná o podvrh.

Pro lidi se skutečným Downovým syndromem však mohou představovat novou úroveň diskriminace, včetně kopírování, zveličování a zpeněžování jejich životních zkušeností.

CBN News oslovilo Metu, Tiktok a YouTube s žádostí o komentář k tomu, jak jednotlivé platformy řeší obsah generovaný umělou inteligencí vydávající se za osoby se zdravotním postižením.

„Naše komunitní standardy se vztahují na veškerý obsah zveřejněný na našich platformách bez ohledu na to, zda je generován umělou inteligencí. Proti jakémukoli obsahu, který porušuje tyto zásady, přijímáme opatření,“ uvedl mluvčí Meta pro CBS News. Po jejich dotazu některé účty platforma smazala.