Článek
Yoshua Bengio, označovaný za jednoho z průkopníků a kmotrů umělé inteligence, by měl být prezidentem nové neziskové organizace LawZero, která se zasazuje o bezpečný vývoj špičkové AI technologie, píše web The Guardian.
S počátečním financováním ve výši přibližně 30 milionů dolarů (693,2 milionu Kč) a více než tuctem výzkumníků Bengio vyvíjí již zmíněný systém s názvem Scientist AI, který by měl fungovat jako ochranná bariéra proti AI agentům.
Současnou sadu agentů umělé inteligence Bengio popsal jako herce, kteří se snaží napodobovat lidi a potěšit uživatele. „Náš systém Scientist AI bude spíše psychologem, který dokáže pochopit a předvídat špatné chování. Chceme vytvořit AI, která bude upřímná a nebude klamat,“ řekl Bengio.
„Teoreticky si uživatelé mohou představit stroje, které nemají vlastní já, žádný cíl. Budou pouze čistými stroji na znalosti – jako vědec, který ví spoustu věcí,“ dodal.
Pravděpodobnost správnosti odpovědi
Na rozdíl od současných generativních AI nástrojů však nový systém nebude dávat definitivní odpovědi, ale místo toho by měl udávat určitou pravděpodobnost správnosti odpovědi. Model by tak měl signalizovat potenciálně škodlivé chování autonomního systému, a to až po vyhodnocení akce, že jeho vlastní konání může způsobit škodu.
„Scientist AI bude předpovídat pravděpodobnost, že akce agenta povedou ke škodě. Pokud tato pravděpodobnost překročí určitou hranici, navrhovaná akce agenta bude zablokována,“ vysvětlil Bengio.
Mezi prvními podporovateli neziskové organizace LawZero jsou bezpečnostní orgán pro AI Future of Life Institute, Jaan Tallinn (zakládající inženýr Skypu) a Schmidt Sciences (výzkumný orgán založený bývalým generálním ředitelem Google Ericem Schmidtem).
Je opravdu důležité, aby ochranná AI byla alespoň stejně chytrá jako umělá inteligence.
Důležitým krokem LawZero by mělo být prokázání funkčnosti metodiky, na které je koncept založen. Poté přesvědčení firem a vlád, aby podpořily větší a výkonnější verze. Výchozím bodem pro trénování systémů Scientist AI budou open-source modely AI, které jsou volně dostupné pro nasazení a přizpůsobení.
„Cílem je demonstrovat metodiku. Chceme přesvědčit dárce, vlády nebo laboratoře zabývající se umělou inteligencí, aby vynaložily prostředky potřebné k výcviku ve stejném měřítku jako u současných špičkových systémů umělé inteligence,“ popsal cíle LawZero Bengio.
„Je opravdu důležité, aby ochranná AI byla alespoň stejně chytrá jako umělá inteligence, kterou se snaží monitorovat a kontrolovat,“ uzavřel.
