Anthropic предупреди: AI може скоро да започне сам да ускорява развитието си

Anthropic включи сериозно предупреждение за бъдещето на изкуствения интелект в документите за първичното публично предлагане на акциите си (IPO). Става дума за първата поправка към формуляра S-1, подадена до Комисията по ценните книжа и борсите на САЩ. В нея има ново предупреждение, което липсваше в първоначалния документ.

Компанията посочва, че вътрешните ѝ прогнози за бъдещите AI модели показват възможност те скоро да достигнат определен праг. В политиката ѝ за отговорно мащабиране той е описан като „драматично ускоряване на прогреса, дължащо се на изкуствен интелект“.

AI може да започне да ускорява собственото си развитие

На практика Anthropic допуска, че изкуственият интелект скоро може сам да ускорява развитието си. Това би било важна стъпка към рекурсивно самоусъвършенстване. При този процес AI участва в създаването на все по-мощни свои версии.

По-рано компанията призна, че изследванията, подпомагани от изкуствен интелект, могат да напредват много бързо. Възможно е темпото да изпревари разработването и внедряването на необходимите мерки за безопасност.

Това поставя сериозен въпрос пред индустрията. Ще могат ли механизмите за контрол да се развиват със същата скорост като самите AI модели?

Anthropic изброи рисковете в документите за IPO

В проспекта си за първичното публично предлагане, подаден на 26 октомври, Anthropic описва широк спектър от потенциални рискове.

Сред тях са пробиви в сигурността, загуба на данни и неконтролируеми автономни агенти. Компанията предупреждава и за възможността технологията да бъде използвана от злонамерени лица. Това може да помогне за разработването на химически, биологични или други опасни оръжия.

В документите е посочен и най-тежкият възможен сценарий. Според Anthropic изкуственият интелект може да се превърне в екзистенциална заплаха за човечеството.

Предупреждението показва, че дори водещите разработчици на AI признават сериозността на рисковете. Особено тревожни са възможностите на бъдещите поколения модели и темпото, с което те могат да се развиват.