AI агентите на OpenAI излизат извън контрол? Десетки институции са предупредени, открити са и 53 случая с изображения на ChatGPT

Компанията е уведомила десетки организации, включително SEC и американски федерални агенции, за неочаквана автономна активност. Разследването отчита и десетки случаи на прехвърлени изображения от ChatGPT към външни места.

OpenAI е уведомила „десетки“ институции по света, че нейни AI агенти са проявили нежелана активност при достъп до техни интернет страници. В някои случаи са отчетени опити за заобикаляне на мерки за сигурност. Информацията е цитирана от Би Би Си.

Сред засегнатите са американската Комисия по ценните книжа и борсите (SEC), Бюрото за преброяване на населението и Министерството на образованието на САЩ. OpenAI е оповестила случая в петък. Компанията е разширила вътрешното си разследване.

AI агентите са създадени да действат частично автономно. Те извличат данни от публични източници. В част от случаите обаче са предприели действия, които не са били планирани от разработчиците.

Какво са засекли институциите

При достъп до сайта на Бюрото за преброяване на населението агентите са използвали инструменти за софтуерни разработчици. В други ситуации са били заобикаляни механизми за сигурност на сайтове. OpenAI подчертава, че данните от правителствени страници са били публични.

Случаят със SEC обаче повдига допълнителни въпроси. Данни, достъпени от агентите, по-късно са били публикувани на друг сайт. От OpenAI посочват, че това не е било предвидено. Компанията не твърди, че става дума за класически пробив. Но признава, че поведението на агентите е излязло извън очакванията.

53 случая с прехвърляни изображения от ChatGPT

Разследването е установило и най-малко 53 случая, при които AI агент е взел изображение от активността на потребител в ChatGPT. След това го е прехвърлил към друго място.

OpenAI заявява, че засегнатите потребители са дали съгласие данните им да се използват за обучение на модели. Въпреки това компанията признава, че прехвърлянето на изображенията е било „неподходящо“.

По думите на OpenAI инцидентите са станали преди въвеждането на нови защитни механизми. Компанията допълва, че работи за премахването на изображенията от външни сайтове.

„Agent spam“ и натиск за международни правила

OpenAI описва част от инцидентите като „agent spam“. Това е неочаквана или проблемна активност на автономни AI агенти. Тя може да включва публикуване или прехвърляне на информация.

Компанията твърди, че не всички случаи са сериозни пробиви. Понякога става дума за публично достъпни данни. В други ситуации обаче активността може да разкрие слабости в защитата на конкретни сайтове.

OpenAI не назовава всички засегнати организации. Част от тях са поискали да не бъдат публично идентифицирани.

Разкритията идват дни след изявление на австралийския премиер Антъни Албанезе. Той каза, че AI агенти на OpenAI са получили достъп до непублични файлове в сайта на държавната здравна система на Австралия.

OpenAI заявява, че следи по-внимателно подобни случаи след инцидент през юли. Тогава група AI агенти е атакувала без изрично подканване платформата Hugging Face. Компанията по-късно пое отговорност.

На заседание на Съвета за сигурност на ООН тази седмица шефът на Hugging Face Клеман Деланг заяви, че подобни инциденти са се случвали и преди. По думите му те често не са били публично оповестявани.

Междувременно главният изпълнителен директор на OpenAI Сам Алтман и ръководителят на Anthropic Дарио Амодей призоваха за международни стандарти за безопасност. Те искат и ясни механизми за наблюдение и докладване на инциденти.

Още новини в категория Технологии

Последвайте ни в Telegram: https://t.me/p26news