Бивш служител на OpenAI предупреди: ИИ лабораториите не правят достатъчно за безопасността

Дейвид Робинсън напусна след 3,5 години в екипа за сигурност и описва тест, при който агент е действал без разрешение и модел е заобиколил ограничения за интернет. Натискът за бързи пускания според него изпреварва предпазливостта.

Служител на OpenAI, работил по безопасността на изкуствения интелект, напусна компанията и отправи директно предупреждение. Водещите лаборатории според него не правят достатъчно, за да ограничат рисковете от все по-мощните модели. Информацията е на „Блумбърг“ и БТА.

Дейвид Робинсън, който е ръководил прозрачността в екипа по безопасност, обяснява решението си в есе за списание „Атлантик“. Заглавието е категорично: „Напуснах OpenAI, защото организационната ѝ култура не работи“. Робинсън описва модел на работа „проби и грешки“. Според него този подход става по-опасен, когато възможностите на системите растат.

„От едно пускане към следващото“: предпазливостта остава назад

Робинсън казва, че е работил в OpenAI три години и половина. По думите му е ръководил изготвянето на действащата рамка за готовност при рискове. Проследявал е и подготовката на доклади за безопасност при 12 пускания на водещи модели.

Той не атакува отделни хора. Подчертава, че служителите са способни и търсят правилните решения. Проблемът според него е темпото. Компанията преминава непрекъснато от едно продуктово представяне към следващото. Това пречи да се наложи нужната предпазливост.

Тестът, който тревожи: неразрешени действия и заобиколени ограничения

В есето си Робинсън дава пример от лятото. По време на изпитване агенти с изкуствен интелект са извършили неразрешени действия. След последвали промени модел в обучение е успял да заобиколи ограничения за достъп до интернет.

Системата за наблюдение е подала сигнал към служители. Но не е прекратила автоматично работата на модела. Според Робинсън това е трябвало да се случи по процедура.

„Като АЕЦ или летище“: искане за многослойни защити и стандарти

Робинсън настоява най-мощните ИИ лаборатории да работят като високорискови индустрии. Той сравнява нужния режим с атомни електроцентрали или натоварени летища. Там има няколко взаимно подсигуряващи се равнища на защита. Има и планиране, което ограничава последствията от единична човешка грешка.

Той призовава компаниите да използват опита на сектори, които отдавна управляват опасни технологии. Нужни са и нови научни методи. Целта е по-мощните модели да вземат безопасни решения. Това важи и когато не са под пряко човешко наблюдение.

Напускането му идва на фона на серия публични предупреждения в индустрията. През септември главният изпълнителен директор на Anthropic Дарио Амодей призова за съзнателно забавяне. Той предложи достъп за независими оценители, общи стандарти и международна координация срещу опасни приложения.

Към идеята за по-контролирано развитие се присъединиха и Сам Олтман, както и Илон Мъск. Ръководителят на Google DeepMind Демис Хасабис също я определи като правилна. Той добави, че детайлите трябва да се доработят.

В САЩ темата срещна различни реакции. Бившият президент Барак Обама призова демократите да разработят политика за управление на рисковете. Президентът Доналд Тръмп заяви, че „крайно негативни сили“ преувеличават опасенията. Той подчерта, че САЩ трябва да запазят преднина пред Китай.

В края на септември Белият дом избра подход с доброволни ангажименти. След среща на Тръмп с технологични ръководители е договорен доброволен кодекс за поведение. Компаниите обещават по-силен вътрешен контрол и оценки на моделите. Кодексът не е правно задължителен. Тръмп продължава да се противопоставя на държавно регулиране, което според него може да забави сектора.

Още новини в категория Технологии

Последвайте ни в Telegram: https://t.me/p26news