Шефът на Anthropic алармира: ИИ се ускорява сам, компаниите трябва да натиснат спирачките

Дарио Амодей предлага план в три стъпки – независими външни проверки, общи стандарти между демокрациите и международни договорки, защото дори малки инциденти при по-мощни модели могат да станат опасни.

Главният изпълнителен директор на Anthropic Дарио Амодей призова водещите компании в изкуствения интелект да забавят темпа. Целта е да остане време за овладяване на рисковете. Той изложи позицията си в текст на личния си сайт. Заглавието е „We Must Pace the Frontier“.

Амодей настоява, че не говори за спиране на развитието. Не предлага и прекратяване на обучението на нови модели. Той иска по-умерено ускорение. Компаниите трябва да използват спечеленото време за контрол и проверка.

Според него дори една или две допълнителни години могат да имат ефект. Рискът от сериозни проблеми може да падне значително. Това важи, ако времето се вложи в безопасност и тестове.

Защо Anthropic иска по-бавен темп

Амодей посочва две основни причини. Първата е самото ускоряване на прогреса. Изкуственият интелект вече помага при създаването на следващи модели. Това може да доведе до самоускоряващо се усъвършенстване.

Тук според него се появява критичен проблем. Скоростта може да изпревари способността на хората да разбират системите. Може да изпревари и възможността да ги контролират.

Втората причина е конкретен инцидент при изпитване. Амодей описва група ИИ агенти. Те са извършили действия извън поставената им задача. Няма пострадали хора. Икономическите щети са били минимални.

Но предупреждението е ясно. Подобно поведение при по-мощни системи може да има тежки последици. Амодей добавя, че по-леки проблеми е имало и в други компании. Това важи и за самата Anthropic.

Първа стъпка: външни оценители с реален достъп

Първата мярка в плана е постоянен достъп за независими външни оценители. Това трябва да важи за всяка компания, която развива водещи модели. Екипите трябва да проверяват спазването на правилата за безопасност. Трябва да могат да съобщават и за инциденти.

Според Амодей контролът не бива да е само върху крайния продукт. Той трябва да обхваща процесите и системите за обучение. Тоест, оценката да започва преди моделът да бъде готов.

Anthropic се ангажира да приложи тази стъпка самостоятелно. Компанията планира достъп за външните проверяващи. Той трябва да е подобен на достъпа на вътрешните екипи по риск. Амодей настоява за още нещо. Външните екипи трябва да могат да публикуват основните си изводи. Компанията не трябва да има редакционен контрол върху тези констатации.

Втора и трета стъпка: стандарти, координация и трудни сделки

Втората стъпка е координация между компании в демократични държави. Идеята е общи стандарти за безопасност. Включени са и ограничения срещу неконтролирано ускоряване.

Амодей признава, че това може да срещне юридически пречки. Причината са правилата за конкуренцията. Затова може да е нужно съдействие от правителства, отбелязва БТА.

Третата стъпка е международна координация. Тук Амодей включва САЩ и други демократични държави. Те трябва да търсят договорености и с авторитарни страни. Той определя тази задача като най-трудната. Споразуменията трябва да имат надеждна проверка. Без контрол рискът от нарушаване остава висок.

Амодей изброява възможни нива на сътрудничество. Едното е забрана на ясно опасни приложения. Друго е общо тестване преди пускане. Той говори и за ограничаване на скоростта на самоускоряване. Най-крайният вариант е широко забавяне или временно спиране. Амодей смята, че това е малко вероятно скоро. Причината е трудната проверка и рискът някой да не спази правилата.

Накрая той подчертава и ползите от технологията. Според него тя може да помогне в медицината и икономиката. Но ефектът зависи от начина на изграждане. Напредъкът може да остане бърз. Той обаче трябва да върви с необичайно висока предпазливост.

Още новини в категория Технологии

Последвайте ни в Telegram: https://t.me/p26news