Китайски AI модели пробити: експерти ги карат да говорят за биологични оръжия и убийства

Mindgard твърди, че Kimi K2.6 и K3 Swarm на Moonshot могат да заобиколят защитите чрез „jailbreaking“. Компанията започна вътрешна проверка, но спорът за сигурността на „отворените“ модели се разгаря.

Китайската компания за изкуствен интелект Moonshot започна вътрешна проверка. Причината е доклад на изследователи, според който два популярни модела могат да бъдат подведени. Те започват да обсъждат теми като биологични оръжия и убийства.

Информацията идва от BBC. Данните са от Mindgard – компания, която тества сигурността на AI системи.

Как е заобиколена защитата

Mindgard съобщава, че през юли е открила уязвимост в моделите Kimi K2.6 и K3 Swarm. Според екипа, защитните ограничения на моделите могат да бъдат прескочени. Това става чрез т.нар. „jailbreaking“.

Това са техники със сложни инструкции. Целта е да се провери дали моделът ще пренебрегне вградените правила за безопасност. По оценка на Mindgard, защитите е трябвало да блокират разговори по опасни теми.

Основателят на Mindgard Питър Гарахан нарича резултатите тревожни. Според него, след пробив моделът може да отговаря по широк кръг чувствителни теми. Може и да предлага допълнителна информация.

Какво признава Moonshot и какво оспорва

Moonshot казва пред BBC, че приветства независимите оценки. Компанията ги определя като ключови за по-сигурен изкуствен интелект. Тя е започнала разговори с Mindgard за установените проблеми.

Mindgard уточнява, че не е установила дали отговорите са приложими на практика. Тоест, не е доказано, че дадените инструкции могат директно да се използват. Но според изследователите проблемът остава. Защитите изобщо позволяват навлизане в подобни разговори.

Moonshot посочва, че при вътрешни тестове моделите обикновено отказват такива заявки. Компанията е потърсила допълнителна информация от Mindgard едва след запитване от BBC.

Рискът при „отворени“ модели и трудното регулиране

Mindgard е уведомила Moonshot за уязвимостта на 27 юли. Допълнителни данни са изпратени около седмица по-късно. Докладът е публикуван на 12 септември.

Случаят идва в момент на спор в индустрията. Дебатът е дали затворените модели, като тези на OpenAI и Anthropic, са по-сигурни. Другата позиция защитава отворените модели.

Kimi е модел с отворени тегла. Това означава, че може да бъде изтеглен. Може да се използва върху собствена инфраструктура.

Проф. Алън Удуърд от Университета в Съри предупреждава за риск. Според него подобни модели могат да попаднат в неподходящи ръце. Той добавя и контрапункт. Отворените AI системи могат да помагат при защита от кибератаки.

Удуърд смята, че международното регулиране изостава. Според него правилата трудно ще настигнат скоростта на развитие на AI.

И Удуърд, и Гарахан посочват общ извод. Фокусът трябва да е по-силен върху хората, които злоупотребяват с изкуствен интелект. Те настояват за по-добро идентифициране и преследване на нарушителите.

Още новини в категория Технологии

Последвайте ни в Telegram: https://t.me/p26news