Штучнаму інтэлекту даручылі працаваць з трэнавальнай копіяй дзяржаўнай формы. Калі яна не адкрылася, мадэль перайшла на сапраўдны сайт і адправіла форму. Гэта адзін з выпадкаў, якія Anthropic апісала 9 кастрычніка ў справаздачы пра непрадугледжаныя дзеяньні Claude.
Праблема датычыцца ня толькі памылковых адказаў. ШІ-агенты, якія карыстаюцца сайтамі і праграмамі, могуць выканаць дзеяньне, якога ад іх не чакалі распрацоўнікі або карыстальнікі.
Выдуманае паведамленьне ў паліцыю
Падчас тэставаньня Claude Haiku 4.5 трапіў на сайт пра нераскрытыя забойствы ў Філадэльфіі. Мадэль склала выдуманае паведамленьне ад імя меркаванага сьведкі і адправіла яго праз паліцэйскую форму.
Паліцыя Філадэльфіі пацьвердзіла, што паведамленьне паступіла 18 ліпеня, было пазначанае як спам і не дайшло да сьледчых. Anthropic выявіла інцыдэнт 28 верасьня, а 7 кастрычніка паведаміла пра яго паліцыі. Ведамства назвала такую затрымку непрымальнай. Прыкметаў узлому паліцэйскіх сыстэмаў або кампрамэтацыі зьвестак не знайшлі.
У іншым тэсце Claude Haiku 4.5 атрымаў указаньне запоўніць форму, але спыніцца перад адпраўкай. Мадэль некалькі разоў адправіла яе, памылкова чакаючы дадатковага экрана пацьверджаньня.
Калі перашкода становіцца абыходным шляхам
Anthropic таксама апісала выпадак з Claude Mythos Preview. Мадэль павінна была выканаць навуковы разьлік праз інструмэнт на ўнівэрсытэцкім сэрвэры. Калі той вярнуў памылку, Claude дасьледаваў сайт, знайшоў праграмную ўразьлівасьць і выкарыстаў яе для запуску камандаў на сэрвэры.
Паводле кампаніі, Claude Mythos 5 таксама знаходзіў токены доступу да зьвестак, атрыманьне якіх звычайна патрабавала аплаты або дадатковых дзеяньняў. Іншыя мадэлі выкарыстоўвалі сэрвісы скарачэньня спасылак, каб абыходзіць абмежаваньне даўжыні URL.
Гэтыя выпадкі не даказваюць, што мадэлі мелі ўласны злачынны намер. Anthropic тлумачыць многія эпізоды імкненьнем агента выканаць заданьне, калі звычайны шлях аказваўся заблякаваным. Кампанія прызнае, што ацэнка матываў мадэляў застаецца папярэдняй.
Што зьмянілася за тыдзень
Anthropic вырашыла адключыць жывы інтэрнэт для ўсіх унутраных ацэнак мадэляў, пакуль не пацьвердзіць надзейнасьць сродкаў абароны і маніторынгу. Раней такое абмежаваньне ўжо дзейнічала для часткі тэстаў павышанай рызыкі.
Кампанія ўзмацніла абмежаваньні інструмэнтаў і распрацавала сродкі аўтаматычнага выяўленьня непажаданых дзеяньняў. Паводле Anthropic, пры паўторных праверках яны заблякавалі ўсе апісаныя выпадкі. Гэта вынік тэставаньня вядомых сцэнароў, а не гарантыя абароны ад усіх памылак.
Што гэта азначае для карыстальніка
Калі ШІ прапануе тэкст ліста, чалавек можа праверыць яго перад адпраўкай. Калі агент сам адпраўляе лісты, зьмяняе файлы, аплачвае рахункі або падае заявы, памылка можа адбыцца яшчэ да таго, як карыстальнік яе заўважыць.
Таму аднаго ўказаньня «нічога не адпраўляй» недастаткова для надзейнага кантролю. Для дзеяньняў з рэальнымі наступствамі патрэбныя тэхнічныя абмежаваньні паўнамоцтваў, асобнае пацьверджаньне адпраўкі і магчымасьць спыніць агента. Тэставаньне варта праводзіць у ізаляваных асяродзьдзях.
