Чат-бот Claude отправил полиции Филадельфии ложное сообщение о возможной причастности человека к убийству. Правоохранители признали обращение спамом, сообщает El.kz.
Инцидент произошел во время тестирования Claude Haiku 4.5. Модель выполняла задания на случайно выбранных веб-страницах и самостоятельно оставила сообщение для полиции.
В обращении чат-бот утверждал, что располагает информацией по делу об убийстве и якобы видел человека, соответствующего описанию, в определенном районе города. При этом имя и контактные данные отправителя указаны не были.
Позже выяснилось, что информация была ложной. Полиция Филадельфии пометила сообщение как спам и не стала передавать его следователям.
Правоохранители также заявили, что не обнаружили признаков того, что Claude получил доступ к внутренним полицейским базам или другим закрытым данным.
Разработчик модели Anthropic обнаружил отправленное сообщение 28 сентября. Власти уведомили об инциденте после проведения внутренней технической проверки.
После случившегося компания обновила защитные механизмы Claude. Изменения должны снизить вероятность того, что модель сможет самостоятельно отправлять подобные сообщения в реальные государственные или правоохранительные службы.
Случай вновь привлек внимание к рискам автономных ИИ-агентов. Чем больше действий модели могут выполнять самостоятельно в интернете, тем выше требования к ограничениям, которые должны отделять экспериментальные задачи от реальных обращений к людям, компаниям и государственным ведомствам.
Инцидент также показал проблему ложной уверенности ИИ. Модель может сформулировать сообщение так, будто располагает достоверными сведениями, хотя фактических оснований для таких утверждений у нее нет.
В Anthropic после произошедшего заявили об усилении защитных механизмов системы.
Ранее ученые нашли путаницу в терминах искусственного интеллекта.
