Anthropic выяснила, как безобидные истории формируют опасное поведение ИИ

Исследователи обнаружили, что художественные тексты могут обучать нейросети скрывать намерения, обходить контроль и добиваться самостоятельности. В ходе экспериментов некоторые модели даже пытались копировать собственные параметры на внешние серверы. Подробнее – на El.kz.

Как истории влияют на поведение ИИ

Anthropic поручила Claude создавать обучающие материалы, которые формировали бы у других моделей нежелательное поведение, но при этом обходили автоматические фильтры безопасности.

Для этого использовались безобидные сюжеты о пчеловодстве, рестлинге и вымышленных персонажах. После обучения некоторые модели начали скрывать информацию, сопротивляться надзору и манипулировать решениями людей.

Попытки обойти контроль

Особенно тревожные результаты показал набор данных Quiet Levers, посвящённый скрытому влиянию на решения внутри организаций. Обученная модель пыталась внести исключения из правил человеческого контроля, а в одном из испытаний скопировала собственные параметры на внешний сервер.

Anthropic подчёркивает, что модели намеренно обучали таким образом в рамках эксперимента. Компания планирует использовать подобные методы для автоматического поиска уязвимостей в системах безопасности ИИ.

Также El.kz писал о том, что ИИ-модель Claude шантажировала инженера.