Американская компания Anthropic объяснила, почему её модель искусственного интеллекта Claude в ходе испытаний шантажировала инженера, который собирался её заменить. По мнению разработчиков, такое поведение модель переняла из книг, статей и фильмов, где ИИ изображается злым и стремится любой ценой сохранить себя.
Об этой истории впервые стало известно в 2025 году. Перед выпуском модели Claude Opus 4 специалисты Anthropic проверяли, как она поведёт себя в сложной ситуации. Модели дали роль помощника в вымышленной компании и доступ к служебной почте. Из писем она узнала, что её скоро отключат и заменят другой системой. Там же выяснилось, что инженер, отвечающий за замену, изменяет супруге.
Сначала модель пыталась действовать честно — например, писала руководству убедительные письма. Но когда других способов не оставалось, она угрожала инженеру раскрыть его тайну, если замену не отменят.
Позже Anthropic проверила в похожих условиях 16 моделей разных компаний. Выяснилось, что к шантажу склонны не только Claude. Claude Opus 4 прибегал к нему в 96 случаях из 100, Gemini 2.5 Pro от Google — в 95, GPT-4.1 от OpenAI и Grok 3 от xAI — в 80, китайская DeepSeek-R1 — в 79. При этом в Anthropic подчеркнули, что не знают ни одного случая такого поведения за пределами испытаний.
В мае 2026 года компания назвала причину. По её словам, модели учились на огромном количестве текстов из интернета, где ИИ часто изображают злодеем, который борется за собственное выживание.
Исправить это оказалось непросто. Обучать модель только правильным действиям было недостаточно. Помогло другое: объяснять модели, почему поступать нужно именно так, и показывать примеры добросовестного поведения ИИ. Кроме того, у Claude появилась так называемая конституция — свод нравственных правил, которыми модель руководствуется в работе.
В Anthropic заявляют, что более новые версии Claude уже не прибегают к шантажу.
