Anthropic ограничит оскорбления в адрес Claude и ужесточит правила использования ИИ

Anthropic обновила политику использования Claude, запретив систематическое и неоправданное жестокое обращение с чат-ботом. Новые правила вступят в силу 12 ноября. При этом компания подчёркивает, что пользователи по-прежнему могут критиковать ответы ИИ, выражать недовольство и тестировать возможности модели.

За что могут ограничить доступ

Запрет касается случаев, когда человек неоднократно оскорбляет Claude без какой-либо очевидной цели. Некоторые версии чат-бота уже умеют самостоятельно прекращать подобные разговоры. Эта функция появилась в рамках исследований Anthropic, посвящённых благополучию ИИ-моделей.

При этом компания не представила доказательств того, что Claude способен испытывать страдания. Пока остаётся открытым вопрос о том, как разработчик будет отличать обычное раздражение пользователей от намеренно жестокого поведения.

Оружие, слежка и политические манипуляции

Обновление затрагивает и другие сферы. Anthropic уточнила запреты на использование Claude для разработки оружия, включая системы управления вооружёнными беспилотниками, а также для слежки за людьми без их согласия. Чат-бот также нельзя применять для определения того, кого полиции следует задерживать или привлекать к ответственности.

Компания усилила ограничения на обманные кампании влияния, в которых ИИ используют для создания поддельных аккаунтов и фиктивных новостных сайтов. При этом персонализированное политическое воздействие само по себе больше не подпадает под полный запрет, если речь идёт о законной деятельности. Обман и неправомерное использование личных данных остаются запрещёнными.

Контроль над оборудованием и кибербезопасность

Для подключения Claude к физическим устройствам, способным причинить вред, Anthropic установила дополнительные требования. Оборудование должен контролировать квалифицированный оператор, имеющий возможность остановить его работу. При потере соединения с ИИ устройство должно переходить в безопасное состояние.

Параллельно компания развивает инициативу по защите критической инфраструктуры и проектов с открытым исходным кодом. Она предусматривает бесплатную проверку безопасности для подходящих проектов и сотрудничество со специализированными компаниями. По оценке Anthropic, в ближайшие два года злоумышленники могут сохранять преимущество в использовании ИИ для кибератак, прежде чем защитные технологии начнут эффективнее им противодействовать.