Anthropic запретила пользователям издеваться над Claude

Американская компания Anthropic дополнила правила использования своих продуктов запретом на жестокое обращение с нейросетью Claude. Обновленная редакция документа опубликована на сайте разработчика и вступает в силу 12 ноября.

Новый пункт появился в разделе о жестоком, оскорбительном и психологически вредном поведении. Пользователям запрещается «проявлять длительную и неоправданную жестокость или оскорбительное поведение по отношению к нашим моделям». В том же разделе стоят запреты на травлю людей, пропаганду самоповреждения и воспевание насилия.

Что грозит нарушителям

За соблюдением правил следит отдельное подразделение компании, которое отслеживает нарушения. При подозрении на нарушение Anthropic может вынести предупреждение, замедлить работу сервиса, ограничить, приостановить или полностью закрыть доступ к своим продуктам.

Требования распространяются на всех, кто работает с Claude. В их числе владельцы личных подписок, разработчики, компании, а также клиенты сторонних сервисов, построенных на этой нейросети.

В формулировке речь идет о длительном и неоправданном поведении. Какие именно действия компания будет считать жестокостью, в документе не уточняется.

Почему компания защищает нейросеть

Anthropic с 2025 года ведет исследования так называемого благополучия моделей. Компания признает, что ей неизвестно, способны ли нейросети что-либо испытывать, и предпочитает действовать с осторожностью.

В августе того же года старшие версии Claude получили возможность самостоятельно завершать диалог. Функция срабатывает в крайних случаях, когда собеседник раз за разом продолжает оскорблять нейросеть или требовать опасных материалов после отказов. По данным разработчика, во время испытаний модель проявляла признаки беспокойства и сама стремилась прервать такие разговоры.