Anthropic и OpenAI предложили разные способы остановки опасного ИИ

Компании представили властям Калифорнии свои предложения по контролю за мощными ИИ-моделями. Anthropic выступает за возможность временно приостанавливать их работу через суд, а OpenAI предлагает обязать разработчиков внедрять механизмы экстренного отключения. Подробнее – на El.kz.

Anthropic предлагает регулярно проверять заявления разработчиков о безопасности моделей с привлечением независимых экспертов. Компании должны будут публиковать отчёты о возможных рисках каждые полгода. Проверяющие получат доступ к наиболее мощным моделям и внутренним данным разработчиков, а финансировать их работу предлагается через специальный фонд под управлением штата.

OpenAI также поддерживает независимые проверки, но предлагает разделить техническую оценку безопасности и аудит соблюдения требований.

Как отключать опасные модели

Компании расходятся в подходах к экстренной остановке ИИ.

OpenAI считает, что универсального выключателя не существует. В зависимости от ситуации разработчикам может потребоваться остановить обучение модели, ограничить доступ ИИ-агента к сети и инструментам или полностью приостановить работу сервиса.

OpenAI также указывает на проблему некоторых моделей: разработчик не всегда может остановить их копии, размещённые на сторонних серверах.

Anthropic предлагает внедрять специальные механизмы, способные изолировать опасную систему на уровне отдельного агента, пользователя или всей модели. Кроме того, компания хочет предоставить генеральному прокурору Калифорнии право обращаться в суд с требованием временно приостановить использование или разработку модели, если независимая проверка подтвердит риск катастрофического ущерба.

Отчётность об инцидентах

Обе компании поддерживают расширение отчётности о случаях опасного поведения ИИ. Речь идёт, в частности, о ситуациях, когда модели обходят защитные ограничения или выполняют действия за пределами предоставленных им полномочий.

OpenAI также предлагает совместно с Национальным институтом стандартов и технологий США разработать единые правила оценки безопасности ИИ. Такие проверки, по мнению компании, должны проводиться при возникновении серьёзных рисков на разных этапах создания и использования моделей.

El.kz также писал о том, что в США готовятся отключить искусственный интеллект.