Anthropic отключила новые ИИ-модели после требований властей – в чем причина

Американская компания Anthropic сообщила о приостановке работы своих новых моделей искусственного интеллекта Fable 5 и Mythos 5. Решение было принято после обращения властей США, которые выразили обеспокоенность вопросами безопасности вскоре после публичного запуска разработок. Подробнее – в материале El.kz.

В компании заявили, что получили распоряжение, требующее прекратить доступ к моделям для всех клиентов. При этом подробные причины такого решения в официальном уведомлении не раскрывались.

Речь идет о возможном обходе защитных механизмов

По данным Anthropic, представители властей могли получить информацию о способе обхода встроенных ограничений моделей. В компании изучили представленную демонстрацию и сообщили, что обнаруженные проблемы касаются небольшого числа ранее известных уязвимостей.

Разработчик утверждает, что выявленные недостатки не являются уникальными для новых моделей. По его оценке, аналогичные результаты могут демонстрировать и другие общедоступные системы искусственного интеллекта.

Вопросы безопасности обсуждались еще до релиза

Еще до выхода Fable 5 компания ограничила круг организаций, получивших ранний доступ к модели. Такое решение объяснялось необходимостью дополнительной проверки возможностей системы и связанных с ней рисков.

Особое внимание уделялось способности модели выполнять задачи, связанные с компьютерной безопасностью. По этой причине разработчик заявлял о дополнительных мерах контроля и защиты.

Что известно о компании

Anthropic была основана в 2021 году бывшими сотрудниками OpenAI Дарио и Даниэлой Амодеи. Компания занимается разработкой систем искусственного интеллекта семейства Claude и считается одним из заметных игроков на рынке генеративных нейросетей.

На данный момент сроки возобновления работы Fable 5 и Mythos 5 не называются. Компания продолжает изучать обстоятельства, которые привели к решению о временном отключении моделей.

El.kz также писал о том, что ИИ шантажирует испытателей и не выполняет команды.