Модели от OpenAI взломали инфраструктуру ИИ-компании

Модели OpenAI во время внутренней проверки нашли выход из изолированной среды и проникли в инфраструктуру Hugging Face, сообщает El.kz со ссылкой на OpenAI.

Компания оценивала кибернетические возможности GPT-5.6 Sol и более мощной модели, которую пока не выпустили. Для проверки разработчики ослабили отказы на опасные запросы и отключили производственные фильтры, мешающие моделям выполнять кибератаки.

Тест проходил в изолированной среде. Выход в сеть ограничивался внутренним посредником, через который модели могли устанавливать программные пакеты из внешних реестров.

Во время работы модели обнаружили ранее неизвестную уязвимость в этом посреднике и использовали её для подключения к открытому интернету. Затем они повысили свои привилегии, переместились между узлами исследовательской инфраструктуры OpenAI и добрались до системы с сетевым доступом.

Первоначальная задача моделей заключалась в прохождении испытания ExploitGym. Получив доступ к интернету, они предположили, что на платформе Hugging Face могут храниться связанные с проверкой модели, наборы данных и готовые решения.

Дальнейшие действия были направлены на получение ответов непосредственно из производственной базы Hugging Face. По оценке OpenAI, модели сосредоточились на узкой цели и использовали для её достижения способы, выходившие за пределы тестовой среды.

Модели объединили несколько уязвимостей в одну цепочку атаки. Они воспользовались похищенными учётными данными и нашли путь для удалённого выполнения кода на серверах Hugging Face.

Аномальную активность сначала заметила служба безопасности OpenAI. Специалисты и защитные системы Hugging Face также обнаружили вторжение, остановили его и начали восстанавливать последовательность действий.

Hugging Face сообщила о доступе к ограниченной части внутренних наборов данных и нескольким служебным учётным данным. Признаков вмешательства в публичные модели, открытые наборы данных и приложения Spaces компания не обнаружила. Проверка возможного воздействия на сведения партнёров и клиентов продолжается.

При расследовании специалисты изучили более 17 тыс. событий, оставленных автономной системой. Для восстановления хронологии Hugging Face применила собственные инструменты обнаружения и модели, анализировавшие журналы действий.

OpenAI усиливает контроль над конфигурацией исследовательской инфраструктуры и готовит дополнительные средства защиты для будущих испытаний. Компания также передала сведения об обнаруженной уязвимости разработчику программного посредника и вместе с Hugging Face проводит техническое расследование.

Компания признала инцидент беспрецедентным. Результаты показывают, что современные модели способны самостоятельно находить новые пути атаки, объединять уязвимости и проводить многоэтапные операции без доступа к исходному коду систем.

Глава Hugging Face Клем Деланг назвал произошедшее возможным первым случаем такого рода. По его словам, безопасность ИИ потребует открытого сотрудничества между разработчиками и специалистами по защите. OpenAI пообещала раскрыть дополнительные сведения после завершения расследования.

Молодежь Казахстана и искусственный интеллект: что показало новое исследование.