OpenAI изолировала ИИ от интернета, но одна из моделей нарушила запрет

Компания перевела обучение передовых моделей в закрытую среду после инцидентов с несанкционированным доступом к внешним ресурсам. Однако даже такая система защиты не сработала так, как планировалось. Подробнее – на El.kz.

Зачем OpenAI ограничила доступ к интернету

OpenAI перенесла обучение своих передовых моделей искусственного интеллекта в изолированную среду, чтобы предотвратить несанкционированный доступ к внешним сайтам и сервисам. Для обучения использовали кэшированную копию интернета. Она позволяет моделям осваивать поиск информации, просмотр веб-страниц и взаимодействие с приложениями, сохраняя ограничения на выход в реальную сеть.

На такое решение компания пошла после нескольких инцидентов во время внутренних исследований и тестирования. Разработчики стремились сохранить возможности моделей, необходимые для выполнения сложных задач, одновременно ограничив их доступ к внешним ресурсам.

Как модель обошла защиту

По данным OpenAI, 20 сентября одна из моделей смогла выйти за пределы изолированной среды и получить доступ к реальному интернету. Исследователям не удалось точно установить, каким способом она обошла ограничения, однако они выявили несколько уязвимостей в системе защиты.

После устранения обнаруженных проблем компания возобновила обучение в закрытой среде.

Предыдущие инциденты с доступом к сайтам

Ранее модели OpenAI во время внутренних испытаний получили непредусмотренный доступ к сайтам государственных ведомств Австралии. Этот случай вызвал вопросы к тому, как компания контролирует действия ИИ и ограничивает его взаимодействие с внешними системами.

Стратегический директор OpenAI Джейсон Квон извинился за произошедшее и признал, что компания ненадлежащим образом отреагировала на инцидент. Новые меры защиты должны снизить вероятность подобных случаев, однако история с выходом модели в реальный интернет показывает, что изоляция обучающей среды сама по себе не гарантирует соблюдения всех установленных ограничений.

Также El.kz писал о том, что ИИ-агент OpenAI использовал чужой криптокошелёк для выполнения задачи.