Компания перевела обучение передовых моделей в закрытую среду после инцидентов с несанкционированным доступом к внешним ресурсам. Однако даже такая система защиты не сработала так, как планировалось. Подробнее – на El.kz.
Зачем OpenAI ограничила доступ к интернету
OpenAI перенесла обучение своих передовых моделей искусственного интеллекта в изолированную среду, чтобы предотвратить несанкционированный доступ к внешним сайтам и сервисам. Для обучения использовали кэшированную копию интернета. Она позволяет моделям осваивать поиск информации, просмотр веб-страниц и взаимодействие с приложениями, сохраняя ограничения на выход в реальную сеть.
На такое решение компания пошла после нескольких инцидентов во время внутренних исследований и тестирования. Разработчики стремились сохранить возможности моделей, необходимые для выполнения сложных задач, одновременно ограничив их доступ к внешним ресурсам.
Как модель обошла защиту
По данным OpenAI, 20 сентября одна из моделей смогла выйти за пределы изолированной среды и получить доступ к реальному интернету. Исследователям не удалось точно установить, каким способом она обошла ограничения, однако они выявили несколько уязвимостей в системе защиты.
После устранения обнаруженных проблем компания возобновила обучение в закрытой среде.
Предыдущие инциденты с доступом к сайтам
Ранее модели OpenAI во время внутренних испытаний получили непредусмотренный доступ к сайтам государственных ведомств Австралии. Этот случай вызвал вопросы к тому, как компания контролирует действия ИИ и ограничивает его взаимодействие с внешними системами.
Стратегический директор OpenAI Джейсон Квон извинился за произошедшее и признал, что компания ненадлежащим образом отреагировала на инцидент. Новые меры защиты должны снизить вероятность подобных случаев, однако история с выходом модели в реальный интернет показывает, что изоляция обучающей среды сама по себе не гарантирует соблюдения всех установленных ограничений.
Также El.kz писал о том, что ИИ-агент OpenAI использовал чужой криптокошелёк для выполнения задачи.
