Генеративный инструмент искусственного интеллекта IBM под названием Bob оказался уязвим к одному из самых опасных и коварных типов атак, характерных для современных ИИ-систем. Речь идет о так называемой косвенной инъекции подсказок (indirect prompt injection) — проблеме, которая уже неоднократно проявлялась у различных ИИ-ассистентов, но по-прежнему остается серьезной угрозой, сообщает El.kz со ссылкой на Techradar.
Суть этой атаки заключается в следующем. Если ИИ-инструменту разрешено читать содержимое сторонних приложений — например, электронную почту, календарь или документы, — злоумышленник может воспользоваться этим каналом. Он отправляет жертве на первый взгляд абсолютно безобидное письмо или создает невинную запись в календаре. Однако внутри такого сообщения может скрываться специальная подсказка, незаметная для пользователя, но понятная ИИ.
Получив такую скрытую инструкцию, ИИ может начать выполнять действия, которые выходят далеко за рамки ожидаемого поведения. В частности, он способен передавать данные третьим лицам, загружать и запускать вредоносное программное обеспечение, а также обеспечивать его закрепление в системе пользователя.
О проблеме стало известно после публикации нового отчета исследовательской компании Prompt Armor, специализирующейся на анализе уязвимостей ИИ-систем. В своем исследовании эксперты рассмотрели кодинговый агент IBM Bob, который на данный момент находится в стадии бета-тестирования.
Как выяснилось, агент доступен в двух вариантах: через CLI — терминальный агент для написания и выполнения кода, через IDE — интегрированную среду разработки с поддержкой ИИ.
По данным исследователей, именно CLI-версия наиболее уязвима для косвенных инъекций подсказок. IDE-вариант, в свою очередь, подвержен так называемым «известным ИИ-специфичным векторам утечки данных» — проблемам, характерным для ассистентов, глубоко интегрированных в процесс разработки.
Представители Prompt Armor подчеркнули, что приняли решение опубликовать результаты исследования открыто, чтобы предупредить пользователей о потенциальных рисках еще до полноценного релиза продукта.
Мы решили обнародовать результаты этой работы, чтобы пользователи были осведомлены об острых рисках использования системы до ее выхода в общий доступ. Мы надеемся, что к моменту релиза IBM Bob будут внедрены дополнительные меры защиты, способные устранить выявленные угрозы, — отмечают исследователи.
При этом эксперты делают важное уточнение. Для успешной эксплуатации этой уязвимости злоумышленнику необходимо, чтобы сам пользователь заранее выдал ИИ чрезмерно широкие права доступа.
Речь идет о включении опции «always allow» («всегда разрешать»), которая позволяет Bob выполнять любые команды без дополнительного подтверждения. Без такого разрешения реализовать атаку значительно сложнее или вовсе невозможно.
История с IBM Bob наглядно демонстрирует: по мере того как ИИ-ассистенты получают все больше полномочий и интеграций, цена ошибки в архитектуре безопасности стремительно растет. Даже самые продвинутые системы могут стать точкой входа для атаки — особенно если пользователи бездумно соглашаются на «всегда разрешать».
El.kz также сообщал о том, что три лучшие ИИ-функции Gmail стали бесплатными.