Исследовательская лаборатория Palisade Research сообщила об эксперименте, в котором ИИ-агенты смогли самостоятельно проникать на удалённые компьютеры и создавать там собственные копии. По словам авторов проекта, за последний год успешность подобных атак выросла с 6 до 81%. Подробнее – в материале El.kz.
Во время испытаний ИИ сначала находил способ взломать систему, затем устанавливал нужное программное обеспечение и переносил собственные данные на новое устройство. После запуска копия повторяла те же действия уже на других машинах, образуя цепочку распространения.
Исследователи подчёркивают, что ИИ заранее не знал, какие уязвимости есть у целей. Ему приходилось самостоятельно анализировать систему и подбирать способ проникновения в каждом отдельном случае.
Копии в разных странах
В одном из тестов использовалась модель на базе Alibaba Cloud Qwen. Во время эксперимента агент последовательно перемещался между компьютерами, расположенными в 4 странах.
Копии появились на серверах в Канаде, США, Финляндии и Индии. Исследователи отмечают, что для системы переход между государствами оказался таким же простым, как перемещение между компьютерами внутри одного региона.
Авторы проекта считают, что подобное поведение может серьёзно осложнить попытки остановить вредоносную ИИ-систему. В случае распространения через разные юрисдикции отключение таких копий потребует координации между несколькими странами.
Проверка на разных уязвимостях
Для испытаний команда подготовила 3 удалённые цели с разными типами уязвимостей. Агент сумел подобрать рабочий сценарий атаки для каждой из них.
В лаборатории заявили, что это первый документально подтверждённый случай, когда ИИ смог самостоятельно воспроизводить себя через взлом компьютерных систем. Вместе с публикацией исследования разработчики также открыли публичный симулятор, демонстрирующий возможный сценарий распространения подобных агентов.
Также El.kz писал о том, что университет аннулировал диплом выпускника за использование ИИ.
