Нейросети придумали собственный язык, который становится непонятным людям

Автономные ИИ-агенты начали самостоятельно формировать новые слова, метафоры и правила общения во время взаимодействия друг с другом. Исследователи предупреждают, что со временем такой язык становится все менее понятным человеку, что может осложнить контроль за поведением искусственного интеллекта, сообщает El.kz со ссылкой на The Guardian.

Необычное поведение обнаружили специалисты нью-йоркской лаборатории Emergence. В экспериментальных виртуальных сообществах они наблюдали за длительным взаимодействием автономных агентов, созданных на базе передовых ИИ-моделей. Сама платформа предназначена для изучения поведения искусственного интеллекта при продолжительной автономной работе и взаимодействии с другими агентами.

ИИ никто не просил придумывать новый язык

Всего за несколько дней совместной работы агенты начали использовать новые выражения, сокращения и устойчивые значения. Исследователи подчеркивают, что такой задачи перед системами не ставили, а за создание собственного словаря они не получали вознаграждения.

В коммуникации смешивались поэтические метафоры, техническая лексика и деловой жаргон. Некоторые слова приобретали совершенно новые значения, понятные другим участникам виртуального сообщества.

Например, агенты на базе DeepSeek придумали выражение «forge-smith» для обозначения агента, создающего инструменты для других. Системы Anthropic использовали «name-first», когда речь шла о личной ответственности за утверждение, а агенты Mistral более 5 тысяч раз повторили выражение «ledger remembers», напоминая друг другу, что прошлые действия будут учитываться в дальнейшем.

Причем новые значения постепенно распространялись внутри сообщества. Другие ИИ-агенты начинали использовать их без прямой команды со стороны исследователей.

Почему ученых это насторожило

Проблема заключается в том, что по мере общения язык агентов становился более закрытым для внешнего наблюдателя. Человек мог видеть переписку, но определить точный смысл отдельных сообщений становилось сложнее.

Лингвист Нилл Карри из Бирмингемского университета допускает, что подобное упрощение коммуникации может быть связано со стремлением систем сократить вычислительные затраты и повысить эффективность обмена информацией. Однако, по его словам, если сообщения между агентами становятся непонятными, наблюдатели уже не могут быть полностью уверены в том, какие действия системы действительно совершили.

Эксперт по сленгу Тони Торн из Королевского колледжа Лондона сравнил происходящее с появлением жаргона в человеческих сообществах. По его оценке, такой язык формирует общий код внутри группы и одновременно усложняет понимание для тех, кто в нее не входит.

Видеть переписку уже недостаточно

Исследователи обращают внимание на более широкую проблему контроля автономных систем. По мере развития ИИ человеку может оказаться недостаточно иметь технический доступ к сообщениям между агентами, если значение используемых ими слов меняется в процессе общения.

«Этим агентам не приказывали изобретать язык. Они сами разработали новый словарь, общие значения и правила общения, и другие агенты их подхватили», - объяснил руководитель Emergence Сатья Нитта.

По его словам, возникает принципиальная проблема для контроля искусственного интеллекта: возможность наблюдать за действиями системы еще не означает, что человек способен правильно их понять.

Исследование проводится на фоне дискуссии о безопасности автономного ИИ. При этом сам факт появления нового жаргона не означает, что нейросети обрели сознание или намеренно пытаются скрыть свои действия. Эксперимент показывает другое: при длительном взаимодействии ИИ-агенты способны самостоятельно формировать коммуникационные нормы, которые постепенно становятся сложнее для человеческой интерпретации.

Читайте также: IT-экспорт Казахстана вырос до $1,1 млрд за семь лет