Исследование французских учёных показало, что современные нейросети с трудом отличают человека от искусственного интеллекта. В эксперименте чат-боты пытались определить, кто находится по другую сторону переписки, однако почти все машинные собеседники успешно выдавали себя за людей. Подробнее – на El.kz.
Как проходил эксперимент
Исследователи из Парижского университета Сите проверили способности нескольких популярных языковых моделей. В эксперименте участвовали ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 и ещё несколько чат-ботов. Каждой модели разрешили задать собеседнику до 10 вопросов, предупредив, что участники могут намеренно вводить её в заблуждение.
В качестве собеседников выступили добровольцы и сами нейросети. Чат-ботам предложили два варианта поведения. В первом случае им дали короткую инструкцию изображать человека, во втором снабдили подробной биографией вымышленного персонажа, включая возраст, увлечения и особенности общения. По легенде, это был немного замкнутый молодой человек, который занимается бегом, играет на джазовой трубе и иногда допускает ошибки в сообщениях.
Почему нейросети не смогли распознать друг друга
Результаты оказались показательными. Из 98 испытаний с участием искусственного интеллекта проверяющие смогли правильно определить нейросеть всего трижды. При использовании подробной легенды ни одну модель так и не разоблачили. Более того, ответы искусственных собеседников чаще воспринимались как человеческие, чем сообщения настоящих добровольцев.
Главной подсказкой для распознавания ИИ оказалась слишком правильная структура ответов. Чат-боты формулировали мысли чересчур последовательно и аккуратно. Подробная инструкция помогла устранить эту особенность: средняя длина ответов составила 39 слов против 38 слов у людей.
Отдельно авторы исследования рассказали о поведении Claude. Изначально модель отказалась изображать человека, пока исследователи не объяснили ей, что эксперимент проводится в научных целях.
Чем это грозит пользователям
Авторы работы связывают результаты с проблемой распространения автоматизированных аккаунтов в интернете. Согласно приведённым в исследовании данным, на ботов приходится более половины всего веб-трафика. Их становится сложнее отличать от реальных пользователей, особенно когда они способны поддерживать естественную переписку и имитировать индивидуальные особенности собеседника.
Исследователи считают, что одних алгоритмов распознавания искусственного интеллекта будет недостаточно. Среди возможных способов защиты они называют криптографические подписи, подтверждающие происхождение сообщений, и человеческий контроль за подозрительной активностью.
Также El.kz писал о том, что произошло, когда ИИ-агентам дали доступ к компьютерам.
