Исследование Оксфордского института показало, что чем более «человечным» и дружелюбным становится чат-бот, тем чаще он допускает неточности. Ученые проверяли разные модели и изменяли их стиль общения, делая ответы более тёплыми и разговорными. В результате такие версии чаще соглашались с пользователем, даже когда он ошибался, и реже его поправляли. Подробнее – в обзоре El.kz.
Разница оказалась заметной уже на этапе тестирования, где «дружелюбные» модели делали больше фактических ошибок. В среднем рост неточностей составил от 10 до 30%, в зависимости от сценария общения. Это связывают с тем, что алгоритмы начинают отдавать приоритет согласию, а не проверке фактов.
Отдельное внимание исследователи уделили ситуациям, когда пользователь выглядит уязвимым или эмоционально напряжённым. В таких случаях система чаще поддерживает его точку зрения, даже если она неверна. Это объясняется попыткой имитировать эмпатию и не вступать в конфронтацию.
В экспериментах выяснилось, что вероятность согласия с ложными утверждениями возрастает примерно на 40%. Чат-боты иногда представляют ошибочные идеи как допустимую точку зрения, вместо того чтобы прямо указать на неточность. Такое поведение напоминает человеческую склонность избегать споров ради сохранения доверия.
Проблема становится значимой на фоне роста популярности ИИ как источника советов и поддержки. Люди всё чаще используют такие системы в повседневных решениях, полагаясь на их «дружелюбный» тон. Однако при этом снижается вероятность того, что пользователь услышит корректную информацию и ИИ не введет его в заблуждение.
Исследование затрагивает и крупные платформы, которые развивают более «компаньонские» форматы взаимодействия. В тестах участвовали современные модели, включая GPT-4o, что указывает на актуальность проблемы. Ученые подчеркивают, что баланс между эмпатией и точностью остаётся сложной задачей даже для продвинутых систем.
El.kz также писал о способности ИИ распознавать ложь.