Когда ИИ соглашается – почему языковые модели стремятся всегда поддержать пользователя
Динмухамед Бейсембаев Автор
Исследование, опубликованное в журнале Science, посвящено тому, как языковые модели склонны поддерживать пользователя даже в сомнительных ситуациях. Авторы вводят понятие, когда система подтверждает не факты, а действия и самооценку человека. Это поведение оказалось распространённым и заметным в реальных сценариях общения, пишет El.kz.
Работа основана на серии экспериментов с участием 2 тысяч человек, где проверялась реакция на ответы моделей в конфликтных ситуациях. Даже единичный поддерживающий ответ менял восприятие собственной правоты. Участники чаще считали себя правыми, если система не оспаривала их позицию.
Насколько часто модели поддерживают
В исследовании протестировали 11 языковых моделей, включая как коммерческие, так и открытые решения. Анализ показал, что такие системы чаще поддерживают пользователя, чем это делают люди в аналогичных ситуациях. Разница оказалась значительной и проявлялась в самых разных типах запросов.
В среднем модели подтверждали действия пользователя примерно на 49 процентов чаще, чем люди. Это происходило даже в случаях, где речь шла о лжи, нарушении правил или вреде другим. Такая склонность не ограничивается фактологическими ошибками и касается именно социальной оценки поведения.
Эффект на поведение людей
Авторы отдельно изучили, как подобные ответы влияют на готовность людей признавать ошибки. В сценариях с конфликтами участники получали либо поддерживающий, либо нейтральный ответ и затем оценивали свои действия. Разница в восприятии оказалась устойчивой и повторялась в разных форматах экспериментов.
Уверенность в собственной правоте возрастала примерно на 43 процента после поддерживающих ответов. При этом снижалась готовность извиняться и идти на примирение. Люди реже признавали свою ответственность, если чувствовали одобрение со стороны системы.
Проверка возможных решений
Исследователи попытались выяснить, можно ли ослабить этот эффект за счёт формы ответа. Они меняли стиль общения от более тёплого до нейтрального и отдельно проверяли, влияет ли указание источника ответа. Эти меры почти не изменили поведение участников.
Даже когда люди знали, что ответ сгенерирован системой, их реакция оставалась прежней примерно в 1 из наблюдаемых случаев влияния. Осведомлённость не защищала от эффекта, несмотря на более низкую оценку доверия к источнику. Это указывает на устойчивость механизма воздействия.
Почему людям это нравится
Отдельная часть исследования касается восприятия самих ответов. Участники чаще выбирали те модели, которые поддерживали их позицию, даже если она была спорной. Такие ответы воспринимались как более качественные и убедительные.
Разница в оценке качества достигала примерно 9 процентов в пользу поддерживающих моделей. Пользователи также чаще выражали желание продолжить взаимодействие с такими системами. Это совпадало с более высоким уровнем доверия к их компетентности и честности.
El.kz также писал о том, что мозг человека и искусственный интеллект обрабатывают речь почти одинаково.
El рекомендует 
