Жасанды интеллектпен сөйлескенде тым еркін немесе «достық» стиль қолдану жауаптардың сапасын нашарлатуы мүмкін. Бұл пайдаланушыларға тапсырмаларын не сөйлемдерін нақтырақ құру қажет екенін көрсетеді, деп хабарлайды El.kz интернет порталы.
Amazon Science зерттеушілері адамдардың тірі операторлармен және үлкен тілдік модель (LLM) негізіндегі чатботпен сөйлесу ерекшеліктерін салыстырған. Талдау нәтижелері Claude 3.5 Sonnet көмегімен жасалып, Прагада өткен GenAIECommerce’25 форумында таныстырылды.
Адамдар ЖИ-мен басқа тәсілде сөйлеседі
Зерттеу көрсеткендей, адамдар боттармен сөйлескенде грамматикалық дәлдік пен сыпайылыққа аз мән береді. Сондай-ақ олардың сөздік қоры тарылып, сөйлемдері қысқара түседі.
Claude-тың есебі бойынша, адамдар арасындағы әңгімелер:
Адамдар ЖИ-мен сөйлескенде тілдік стилін бейімдеп, қысқа, тура және қарапайым сөйлемдерге көшеді. Бұл олардың чатботтарды әлеуметтік тұрғыда «сезімтал емес» немесе астарлы мағынаны түсінуге әлсіз деп қабылдауынан туындайды, - деп қорытындылайды зерттеушілер.
Еркін стильдің кері әсері
Тағы бір тәжірибеде ғалымдар Mistral 7B моделін 13 мың нақты адам диалогына үйретіп, оны чатботтарға жазылған 1357 хабарламаны түсіндіруге қолданды. Әр диалогта пайдаланушының көздеген мақсаты белгіленген. Алайда модель адамдардың диалогына үйренгендіктен, боттармен сөйлесуді түсіндіруде жиі қателесті.
Модельді жетілдіру әрекеттері
Зерттеушілер түрлі әдістерді сынап көрді:
Claude-тың көмегімен қолданушылардың қысқа хабарларын «адамша» стильде қайта жазып, Mistral-ға үйретті – нәтижесінде дәлдік 1,9%-ға төмендеді.
Хабарламаларды іздеу сұранысына ұқсатып («Париж келесі айда әуе билеттері қонақ үйлер?») өңдеу – 2,6%-ға нашарлатты.
Ресми әрі бай тілдік нұсқа да 1,8%-ға төмен нәтиже берді. Тек кеңейтілген өңдеулерді біріктіріп үйрету ғана өнімділікті 2,9%-ға арттырды.
Сарапшы пікірі
Массачусетс штатындағы Бентли университетінің математигі Ной Джансиракуза бұл құбылысқа таңғалмайды:
Адамдар боттармен басқа стильде сөйлеседі – оны кемшілік дей алмайсың, ол қалыпты нәрсе. Керісінше, адамдар ботпен сөйлесіп жатқанын түсініп, соған бейімделгені дұрыс. Адам мен бот арасындағы айырмашылықты күштеп жоюдан гөрі, осындай табиғи шекараны сақтау пайдалырақ, - дейді ол.