ИИ провалил тест на точность поиска информации в интернете

Исследование показало, что чат-боты находят источники с точностью всего 60%, сообщает ИА El.kz. Исследование опубликовано на сайте организации.

Специалисты Центра цифровой журналистики Tow (США) подвергли сомнению способность искусственного интеллекта эффективно искать информацию в интернете. Их исследование показало, что чат-боты на базе различных ИИ-моделей справляются с этой задачей хуже, чем традиционный поиск в Google.

Учёные протестировали работу ИИ, предложив ему определить источник цитаты в 200 статьях от 20 различных изданий. Ботам нужно было назвать первоисточник, год публикации и название СМИ, при этом им предоставляли точную цитату из каждого текста.

Выяснилось, что ИИ корректно определил происхождение цитаты лишь в 60% случаев. В то же время при ручном поиске точный источник находился в 100% случаев, причём соответствующая статья оказывалась в топ-3 выдачи Google. Эксперты назвали работу ИИ в этом тесте провальной.

Особенно плохо показали себя обе версии Grok AI от X. Так, Grok-3 Search ошибался в 94% обработанных запросов. Copilot от Microsoft отказался выполнять 104 из 200 запросов, а из оставшихся 96 только 16 оказались полностью верными. Исследователи также выяснили, что платные версии ИИ работают лишь немного точнее, чем бесплатные.

Специалисты отметили, что их удивило «нежелание» чат-ботов предоставлять источники. Часто ИИ либо не показывал ссылку, либо ошибочно указывал другой первоисточник. Например, модель DeepSeek приписала неверное авторство в 115 из 200 случаев.

По итогам исследования эксперты пришли к выводу, что искусственный интеллект пока не может заменить традиционные поисковые системы при точном поиске информации.

Читайте также:

• В Казахстане начнут применять искусственный интеллект в госуправлении