Anthropic экспериментирует с новой системой памяти для искусственного интеллекта Claude. Разработчики назвали её «сновидением». Во время периодов бездействия модель анализирует предыдущие сеансы, исправляет ошибки в сохранённых данных и систематизирует полученные знания, чтобы использовать их в будущих разговорах. Подробнее – на El.kz.
В ходе выполнения задач Claude сохраняет полезные сведения в специальных файлах памяти. Однако избыток информации затрудняет поиск нужных данных, а пропущенные детали могут мешать продолжению работы. Исследователи решили проверить, насколько эффективно модель справляется с отбором информации.
Для эксперимента Claude предложили пройти Pokémon Red. Одна из моделей записывала практически каждое событие и создала 413 файлов общим объёмом около 978 тысяч символов. За время эксперимента она получила всего один игровой значок.
Другая версия Claude Fable 5 использовала гораздо более компактную систему. Её память состояла из 10 файлов объёмом около 43,4 тысячи символов, при этом модель получила четыре значка. Она сохраняла сведения о маршрутах, игровых стратегиях, обнаруженных препятствиях и текущих целях.
Как ИИ исправляет собственные ошибки
Отдельный эксперимент показал, что система способна пересматривать ранее сохранённые сведения. Во время прохождения игры Claude ошибочно указал расположение центра покемонов. Из-за этой неточности модель неправильно определяла своё местоположение и постоянно возвращалась на уже пройденный участок маршрута.
Во время последующего анализа Claude сопоставил записи с расшифровкой предыдущего сеанса и обнаружил ошибку. После исправления данных модель смогла продолжить путешествие. Версия с прежними записями продолжала сталкиваться с одной и той же проблемой.
Создание собственной базы знаний
Anthropic также проверила, сможет ли Claude систематизировать большие массивы документов и создавать на их основе связанную базу знаний. Для этого исследователи использовали около 350 тысяч внутренних документов компании Stainless, содержащих примерно 420 миллионов токенов.
В течение 128 сеансов модель формировала тематическую базу, связывала документы между собой и постепенно дополняла найденную информацию. Точность ответов на контрольные вопросы выросла с 13 до 48%.
В другом эксперименте Claude анализировала документы о корпоративном слиянии. При использовании созданной базы знаний модель отвечала на вопросы, требовавшие сопоставления нескольких источников, с точностью 87%. При обычном поиске непосредственно по документам результат составил 73%.
Anthropic продолжает изучать возможности такой системы. Анализ и обновление памяти требуют дополнительных вычислительных ресурсов, поэтому разработчикам предстоит усовершенствовать механизмы отбора и хранения информации.
El.kz также писал о том, что Anthropic и OpenAI обновили линейки моделей искусственного интеллекта.
