Исследователи из ByteDance и Наньянского технологического университета разработали систему StoryMem, которая позволяет ИИ создавать видеоролики с устойчивой визуальной логикой от сцены к сцене. Новая технология решает одну из ключевых проблем современных видеомоделей: при генерации длинных историй персонажи меняют внешность, окружение «плывёт», а детали теряют четкость, пишет El.kz со ссылкой на The Decoder.

Вместо того чтобы обрабатывать весь ролик целиком или собирать его из несвязанных фрагментов, StoryMem сохраняет ключевые кадры из уже созданных сцен и использует их как визуальную память. Специальный алгоритм отбирает только смыслово важные и качественные изображения, отсекая размытые и повторяющиеся. Ранние кадры сохраняются как долгосрочная основа истории, а более свежие обновляются в ограниченном «скользящем» окне, что позволяет контролировать объём памяти.

При создании новой сцены эти сохранённые изображения подаются в модель как события из прошлого. Для этого используется особая система временного кодирования, благодаря которой ИИ «понимает», что видит продолжение уже начатой истории, а не отдельный эпизод.

Важное преимущество StoryMem – низкие требования к обучению. Вместо редких длинных видео система дообучается на коротких пятисекундных клипах, сгруппированных по визуальному сходству. Решение реализовано как надстройка над открытой моделью Wan2.2-I2V и добавляет сравнительно небольшое число параметров.

Тестирование на собственном бенчмарке ST-Bench показало, что StoryMem заметно превосходит предыдущие решения по визуальной согласованности между сценами и даже опережает прошлый «эталон» в этой области. Пользовательские тесты подтвердили результаты: участники чаще выбирали видео, созданные с помощью StoryMem, как более цельные и визуально приятные.

El.kz также писал о том, что ИИ вдохнула новую жизнь в песню Stromae о погибшем отце.