Новая нейросеть генерирует минутные видео почти в реальном времени
Динмухамед Бейсембаев Автор
Новая модель генерации видео Helios стала первой системой с архитектурой на 14 миллиардов параметров, способной создавать ролики длительностью до минуты со скоростью около 19,5 кадра в секунду на одном графическом процессоре, пишет El.kz со ссылкой на The Decoder.
Сегодня большинство нейросетевых моделей, создающих видео по текстовым описаниям, способны генерировать лишь короткие фрагменты продолжительностью пять–десять секунд. При этом на их рендеринг нередко уходит несколько минут. Попытки ускорить процесс обычно связаны с использованием значительно меньших моделей – примерно на 1,3 миллиарда параметров. Однако такие системы заметно уступают по качеству изображения и стабильности сцены.
Крупные модели, рассчитанные на более реалистичный результат, наоборот сталкиваются с проблемами скорости. Например, система Krea-RealTime-14B может работать примерно на уровне 6,7 кадра в секунду даже на мощном ускорителе H100, а при генерации длинных роликов часто возникают артефакты и так называемый «дрейф» – постепенное искажение объектов и структуры сцены.
Helios построена на основе более ранней модели Wan-2.1-14B. Для сравнения, исходная система требует около пятидесяти минут вычислений, чтобы создать всего пять секунд видео на ускорителе A100. Разработчики переработали архитектуру и процесс обучения, чтобы устранить проблему дрейфа и значительно повысить производительность.
Финальная стадия, получившая название Helios-Distilled, сосредоточена на максимальном ускорении вычислений. В этой версии число вычислительных шагов сокращено до трёх, что резко уменьшает нагрузку на графический процессор.
Именно эта дистиллированная версия достигает скорости 19,53 кадра в секунду в тестах для разработчиков. Такой показатель оказался выше, чем у некоторых значительно более компактных моделей. Например, система SANA Video Long, содержащая около двух миллиардов параметров и примерно в семь раз меньшая по размеру, демонстрирует скорость около 13,24 кадра в секунду, - отмечают разработчики
Разработчики также сделали исходный код и веса модели открытыми, что позволяет исследователям и инженерам изучать архитектуру Helios и использовать её для дальнейших экспериментов с генерацией длинных видеороликов.
Также El.kz писал о том, что найден способ вдвое ускорить обучение искусственного интеллекта.
Подпишитесь на наш Telegram-канал и узнавайте новости первыми!
El рекомендует 
