Видео без лишнего – в чем идея внедрения ИИ на Netflix

Компания Netflix представила систему VOID, которая умеет удалять объекты из видео и одновременно перестраивать сцену. Речь идёт не только об исчезновении предмета, но и об изменении последствий его присутствия. Об этом – в обзоре El.kz.

Система учитывает, как объект влиял на окружение, и корректирует эти изменения после удаления. Например, она может переработать столкновения или движение других элементов в кадре.

Как это работает

В основе лежит видеодиффузионная модель, дополненная несколькими инструментами анализа сцены. Для распознавания взаимодействий используется модель Gemini 3 Pro, которая определяет зоны изменений.

За выделение объектов отвечает SAM2. При необходимости применяется дополнительная коррекция с использованием оптического потока, чтобы сгладить искажения.

Разработка и доступ

Проект создан при участии исследователей из INSAIT Sofia University. В разработке также использовались синтетические данные и существующие модели.

Система распространяется с открытым исходным кодом и доступна по лицензии Apache 2.0. Это позволяет использовать её в том числе в коммерческих задачах.

El.kz также писал о том, что Netflix приобретает Warner Bros.