Как работает генерация видео в Kandinsky?

Генерация видео в Kandinsky Video основана на латентной диффузии. habr.com Модель состоит из текстового энкодера, модели генерации опорных кадров и модели интерполяции, после которой получается полноценное видео. yatalks.yandex.ru

Процесс генерации проходит в два этапа: habr.com

1. Генерация ключевых кадров. habr.com Они управляют основной сюжетной линией видео. habr.com Для синтеза ключевых кадров используют предобученную латентную диффузионную модель text-to-image Kandinsky 3.0. habr.com
2. Синтез интерполяционных кадров. habr.com Он позволяет улучшить плавность движений объектов благодаря генерации дополнительных кадров. habr.com

Такое разделение на этапы помогает сохранять согласованность с текстовым описанием на протяжении всего видео как по содержанию, так и по динамике. habr.com

В итоге модель способна генерировать по тексту согласованное по времени видео в разрешении 512 × 512 пикселей. habr.com