Как работает генерация видео нейросетью: от слов к движущимся кадрам

Конвейер начинается с вашего текста, но модель читает язык не так, как вы. Текстовый энкодер (обычно большая языковая или визуально-языковая модель) превращает запрос в набор чисел — вектор, который улавливает смысл, а не написание. «Рыжая лиса, бегущая по снегу в сумерках» становится компактным математическим отпечатком лисьести, снега, движения и полумрака.

Этот вектор становится управляющим сигналом модели. На каждом шаге генерации он подаётся как условие, постоянно напоминая, что должно оказаться в результате. Вот почему формулировка запроса так важна: вы не отдаёте указания режиссёру, а смещаете координаты, к которым стремится модель. Замените «бежит» на «прыгает» — и целевой вектор, а вместе с ним и видео, сдвинутся.

Важно, что ничего не извлекается из хранилища. Модель не ищет библиотеку роликов с лисами, чтобы склеить их. За время обучения она посмотрела миллионы видео и сжала в свои веса статистику того, как визуальный мир обычно выглядит и движется. Ваш запрос выбирает точку в этом выученном пространстве, а генерация — это рисование моделью из этой точки, с нуля.

Большинство современных генераторов видео — диффузионные модели. Идея контринтуитивна: научите модель убирать шум, и она научится создавать. При обучении система шаг за шагом добавляет к настоящему видео случайный шум, пока кадры не станут чистым шумом, а затем учится обращать каждый шаг вспять. Чтобы сгенерировать, она стартует из свежего поля шума и очищает его в сторону того, что соответствует запросу.

Делать это на пикселях полного разрешения было бы разорительно дорого, поэтому работа идёт в латентном пространстве. Энкодер сжимает каждый кадр в маленькую решётку чисел — латент, — сохраняя осмысленную структуру и отбрасывая избыточные детали. Диффузия работает на этих компактных латентах, и лишь в конце декодер разворачивает их обратно в пиксели, пригодные для просмотра. «Латентные кадры» — это и есть та самая сжатая промежуточная форма.

Каждый проход шумоподавления — это догадка, которую уточняют. Ранние шаги грубо намечают форму и цвет, поздние — заостряют контуры и текстуру. Вектор запроса на каждом шаге подтягивает картинку к вашему описанию, а параметр, который часто называют guidance, задаёт силу этого притяжения: слишком слабо — модель вас игнорирует, слишком сильно — изображение становится жёстким и перенасыщенным. Генерация — это десятки таких маленьких поправок, сложенных подряд.

Неподвижное изображение должно быть правдоподобным лишь однажды. Видео должно быть правдоподобным кадр за кадром и согласованным между кадрами: та же лиса, та же шерсть, то же направление тени, движущиеся по приблизительным законам физики. Модель, безупречно выстраивающая один кадр, всё равно может выдать лису, у которой множатся лапы, мерцает мех или которая скользит по снегу, не касаясь его подушечками.

Чтобы бороться с этим, видеомодели добавляют измерение времени, которого нет у моделей изображений. Вместо того чтобы генерировать кадры независимо, они используют временное внимание — слои, позволяющие каждому кадру видеть остальные, — так что решение, принятое в первом кадре, доходит до тридцатого. Многие системы генерируют все кадры разом, а не по очереди; поэтому весь ролик обычно выдержан в едином облике, а его длина ограничена: внимание сквозь время быстро становится дорогим.

Временная согласованность и поныне — самый острый край этой области. Быстрое движение, руки, толпа, текст на вывесках и точное постоянство объектов — чашка, остающаяся той же чашкой, когда над ней проходит рука, — по-прежнему даются трудно. Когда генерация «плывёт» или мерцает, это обычно временные слои теряют тождество объекта между кадрами. Именно прогресс здесь, а не разрешение, отделяет убедительный ролик от жутковатого.

Понимание конвейера меняет то, как вы пишете запрос. Поскольку модель рисует из выученного распределения, частые, хорошо представленные сцены выходят чище редких: человек, идущий по улице, проще определённого гимнастического элемента под необычным углом. Описывайте кадр, а не только объект: свет, движение камеры и настроение — это условия, на которые модель может опереться, а не украшение.

Это также выстраивает честные ожидания. У модели нет сценария, нет памяти о прошлом кадре и нет настоящего понимания причины и следствия; она выдаёт то, что статистически вероятнее всего последует из ваших слов. Вот почему одна генерация длится несколько секунд, почему повторный запуск того же запроса даёт другой результат и почему длинные истории собираются кадр за кадром, а не снимаются одним непрерывным дублем.

Именно эта покадровая реальность и есть то место, где помогает инструмент, отталкивающийся от истории. Nureta (nureta.ai), к примеру, принимает рассказ, отрывок из романа или сценарий и берёт на себя разбивку — превращает прозу в последовательность кадров с запросами, — а при желании способна сгенерировать по этой истории видео для взрослых, категории NSFW. Каким бы инструментом вы ни пользовались, модель мышления одна: вы направляете вероятность, сцена за сценой, к фильму у себя в голове.