AI视频生成的原理：文字如何变成动态画面

流水线始于你的文本，但模型并不像你那样阅读文字。文本编码器（通常是大型语言模型或视觉语言模型）会把提示转换成一串数字，也就是一个向量，它捕捉的是含义而非拼写。‘一只红狐在暮色的雪地里奔跑’会变成一枚浓缩了狐狸感、雪、运动与幽暗的数学指纹。

这个向量成为模型的导向信号。在生成的每一步中，它都作为条件被送入，不断提醒输出应当包含什么。这正是提示措辞如此重要的原因：你不是在向导演下达指令，而是在挪动模型所瞄准的坐标。把‘奔跑’换成‘跃起’，目标向量随之改变，画面也随之改变。

关键在于，模型什么都没有检索。它并不是在搜索一个狐狸片段库再拼接起来。训练期间它看过数百万段视频，把视觉世界通常如何呈现、如何运动的统计规律压缩进了权重之中。你的提示在那个习得的空间里选定一个点，而生成，就是模型从那个点出发、从零画起。

如今大多数视频生成器都是扩散模型。它的思路有悖直觉：训练模型去除噪声，它反而学会了创造。训练时，系统对真实视频逐步加入随机噪点，直到画面变成纯粹的噪声，再让模型学习逆转每一步。生成时，它从一片崭新的噪声原野出发，朝着与提示相符的方向逐步去噪。

若在全分辨率像素上做这件事，计算代价高得离谱，因此工作是在潜在空间里进行的。编码器把每一帧压缩成一个小小的数字网格，即潜在表示，保留有意义的结构、舍弃冗余的细节。扩散在这些紧凑的潜在表示上运行，直到最后才由解码器把它们还原成可供观看的像素。所谓‘潜在帧’，不过就是这种被压缩的中间形态。

每一次去噪都是一次不断被打磨的猜测。早期步骤粗略地铺出形状与色彩，后期步骤则让边缘与质感变得锐利。提示向量在每一步都把画面往你的描述上拉，一个常被称作‘引导’的设置控制着这股拉力的强弱：太弱，模型会无视你；太强，画面就会僵硬、饱和过度。生成，就是把几十次这样的小修正一步步叠起来。

静态图只需在某一刻看起来可信即可。视频却要一帧接一帧都可信，还要帧与帧之间保持一致：同一只狐狸、同样的皮毛、同样的阴影朝向，按照大致的物理规律运动。一个能把单帧拿捏得极好的模型，仍可能生成腿部越长越多的狐狸、皮毛闪烁不定的狐狸，或是脚掌没沾雪却一路滑行的狐狸。

为对抗这一点，视频模型加入了图像模型所没有的时间维度。它不再各自独立地生成每一帧，而是使用时间注意力——让每一帧都能看到其他帧的网络层——于是第一帧里的决定会传递到第三十帧。许多系统是把所有帧一并生成，而非逐帧生成，这也是整段片子外观容易统一、长度却受限的原因：跨时间的注意力开销很快就会飙升。

时间一致性至今仍是这一领域最锋利的难题。快速运动、手、人群、招牌上的文字，以及精确的物体恒常性——当一只手掠过时，杯子仍是那只杯子——依旧困难。当生成画面‘变形’或闪烁时，通常是时间层在跨帧时弄丢了某个物体的身份。比起分辨率，恰恰是这里的进步，把一段令人信服的片子与一段诡异的片子区分开来。

理解了流水线，你写提示的方式也会改变。因为模型是从习得的分布里作画，常见、样本充足的场景会比罕见场景生成得更干净：一个人走在街上，比某个从刁钻角度拍摄的特定体操动作要容易得多。要描写的是这个镜头，而不只是主体：光线、镜头运动与氛围，都是模型能够据以行动的条件，而非点缀。

它也帮你建立诚实的预期。模型没有剧本，不记得上一个镜头，也没有对因果的真正理解；它只是生成在统计上最可能承接你文字的画面。这就是为什么单次生成只有几秒，为什么把同一条提示重跑一遍会得到不同结果，也是为什么较长的故事是一个镜头一个镜头拼起来的，而非一镜到底生成的。

正是这种以镜头为单位的现实，让以故事为先的工具派上用场。以Nureta（nureta.ai）为例，它接收一则故事、一段小说节选或一份剧本，并接手其中的拆解工作——把散文变成一连串带提示的镜头——在你需要时，它还能根据这则故事生成成人向的NSFW视频。无论你用哪种工具，心法都一样：你是在把一份概率，一个场景接一个场景地，导向你脑海中的那部电影。