视频生成：联合建模空间外观、时间运动与跨镜头状态

视频生成最直观的第一反应是：既然图像模型能画出一帧，那把 24 张单帧拼起来，不就是一秒视频吗？这条路走不通。如果每一帧都独立地从文本或噪声重新采样，那么前一帧和后一帧之间没有任何共享的随机状态。行人的脸型、衣服颜色、背景招牌、画面里的物体数量都会在帧与帧之间随机跳动，得到的不是运动，而是一段闪烁的幻灯片。

运动本身必须依赖跨帧信息。一个物体此刻在哪里、下一瞬间该往哪个方向移动，只有同时观察前后若干帧的状态才能确定；任何一帧孤立地看都不足以约束运动的方向和速度。因此视频不能理解为“若干张图像的集合”，而是一个沿时间轴展开的整体。

技术上，模型面对的不再是单张 H×W 的图像，而是一个 T×H×W 的时空体：T 是时间方向上的帧数，H 和 W 是每一帧的高和宽。网络必须同时完成两件事——在每一帧内部学会纹理、边缘和物体外观这类空间特征，同时让同一物体、同一身份在相邻帧中保持特征对应。前一件对应图像生成已有的能力，后一件是视频特有的挑战，两者必须在同一个参数集合里同时训练。

这条额外的时间轴也改变了错误的代价结构。在静止图像里，一个像素出错只影响那一张图；在视频里，一个孤立的像素噪声往往只闪现一两帧，观感上几乎可以忽略。真正致命的是结构性的错误：一旦某一帧里人物的身份、物体的几何形状或背景布局发生了偏移，后续帧会把这个错误当作既成事实继续推演，误差沿时间轴累积放大，越来越难以挽回。这意味着视频的质量不是由各帧的平均水平决定的，而是由最差的那段时间片段和镜头之间的转场决定的——观众记住的往往是穿帮的那一瞬，而不是其他正常帧的平均表现。

视频的原始表示大得惊人。以一段 4 秒、24 fps、512×512 的 RGB 视频为例，帧数 T = 4×24 = 96，每帧是 512×512×3 个标量，整段视频共有 96×512×512×3 ≈ 75,497,472 个值，约 7550 万。直接在这个量级的张量上做扩散采样，每一步都要读写和处理近亿个标量，显存与计算开销很快就会压垮任何单卡。

图像生成已经给出了一条出路：先在一个压缩的潜变量空间里生成，最后再解码回像素。视频沿用同样的思路，但压缩可以作用在空间维度，也可以进一步作用在时间维度。如果用一个 VAE 把空间下采样 8 倍，同时把颜色通道映射为 4 个潜通道，那么原本 512×512 的空间被压成 64×64，整段视频变为 96×64×64×4 ≈ 1,572,864 个标量，约 157 万。与 7550 万相比缩小了约 48 倍，两步扩散在潜空间里的成本随之按数量级下降。

还可以把时间轴也一起压缩：让若干相邻帧共享同一组潜特征，张量在 T 维度上进一步变短。这能把单次采样的成本压得更低，也让同等的显存预算能覆盖更长的视频，但代价是快速运动更容易丢失。时间压缩本质上假设相邻帧高度相似，一旦画面里有快速挥动、物体高速横穿或剧烈形变，被合并掉的中间状态就无法在解码端恢复，细节会变得模糊或出现拖影。

因此，潜压缩的程度和注意力机制在时空上的作用范围是同一枚硬币的两面：潜空间越小、注意力覆盖的时空窗口越短，单步越便宜，能容纳的时长越长；反之保留更多时空细节。两者共同决定了显存占用、生成速度，以及一段模型究竟能连贯地建模多长的视频。这一权衡贯穿视频生成系统的每一处设计。

视频扩散的采样对象不再是单张图像，而是一整段带噪的潜变量视频。一个自然的疑问是：如果给所有帧喂同一份噪声，去噪之后不就会自动得到一致的运动吗？答案是否定的。一致性不等于复制同一份噪声，它要求的是物体在运动过程中保持身份、几何和外观的连续，而这些信息必须在去噪的每一步通过跨帧交互被显式地建立起来，而不是靠噪声相同这个粗糙的巧合来维持。

具体机制上，模型在带噪的时空潜变量上工作，网络结构可以是 3D 卷积、时间注意力，或者把空间层与时间层分解开来分别处理。无论哪种结构，核心都是让不同帧之间的特征彼此通信：3D 卷积直接在时空邻域里混合信息，时间注意力让某一帧能参考任意距离的前后帧，分解式结构则先把每帧的空间特征算好、再沿时间轴交换。条件信号可以是文本、第一帧、运动轨迹或相机参数，它们告诉模型“去噪方向应当指向哪种运动”。共享的网络参数与这些跨帧交互让同一物体在不同帧的外观产生关联，这正是连贯运动的基础。

但共享的强度必须处在一个中间地带。共享太强，所有帧的特征被压成几乎相同的东西，运动被冻结，画面变成一张静止图；共享太弱，每帧各自去噪，又退回到独立生成单帧的闪烁。模型的全部技巧就在于把这两种失败之间的区间调出来，让相邻帧足够相似以保持连续，又保留足够的差异以承载真实的运动。

当序列变长时，让每一帧都关注所有其他帧的计算量随帧数平方增长，很快就会不可承受。于是长序列生成通常改用局部时间窗、稀疏注意力或分层的关键帧结构：短窗口内做精细的跨帧交互，远距离的一致性交给稀疏连接或若干关键帧来传递。这些做法牺牲了部分的全局连接，换来了可接受的计算量，是长视频一致性与计算成本之间又一次折中。

以一个具体任务为例：生成一段 6 秒的镜头，内容是“红伞行人穿过积水街道”。直接把这句话丢给模型，得到的结果往往难以验证，因为“穿过”这个词没有交代任何可检验的中间状态。更有用的做法是把提示拆成可验证的事件序列。

第一步锁定主体：一名行人，撑红伞，穿深色外套；场景是雨后湿漉漉的街道。这些是贯穿全片、必须逐帧保持一致的身份与外观约束。第二步定义时间事件，把抽象的“穿过”展开成明确的因果顺序：行人从画面左侧入画 → 一脚踩入积水 → 激起水花 → 继续向右行走，镜头缓慢跟随。这条事件链给出了可以逐段核对的检查点，而不是一句笼统的风格描述。

如果使用图生视频，第一帧可以锁定初始的身份与布局，让后续生成有确定的起点；轨迹或深度信息则进一步约束运动方向和相机运动，避免主体凭空漂移或镜头乱晃。生成通常分两级进行：先在低分辨率下用基础模型生成完整、连贯的运动，再分别做时间与空间上的超分。这样能让运动骨架先稳定下来，而不是对每一帧独立锐化——独立锐化会破坏帧间连续性，引入闪烁。

验证阶段把注意力放在最容易出错的三个对象上：行人、伞和水坑。逐帧跟踪它们，检查是否有身份切换、被遮挡后重现时是否还是同一个物体、画面里的物体数量是否中途增减。定量上可以用光流和闪烁指标检测跳变，定性上则必须人工逐帧审查几处因果细节：水花是否真的由脚踩入积水触发、脚与地面的接触是否扎实、相机运动是否连续。

发布前还要过一道高风险检查：如果画面中出现真实人物，需要确认其身份授权；任何版权素材的来源都要清晰；成片要带来源标记。总结起来，一份按时间展开的事件图比堆砌大量风格形容词更能约束视频，因为风格词只影响外观，事件链才决定时间轴上发生了什么。

整条生成流水线可以用一张图概括：为什么先低清生成运动、再做时空超分，比逐帧放大更稳定？图 1 给出了答案，也展示了各环节之间的因果顺序。

图的起点是两个条件输入：一份文本事件图，交代“什么时间发生什么状态变化”；以及首帧条件，锁定初始的身份与布局。两者一起进入低分辨率视频模型，这一步的产出不是最终画质，而是一段时间骨架——完整的、跨帧连贯的运动序列，只是分辨率低、细节少。

之后是两级超分。时间超分先沿时间轴补出中间帧，让运动更顺滑；空间超分再逐帧提升分辨率、补细节。关键在于这两步是在已经稳定的运动骨架上共同进行的，补帧和补细节彼此参照，而不是对每一帧独立操作。最后是对象跟踪与物理评测，用前面建立的身份约束和因果事件来检验成片。

整张图的逻辑是“先骨架、后细节”：先在低清空间里把最难的时间一致性解决掉，再用超分恢复画质。如果反过来，把每一帧各自放大、各自锐化，每帧都会朝自己的最优方向漂移一点，帧间连续性就被破坏了。图 1 所表达的，正是把外观、运动和状态放在多尺度时间轴上共同约束，而不是在像素级各自为政。

视频生成不是单一任务，而是一族约束强度各不相同的任务。已知条件越多，模型需要自行采样的自由度就越少，难点也随之转移。一个容易误解的现象是：给模型提供首帧，既会提升身份一致性，也可能反过来限制合理的运动。因为首帧锁定了初始的外观和布局，身份漂移被压住了，但模型也失去了从零采样运动的自由——它必须在“尊重首帧”和“产生合理运动”之间找平衡，尤其是运动幅度和物体被遮挡后重现的内容。

按任务类型看，差异更清晰。文生视频只有高层语义作为条件，布局、身份和运动全都需要模型自己采样，自由度最大，也最容易失控。图生视频给定初始外观与布局，身份一致性的负担大减，难点转移到运动幅度和遮挡后的内容上。轨迹或姿态控制给出几何路径，让运动有了硬约束，但新的矛盾是控制与自然度之间的冲突：严格贴合路径可能让动作僵硬。视频编辑的条件最强，原始视频的运动和大部分像素都已知，要求只修改目标区域且保证修改跨帧一致，不能波及无关部分。

这些差异决定了评测必须与任务条件对齐。把图生视频的稳定性直接拿来和纯文生视频比较是不公平的——前者从首帧继承了大量信息，天生就更容易保持一致。合理的比较只应发生在同类任务、同等条件之间，否则会把“条件更强”误读成“模型更聪明”。

时间一致性不是一个单一指标能涵盖的性质。一个典型的问题是：即使光流看起来很平滑，画面里的一只杯子仍然可能凭空变成手机。原因在于光流只度量了低层一致性——像素和特征是否随运动平滑移动；它并不关心这些像素代表的是什么物体。物体在光流平滑的同时改变身份，正是这种断层发生的机制。

把一致性拆开看，至少可以分出四层。低层一致性看的是像素与特征随运动的平滑程度，回答“画面跳不跳”的问题。对象一致性看的是身份、数量和纹理是否保持，回答“还是不是同一个物体”的问题。场景一致性看的是相机、光照、遮挡和物体之间的空间关系是否自洽，回答“这个世界还成立吗”的问题。因果一致性看的是动作是否产生了正确的后果，回答“踩进水坑有没有溅起水花”的问题。杯变手机之所以能骗过光流，是因为它只破坏了对象层，而低层仍然连续。

正因为任何单一指标都只能覆盖其中一部分，诊断需要联合多种手段：对象跟踪确认身份不断档，重识别处理物体被遮挡或离开画面后再次出现的情况，深度检查空间关系，光流度量低层平滑，事件检测核对因果链，再加上人工对时序问题的审查。几类压力测试尤其能暴露问题：遮挡后重现、镜头外再进入，以及物体的快速旋转。这些都是模型最容易丢身份、换物体、乱空间关系的时刻，也是验证一致性的高价值场景。

把短视频直接拼接成长视频会遇到一个必然的漂移问题：每次续写 4 秒，人物和道具最终总会慢慢走样。根源在于滑窗机制只保留最近的若干帧作为上下文，而人物的身份和整个世界的状态需要一份摘要来传递。这份摘要在每一段续写中都是有损的——它无法完整记住此前所有的细节，被丢弃的那部分信息造成的误差，又成为下一段生成的条件。误差像复利一样逐段累积，几十秒后人物五官、服装颜色、道具数量就可能与开头判若两人。

解决思路不是无限延长注意力窗口，因为那会再次撞上计算成本的墙，而是改成分层的规划—生成—编辑工作流。系统先写出场景表、镜头表和状态表，明确每个镜头里有哪些人物、穿什么、拿什么、站在什么空间里；然后逐段生成短镜头，并在每个转场处显式验证人物、服装、道具和空间布局是否与状态表一致，不一致就修正，再进入下一段。组合发生在生成之后，而不是让模型一口气采到底。

某些内容还需要专门的条件信号才能做好：对话的口型对齐、动作与后果之间的因果、以及镜头语言本身（景别、机位、节奏）。这些都难以从一句笼统的文本自动涌现。因此长片生产更像一个规划、生成、编辑交替进行的制作流程，而不是单模型一次性采样。规划负责宏观一致，生成负责局部运动，编辑负责把误差在转场处拦下来。

级联超分有一个容易被高估的能力边界。假设基础视频里行人的手指数量已经漂移——从五根变成六根——后级的超分模型并不会把它修回来，反而会把六根手指的纹理越描越清楚。原因在于超分各阶段只做“增强”，不做“重规划”：时间超分在已经生成的关键帧之间补出中间帧，空间超分在已有内容上添加纹理，两者都受到基础阶段定下的轨迹约束。它们继承的是已经存在的物体身份、运动方向和事件顺序，这些如果已经错了，后级通常只会保持，甚至把错误锐化得更醒目。

要让超分不引入新的伪影，各级的条件和噪声必须跨帧共享。如果对每一帧独立超分，相邻帧会各自朝略不同的方向细化，产生闪烁。正确的做法是让补帧和补细节都参考同一份跨帧共享的信息，维持帧间连续。

由此自然导出分阶段评测的方法：先检查基础运动是否正确，再检查补帧的一致性，最后检查空间细节是否清晰。每个阶段只验证自己那一层的职责。一旦发现问题，不要指望后级修复，而要回到最早产生该故障的阶段去解决——基础运动错了就在基础模型里改，补帧跳了就改时间超分，纹理糊了才轮到空间超分。把故障归到正确的层级，是修复效率的关键。

模型能生成逼真的水花，却可能让脚根本没有真正踩到水，这个矛盾揭示了视频生成器与物理世界的根本区别。生成器学习的是视频数据的统计规律：它知道“脚踩水”的画面上通常伴随什么样的水花外观，于是能把这种外观复现出来。但它内部没有任何硬性的物理约束——没有质量守恒、没有刚体规则、没有接触判定，也没有持续的身份约束。它画出的是“看起来像那么回事”的像素，而不是一个被守恒律驱动的世界状态。外观对了、接触错了，正是这种“相关性学习”的典型失败。

某些场景尤其脆弱。罕见交互（比如多物体同时碰撞）、复杂手部、镜面反射、画面中的文字，以及精确计数，都是统计上难以覆盖的角落：训练数据里这些情形的样本稀疏或规律复杂，模型只能凭弱相关去猜，出错率远高于常见动作。

引入世界模型式的状态表示或几何条件可以改善这一局面——比如显式地追踪物体的位置、速度和接触关系，让生成受到这些状态的约束——但这仍然不能免除验证。只要模型本质上仍是统计生成器，就存在用合理外观掩盖错误物理的风险。因此，凡是涉及安全、科学研究或作为训练数据使用的场合，都不能把视觉逼真当作物理正确，必须用任务模拟器或真实数据来核对运动与后果是否真的成立。

视频评测最隐蔽的误区，是把某一个指标当成全面结论。例如 FVD 这类分布指标下降，只能说明生成样本整体上更接近真实视频的分布，它并不直接回答“长镜头里人物是否更一致”这种细粒度问题。分布指标衡量的是样本集合层面的差距，而不是单个视频内部跨帧的身份稳定性。

正确的评测需要多个视角同时覆盖。文本—视频相似度检查语义，回答“生成的内容是否贴合提示”；帧级图像指标看单帧的清晰度；光流或特征差度量短时间内的稳定性；对象跟踪看身份是否在长镜头中保持；事件问答核对动作与后果的先后顺序是否正确。这些指标各管一层，没有任何一个能替代其余。

但机器指标也代替不了人的判断。人工盲测需要整体评估自然度、提示遵循程度、运动是否合理，以及这段视频到底能不能用。人的偏好能捕捉到指标打分之外的破绽，比如某种说不清的生硬感。

为了让评测结论真正有信息量，还要对样本切片：按时长、运动速度、物体数量、镜头切换、画面文字和遮挡情况分组，分别报告各切片下的失败率和最差时间段。最后还有一层风险来自评测工具本身：用于打分的编码器也可能有自己的偏好，例如偏爱静止画面或训练中见过的熟悉内容，从而给出偏高的分数。意识到这一点，才不会把编码器的倾向误读成视频真实的优劣。

给生成视频加水印，并不能就此解决深度伪造的风险。水印是验证链上的一环，不是终点。真正需要控制的是用途本身：真实人物的形象、未成年人、政治或金融场景下的冒充、未经同意的肖像，以及版权素材，这些内容即使带了水印，其危害也不会因为水印而消失。

来源凭证、水印和编辑历史的价值在于支持事后验证——让人能追溯一段视频由谁、何时、用什么工具生成。但这条验证链是脆弱的：水印可以被裁剪掉、被重新编码冲淡，甚至被对着屏幕重新拍摄抹除；检测器本身也存在误判，并且会随着生成技术演进产生分布漂移，今天训练好的检测器明天可能就失效。

因此，实际的防护需要一整套措施配合：限制高风险的身份与动作组合，例如不允许生成特定真实人物的某些敏感行为；记录所有输入素材的授权来源，确保训练和生成使用的素材合法；对输出做明确标记，让观众知道这是合成内容；同时为被冒充者提供申诉和下架通道，让受害者能够快速阻止传播。还要注意区分两件事——模型本身的能力，和围绕模型制定的发布策略，它们需要分别评测。一个能力强的模型配上严格的发布策略可以安全使用，而一个能力有限但策略缺失的模型依然可能造成伤害。安全是策略问题，不只是技术问题。

高分辨率长视频在部署时有个典型的失败模式：前面一切正常，最后几秒突然崩溃并耗尽资源。根源在于显存与计算量随空间分辨率、帧数和注意力连接数快速增长——分辨率越高，单帧越大；帧数越多，张量越长；注意力连接随序列长度呈平方级膨胀。这些因素叠加，资源需求可能在最后阶段越过硬件上限，而用户只看到一次没有解释的失败。

因此部署必须主动设限并让失败可解释。系统应设置最大帧数、分辨率、采样步数和并发上限，把任务框在硬件能承受的范围内；同时支持随时取消，并在各阶段写入检查点，让长任务失败后能从中间阶段恢复，而不是从头再来。对长任务，要返回明确的进度和失败阶段——用户需要知道是卡在基础运动、补帧还是超分，而不是一句笼统的“失败”。

当必须分片生成时，切片之间要相互重叠，并把状态从前一片传递到后一片。重叠提供衔接的余地，状态传递保证身份和布局连续，从而避免接缝和跨切片的人物身份跳变。

复现性是部署的另一半。只保留最终压缩好的视频是不够的，一旦需要审计、修复或重新导出，就无从下手。必须保存完整的生成配方：模型版本、VAE、提示、控制信号、随机种子和级联超分各阶段的版本。发布前应从这些原始条件重新生成一遍并核对，确保不是只依赖一份可能被压缩破坏的成品文件。完整配方与设限的运行时，共同构成可部署、可恢复、可复现的视频生成服务。

把前面所有环节串起来，可以看到一条从问题直达可验证实践的完整因果链。

起点是把提示拆解为主体、场景、事件与镜头。一句笼统的描述不足以约束时间轴，只有拆成可检验的状态变化，后面每一步才有核对的对象。接着根据手头条件选择任务类型：只有文本就走文生视频，有首帧就走图生视频，有几何路径就走轨迹控制。条件强弱决定了模型需要自行采样的自由度，也决定了后续验证的基准。

生成本身先在潜空间里完成：用压缩后的低清张量生成一段完整的运动骨架，让最难的时间一致性先稳定下来，再让时间模块在骨架之上维持身份、遮挡和状态。之后进入级联后处理——时间超分补出中间帧、空间超分补充细节，两者共享跨帧信息，避免逐帧独立处理带来的闪烁。到了验证阶段，跟踪画面里的对象，核对事件发生的顺序和物理后果是否成立；同时从帧质量、时序、语义和人类偏好多个轴同时评测，任何单一指标都只覆盖其中一层。最终交付时记录来源、限制身份滥用，并做版本化发布，保证可复现。

这条链也给出了如何验证它的方法。在固定与观察之间，每一层都要同时回答两个问题：固定了什么，以及观察到了什么证据。输入层固定同一批样本、同样的前处理流程和权限边界，观察输入哈希、切片标签和拒绝原因。机制层只改变一个核心变量，其余配置全部锁定，观察关键的中间状态以及首次偏离预期发生在哪里。输出层使用同一套验收规则和资源预算，观察质量、成本、延迟和失败率在各层级上的差异。反证层则保留一个不启用目标机制的对照组，看收益是否能在不同样本和随机种子上稳定复现。只有当一条因果链在固定、观察和反证三个方向上都能自洽，它才不只是原理上的推演，而是可以反复检验的实践。