5. 视频（Video）

在多模态 AI 体系中，视频模态负责理解和生成“随时间变化的视觉信号”。相比单帧图像，视频不仅包含空间维度上的纹理、形状和布局信息，还携带丰富的 时间维度线索 ：动作的起落、物体的运动轨迹、镜头的切换节奏等。无论是安防监控中的行为识别、体育训练中的动作分析，还是短视频平台的一键剪辑、长视频的智能解析，本质上都依赖于一整套围绕“帧序列”展开的理解与生成能力。

从工程视角看，视频能力大体可以分为几层：底层的视频增强与复原负责保证“能看清”；视频理解与结构分析负责回答“发生了什么”；在此基础上，视频 + 语言多模态任务将视频内容转化为文本可用的结构化描述和检索接口；进一步的，视频生成与编辑则反过来从文本或示例视频出发，用可控的方式生成或重组视频内容；而以数字人 / 虚拟人为代表的一类应用，则将语音、语言、动作和视频渲染综合在一起，构成面向交互与内容生产的新形态。

下面我们同样从分层能力出发，对视频相关能力进行梳理。

5.1 传统视频处理：从“能播”到“好看、好用”

在视频技术的最底层，我们首先关心的，并不是“画面里是谁”“发生了什么事件”，而是这段视频本身是否稳定、清晰、舒适：画面抖不抖、糊不糊、噪点多不多、比例是否适合目标终端播放。传统视频处理这一层，主要在帧序列和时空像素层面工作，通过增强、修复、超分辨率、插帧和重定帧等操作，把嘈杂、抖动、分辨率不足或比例不合适的原始视频，转换为更适合观看和后续分析的“高质量时序信号”。可以把它类比为图像模态中的“图像复原与增强 + 几何校正”，只不过这里额外引入了时间维度上的平滑与一致性。

从产品角度看，这一层能力几乎“隐身”在所有视频产品背后：剪辑软件的一键画质增强、短视频平台的自动画质升级、电视盒子和播放器的智能超分与插帧、老影片修复服务，以及给上游检测/识别模型做的多帧预处理，都是传统视频处理的直接体现。下面依然从 场景 、原理和模型三个角度来梳理，并在后续小节中展开视频增强与修复、超分与插帧几个关键方向。

• 场景 在线视频平台、剪辑工具、监控系统和终端设备中，传统视频处理主要出现在以下典型场景：
  • 内容平台与剪辑工具：短视频、长视频在上传或编辑时，通过一键画质增强、稳像、防抖、降噪，让用户“拿起手机就能拍、拍完就能用”；老视频素材在导入剪辑工程时，通过修复和补帧，使其与新素材在观感上更一致。
  • 影视与老影片修复：对历史胶片、早期电视节目和标清素材进行数字修复，去除划痕、噪点和抖动，恢复色彩和细节，为重映、再发行和数字档案保存提供更高质量的版本。
  • 视频监控与行车记录：对弱光、雨雾、压缩严重的监控画面进行降噪、去雾、增强对比度和稳像，提升后续检测和识别模块的鲁棒性，便于取证和溯源。
  • 终端播放与设备侧增强：电视、机顶盒、手机播放器本地集成超分和插帧功能，将存量的 720p/1080p、24/30fps 内容在播放端“升级”为近似 4K、60/120fps 的视觉效果。
  • 多终端适配与分发：为同时覆盖手机竖屏、平板横屏和大屏电视，对同一视频进行横竖屏适配、智能裁剪和多比例重定帧，减少手工剪辑和多版本维护成本。
• 原理 传统视频处理通常不直接理解语义类别，而是围绕画质、稳定性和时间一致性在时空信号层面做建模和优化：
  • 时空联合建模：在单帧图像增强的基础上，引入时间维度的信息，通过光流估计、相机运动建模或时空卷积，把前后帧作为额外“观测”，在时间轴上做多帧融合与噪声抑制。
  • 稳像与防抖：将相机抖动建模为一段时间上的几何变换序列（平移、旋转、缩放等），通过估计全局或局部运动轨迹，将其平滑后重新投影到输出视频中，从而达到去抖和稳定的效果。
  • 视频超分与插帧：视频超分通过多帧对齐和细节重建，在提升空间分辨率的同时保持时间一致性；插帧则通过光流估计或时空生成网络，在两帧之间合成中间帧，用更高帧率呈现运动，提高流畅度。
  • 重定帧与自动构图：通过检测和追踪视频中的主体（人物、物体），在时间轴上估计主体轨迹，再结合目标分辨率的长宽比，为每一帧选择合适的裁剪窗口，并对裁剪窗口的运动进行时间平滑，保证观感自然。
  • 质量与效率权衡：在云端离线处理可以追求最优画质和复杂模型，而在手机、播放器和实时场景中则需要控制模型参数量、计算复杂度和延迟，在算法结构和推理框架上做精细折中。
• 模型 在具体实现上，传统视频处理综合使用经典视频信号处理方法和深度学习模型，在效果、效率与部署形态之间寻找平衡：
  • 经典视频处理方法：基于光流的稳像与插帧、时域滤波与多帧融合、基于块匹配的去噪和去压缩伪影等，仍然广泛应用于算力受限或对可解释性有要求的场景。
  • 深度视频复原与增强模型：以 EDVR、BasicVSR / BasicVSR++、Real‑ESRGAN 视频版等为代表的多帧超分与增强网络，通过对齐与时空特征聚合，在去噪、去模糊、细节恢复和去压缩伪影方面显著优于传统方法。
  • 深度插帧模型：如 DAIN、RIFE、FILM 等插帧网络，通过显式或隐式光流估计与中间特征融合生成中间帧，相比传统光流 + 重采样方法在复杂运动和遮挡场景中更稳定。
  • 基于 Transformer 的视频复原：利用时空注意力统一处理空间纹理与时间依赖，在复杂镜头运动、多物体场景下具备更强的建模能力，同时在推理时通过稀疏注意力、滑动窗口等机制控制计算量。
  • 实际产品与系统：剪映 / CapCut 的智能增强、Topaz Video Enhance 等商用增强软件，B 站及各短视频平台的画质增强管线、老影片修复 SaaS 服务等，通常会将多种模型与策略级联，按素材类型和终端条件动态选择最优处理路径。

综合来看，这一层更多是在“语义之前”为视频打好物理与感知基础：既帮助用户获得更舒适的观感，也为上游检测、识别和生成模型提供更干净、更稳定的输入。下面，我们分别从 视频增强与修复 、超分辨率与插帧等子方向展开。

5.1.1 视频增强与修复：把“能看”打磨到“好看”

在真实拍摄条件下，视频往往并不“干净”：手持设备造成的剧烈抖动、弱光下的高噪点和涂抹感、网络压缩带来的块状伪影和色带、老旧设备录制的褪色和划痕，都让视频质量明显低于理想状态。视频增强与修复的目标，就是在不改变视频语义内容的前提下，最大程度恢复稳定、清晰、自然的观感，把“勉强能看”的素材打磨到“看起来顺眼甚至好看”的水准。

在时域上，增强与修复首先要解决的是稳定性问题。通过对连续帧进行特征匹配或光流估计，可以分离出全局相机运动和局部物体运动，再利用平滑后的相机轨迹重新渲染输出帧，从而抑制快速抖动与微小晃动，避免观众在观看过程中产生眩晕感。在此基础上，画面级的去噪、去模糊和去伪影则更多集中在空间–时间联合建模：多帧联合去噪利用前后帧冗余信息，在时间方向上进行类似“多曝光融合”的处理，在保留细节纹理的同时有效抑制高 ISO 噪声和压缩噪声；对轻微运动模糊，则通过估计模糊核或使用端到端深度网络，在帧序列上进行反卷积式的清晰化处理，使静态背景和运动主体都更锐利。

对于老影片和低质量素材，修复还涉及色彩和结构层面的“重建”。胶片老化会导致画面泛黄、对比度下降、局部划痕和污点显著，早期数字视频则常见分辨率低、压缩严重和边缘锯齿等问题。现代修复流程往往采用多步协同：先利用检测和分割模型定位划痕、污点等局部损坏区域，再通过时空补全网络在邻近帧和邻近空间像素中“借料填坑”；同时进行色彩还原和对比度重塑，使整体色调接近原始拍摄或设定的风格参考。对于严重压缩的视频，还会引入针对块效应和振铃伪影的专用去伪影网络，在不过度平滑的前提下改善边缘和细节。

这些增强与修复能力在产品中的体现往往是“一键式”的：用户只需勾选“稳像”“画质增强”或“老视频修复”，系统便会在后台自动选择合适的模型和参数组合，对视频帧序列做多阶段处理。对业务而言，这一层既直接决定了观众对画质的主观评价，也间接影响上游分析模型的表现：更干净、更稳定的视频输入，往往意味着更可靠的人脸/车牌识别、更准确的行为检测和更少的误报。

5.1.2 超分辨率与插帧：从“能看清”到“更流畅”

在显示设备不断升级、用户对细节和流畅度要求不断提高的背景下，大量存量视频内容在分辨率和帧率上显得“先天不足”：1080p 在 4K 屏幕上显得不够锐利，24/30fps 在大屏和快速运动场景中容易出现拖影或卡顿感。超分辨率与插帧技术正是为了解决这两个问题：前者在空间维度上“补细节”，后者在时间维度上“补过程”，共同把“勉强能看清”的视频提升为“细节丰富、播放顺滑”的观感。

视频超分辨率相比单帧图像超分多了一个关键维度：时间。简单的逐帧放大容易导致相邻帧细节不一致，出现闪烁和纹理抖动。因此，主流方法都会利用前后多帧的信息，通过光流估计或特征级对齐，将邻近帧中的细节对齐到目标帧上，再在对齐后进行细节重建。像 EDVR、BasicVSR / BasicVSR++、Real‑ESRGAN 视频版等模型，会先在特征空间对多帧进行对齐和聚合，再用深度网络推断高分辨率细节，避免简单插值带来的“糊”和“塑料感”。在这一过程中，如何在“物理合理”和“感官好看”之间平衡，是损失设计和训练策略的核心：既要提升客观指标（如 PSNR、SSIM），也要保证主观观感自然，没有过度锐化和伪细节。

插帧则聚焦在时间轴上的“补帧”。传统方法依赖光流估计，先预测前后两帧之间每个像素的运动，再按照一定规则在中间位置插值生成新帧。然而在快速运动、多物体遮挡或纹理复杂区域，光流往往不够准确，容易出现拖影、重影或局部形变。深度插帧模型如 DAIN、RIFE、FILM 等，通过端到端网络同时学习光流、深度或中间特征的融合策略，直接输出插值帧，在复杂场景下的稳定性和视觉质量明显提升。对于体育赛事、动作游戏录屏和慢动作创作，插帧可以将 24/30fps 的原始视频平滑提升到 60/120fps，既保留运动细节，又减少卡顿和残影。

在工程实践中，超分和插帧常常结合使用：对低分辨率、低帧率的存量内容先做时序插帧，再进行空间超分，或两者在统一的时空网络中一体化实现。部署形态上，云端离线处理适合对画质要求极高的影视修复和平台级“画质升级”服务，而端侧实时推理则更多见于电视盒子、播放器 App 和游戏/运动相机中，需要通过模型压缩和硬件加速保证低延迟。无论以何种形态呈现，超分与插帧已经成为“高清/超高清体验”的重要基建，使旧内容在新终端上焕发“第二春”。

5.2 视频理解与结构分析（Video Understanding）

如果说传统视频处理更多停留在“画质与稳定性”层面，那么视频理解与结构分析则开始回答“视频里在发生什么”这一类语义问题：谁在做什么、在哪里做、持续了多久、是否存在异常行为等。这里的目标，是在时间轴上对视频进行结构化拆解：识别动作与行为、检测与跟踪目标、分割前景与背景、划分场景与镜头，并抽取出可供下游决策、检索与告警使用的高层语义信号。

从产品视角看，这一层能力已经深入到各类智慧安防平台、运动训练分析系统、智能行车记录仪和工业质检视频分析系统中：在监控中识别打架、摔倒、徘徊等异常；在体育和健身场景中分析动作规范性和技术细节；在交通与工业环境下追踪车辆和人员轨迹、监控生产流程是否正常。下面依然从 场景 、原理和模型三个角度梳理这类能力，并在后续小节中重点展开几个代表性方向。

• 场景
  • 安防与公共安全：在城市监控、园区和楼宇中，识别打架、摔倒、聚集、奔跑、翻越围栏等行为，对徘徊、深夜逗留等异常模式提前告警。
  • 交通与出行：对行人、车辆、自行车在路口、隧道和高速上的轨迹进行检测和追踪，分析闯红灯、逆行、占道、超速等行为，为交管和事故溯源提供依据。
  • 体育与运动训练：分析篮球投篮、网球发球、瑜伽体式等动作的关键阶段与姿态质量，为运动员和大众用户提供技术分析和纠错建议。
  • 工业生产与质检：监控生产线上的作业步骤是否规范，检测装配过程中是否存在漏装、错装或异常动作，为安全生产和良率提升提供基础数据。
  • 内容结构化与检索：对长视频进行镜头拆分、场景分类和重要片段标记，为后续检索、推荐和剪辑提供结构化索引。
• 原理 视频理解与结构分析的关键，是在时间维度上对空间目标和语义进行联合建模：
  • 动作识别与行为分析：基于 2D/3D 卷积、时序池化或 Transformer，对一段视频片段进行整体编码，识别其中发生的动作类别；进阶方法结合人体关键点序列与骨架拓扑，更细粒度地分析动作质量与模式。
  • 目标检测与追踪：在每一帧上做检测的同时，引入跨帧关联机制（外观特征、运动轨迹等），将同一目标在不同时刻的检测框串联为连续轨迹，得到多目标跟踪结果。
  • 视频语义分割与场景分析：在像素级别上对视频中的每一帧进行语义分割或实例分割，并利用时间连续性平滑预测；同时对镜头切换和场景边界进行检测，实现长视频的结构拆解。
  • 高层事件与异常检测：在基础的动作与轨迹特征之上，利用时序建模和模式识别方法，对罕见事件和异常模式进行检测，往往结合无监督或弱监督学习缓解标注稀缺问题。
• 模型 在模型选择上，视频理解与结构分析通常采用“空间特征 + 时间建模”的组合架构：
  • 基于 3D 卷积和 Two‑Stream 的经典模型，如 I3D 等，通过在空间和时间维度同时卷积，对短视频片段进行端到端动作识别。
  • 基于多路径与多时间尺度的 SlowFast 系列模型，通过慢路径捕捉语义、快路径捕捉运动细节，在计算量和精度之间取得更好平衡。
  • 基于 Transformer 的视频模型，如 TimeSformer、Video Swin Transformer 等，利用时空注意力机制对长时间范围的视频进行建模，更适合捕捉复杂事件和多主体互动。
  • Tube‑based 检测器与时空卷积 / Transformer 模型，将检测框在时间上扩展为“tube”，在空间–时间联合特征上做行为检测与时空分割。
  • 多目标跟踪（MOT）方法，如 DeepSORT 等，将帧级检测结果与外观嵌入、运动预测结合，在视频中稳定关联目标身份。

整体上，这一层能力把视频从“高质量像素流”进一步抽象为“行为与事件流”，为上游的多模态理解、检索与决策奠定结构基础。下面，我们从 动作识别与行为分析 、 目标检测与追踪 、事件与异常检测三个方向展开。

5.2.1 动作识别与行为分析：从帧序列到“谁在做什么”

动作识别与行为分析关注的是“在一段时间窗口内，主体在做什么事”。在安防场景中，这意味着从视频中识别出“走路、奔跑、摔倒、打架”等行为；在体育和健身中，则对应“投篮、发球、深蹲是否标准”“瑜伽体式是否到位”等更细粒度动作。技术上，早期方法主要依赖 2D 卷积 + 光流或手工特征，将若干帧堆叠后整体分类；现代方法则更多采用 3D 卷积（I3D、一系列 3D ResNet 变体）、SlowFast 这类多时间尺度结构，或 TimeSformer、Video Swin Transformer 等基于时空注意力的模型，对空间纹理与时间变化进行联合建模。

在许多需要高精度姿态分析的场景中，直接对 RGB 片段分类并不足够，还会结合人体姿态估计和骨架序列建模：先从每一帧中提取 2D/3D 关键点，再将关键点序列送入 RNN、时序卷积或 GCN/Transformer 网络，分析动作的时序结构和空间协调性。这种“姿态先验 + 时序建模”的方式，对背景、光照和服装变化更鲁棒，适合瑜伽、健身、工业操作规范性评估等对动作细节要求较高的应用。

5.2.2 目标检测与追踪：从“这一帧在哪”到“整段轨迹”

单帧目标检测可以告诉我们“这一帧里有哪些目标、在哪儿”，而现实中的许多任务需要的是“这辆车 / 这个人从哪里来、到哪里去、中间做了什么”。目标检测与追踪模块正是为了把帧级检测串成时间上的连续轨迹：一方面在每一帧上运行检测器，给出候选目标框；另一方面基于外观特征（ReID 嵌入）、运动预测（卡尔曼滤波）和空间重叠等线索，将相邻帧上的框进行匹配与关联，得到多目标跟踪（MOT）结果。

在工程实践中，一个典型的流水线是：“强健的行人 / 车辆检测 + DeepSORT 一类的关联算法”，部署在监控或行车记录仪上，实时输出每个 ID 的运动轨迹。在更复杂的系统中，这些轨迹还会结合区域语义（车道、区域划分）与业务逻辑规则，进一步推断逆行、长时间逗留、频繁进出等高层行为模式，为上游安防、交通流量分析和工业流程监控提供连续时序信号。

5.2.3 事件与异常检测：从“常态模式”中找出“不对劲”

在大部分业务场景中，真正需要重点关注的往往是“少数异常”和“关键事件”：例如安防中的打架、摔倒、聚集，工业生产中的异常停机或违规操作，交通中的危险驾驶行为等。这类事件相对罕见，标注成本高、样本极不平衡，给模型建构带来了额外挑战。

常见的做法，是在基础的动作识别、目标跟踪和场景分割之上，构建一个时序异常检测模块：要么通过有监督方式直接学习少量已标注的异常样本；要么采用无监督/弱监督方法，对“正常模式”的运动与行为分布进行建模，一旦新观测与历史分布明显偏离，就发出告警。在模型层面，会结合时序自编码器、对比学习、图神经网络或时序 Transformer，将空间关系和时间依赖统一编码，从而捕捉更复杂的群体行为模式和长程依赖。

5.3 视频 + 语言多模态任务（Video‑Language）

如果说视频理解解决的是“视频本身理解清楚了”，那么视频 + 语言多模态任务关注的是“如何用自然语言去描述、问答、检索视频内容”，以及“如何在长视频时间轴上，围绕文本需求快速定位关键信息”。这类任务需要同时处理视觉、语音与文本信号：一方面提取视频中的画面与声音特征，另一方面对接语言模型的推理与生成能力，把时空内容压缩成适合人类消费和机器调用的文本摘要、问答结果与语义索引。

从产品视角看，这一层能力已经深入长视频自动生成字幕与时间轴、短视频剪辑平台的“智能打点 / 关键片段抽取”、企业培训和会议视频的问答助手等场景：用户不必再“从头看到尾”，而是可以通过自然语言直接对视频内容进行检索、提问和重组。下面依然从 场景 、原理和模型三个角度展开。

• 场景
  • 字幕与摘要生成：对课程、演讲、会议和长视频内容自动生成多语言字幕，并在此基础上生成章节级摘要、看点列表与时间轴。
  • 视频问答与知识访问：对教学视频、操作演示、企业培训内容构建“视频问答助手”，支持用户用自然语言提问，如“这个步骤怎么做”“这个人最后把手机放哪了”。
  • 视频内容检索与片段定位：在大规模视频库中支持“文字 → 视频片段”的精确检索，例如“找出提到价格的部分”“找到讲解某个公式的片段”；在单个长视频内自动打点标注精彩片段与关键信息。
  • 内容生产与编辑辅助：结合视频内容理解与语言生成功能，自动生成标题、文案、分镜脚本，辅助创作者快速剪辑和重组素材。
• 原理 视频–语言多模态系统的核心，是在统一嵌入空间中对齐时序视觉特征与文本表示，并在这一基础上进行检索、生成与推理：
  • 多模态特征抽取与对齐：对视频帧/片段提取时空特征（CNN/ViT/Video Transformer），对文本提取语言嵌入（预训练 LLM 或文本编码器），通过对比学习或多模态预训练对齐两种模态。
  • 语音与文本管线：对包含语音的内容，通常先用 ASR 生成时间戳对齐的转写文本，再与视觉特征联合建模，既可以用文本直接驱动检索，也可以做跨模态对照与纠错。
  • 时间建模与片段定位：对于长视频，需要在时间轴上学习“片段级”表示，通过注意力或时序 RAG 在局部片段和全局上下文之间动态切换，实现对问题相关区间的精确定位。
  • 生成与推理：在对齐后的多模态表示上接入大语言模型，进行自然语言生成（字幕、摘要、解释），或进行多轮问答与逻辑推理。
• 模型 在模型形态上，视频–语言多模态任务经历了从“专用编码器 + 简单头”到“统一多模态大模型”的演进：
  • 早期视频–语言模型：如 VideoBERT 等，在预训练阶段联合建模视觉与文本 token，通过掩码预测和对比学习获得可迁移的视频–语言表征。
  • All‑in‑One Video‑Language Models：将视频、文本（及语音）统一纳入一个多模态 Transformer 中，通过共享或部分共享参数，实现描述生成、检索、QA 等多任务统一处理。
  • 长视频多模态模型：如具备视频能力的 Gemini、Claude、GPT 等，通过长上下文与分层时序建模，对数十分钟乃至数小时视频进行整体理解，支持时间轴级别的摘要与问答。
  • 时序 RAG + VLM：在视频上构建“时序向量索引”，先用 VLM 对视频片段进行编码建立数据库，再在查询时检索相关片段，结合 LLM 进行答案综合与可解释推理。

总体来看，这一层将视频从“机器理解”进一步提升到“人机对话与协作”层面：用户可以像问人一样向视频提问，系统则在背后完成复杂的视觉、语音与语言对齐与推理。

5.3.1 字幕、摘要与时间轴：把长视频压缩成可浏览文本

对于课程、讲座、会议和长内容视频，最迫切的需求往往是“快速知道讲了什么、哪里是重点”，而不是从头到尾完整观看。自动字幕与摘要系统通过“ASR + 文本处理 + 视觉辅助”的组合，将音频内容转写为时间戳对齐的文本，再在此基础上生成结构化大纲与精简摘要，实现从“小时级视频”到“分钟级阅读”的信息压缩。

在实现层面，ASR 模块负责稳定、高质量地给出多语言转写和时间轴对齐；文本侧则利用大语言模型对原始转写进行纠错、分句和语义重整，提取章节标题、关键信息和问题–答案对。在一些场景中，还会结合视觉线索（如 PPT 页面变化、场景切换）来辅助划分章节边界与重点片段，保证摘要结构与真实内容节奏更加一致。

5.3.2 视频问答与语义检索：用自然语言“操纵”视频

在字幕与摘要之上，更进一步的需求是能够针对特定视频内容进行问答和检索：例如“这个人最后把手机放在哪里”“哪一段讲到了价格策略”“演示这个步骤的是第几分钟”。这类任务需要在时间轴上对问题进行语义定位：既要理解问题本身涉及的人物、物体和动作，也要在视频时序表示中找到对应的片段。

具体做法上，通常会先离线为视频构建多粒度索引：对固定长度的片段提取多模态表示（画面 + 文本/语音），建立向量索引或图结构。在在线交互时，将用户问题编码为文本向量，与索引中的片段表征进行匹配，找出最相关的时间区间；随后，将这些片段的内容（关键帧截图描述、转写文本等）与问题一起送入 LLM，由模型生成自然语言答案或返回对应时间点。对于大规模视频库，可以在相同机制下支持“跨视频检索”，例如在企业培训知识库或电商商品视频中跨集合查找相关片段。

5.3.3 多模态编辑辅助：从理解到“帮你剪好”

当系统能够稳定地理解视频中的内容和语义结构后，自然的下一步就是反向利用这些理解结果来辅助创作与编辑。视频–语言多模态模型可以根据创作者提供的脚本或提示词，在现有素材中自动选取符合语义的片段，生成粗剪时间线；也可以根据视频内容自动生成标题、封面文案、章节标签，甚至对镜头节奏和配乐提出建议。

在工作流中，这类能力通常以“智能推荐”和“自动粗剪”的形式出现：创作者上传素材后，系统自动完成分析、分镜、打点，并给出若干候选版本（如不同节奏、不同时长的剪辑方案）；创作者可以在此基础上微调，而无需从零开始逐帧筛选。对于企业级应用，系统还可以结合知识库和品牌规范，确保生成的文案、字幕和剪辑风格符合既定的业务要求和合规标准。

5.4 视频生成与编辑（Video Generation & Editing）

在拥有了稳定的理解和结构分析能力之后，视频生成与编辑则迈向了“主动创造内容”的阶段：不再只是提升画质或做结构化分析，而是根据文本脚本、参考图像或已有视频，生成全新的镜头，或对原始视频进行结构化编辑与重组。这里既包括从无到有的文生视频（Text‑to‑Video），也包括基于已有图像/视频的风格迁移、扩展与重排，以及面向对象级别的精细编辑与替换。

产品上，这一层能力已经通过即梦视频、 minimax 视频、Sora、Runway Gen‑2、Pika、Kling 等一系列产品进入内容创作主流：广告片、概念片、动画、剧情分镜可以在不依赖大型拍摄团队和复杂后期的情况下快速生成；创作者可以通过自然语言脚本驱动镜头和风格；传统的视频剪辑流程则开始与结构化生成工具深度融合。下面依然从 场景 、原理和模型的角度进行梳理。

• 场景
  • 文案、剧本到短视频：品牌广告、小剧场、剧情片段和概念动画，根据脚本自动生成或半自动生成可播放的视频草稿。
  • 图像 / 视频到视频：为插画或角色设计生成动态版本，为现实拍摄素材进行风格迁移（现实 → 动漫 / 插画），或在时间与空间上扩展/重组已有视频。
  • 结构化编辑与后期：在不改变整体内容语义的前提下，实现人物换脸、口型同步、对象擦除与替换、文本驱动的剪辑重排等精细操作。
• 原理 当前主流视频生成与编辑方法多以扩散模型（Diffusion）或其变体为核心，在高维的时空潜空间中逐步“去噪”生成视频：
  • 文本条件建模：通过文本编码器（如 T5/CLIP 文本塔或专用语言模型）将脚本映射为条件向量，引导视频解码器在风格、内容和运动模式上对齐文本描述。
  • 时空一致性与运动控制：在扩散过程或后验优化中加入时空卷积、时序注意力或 4D 表达（NeRF/GS 等），保证视频在时间轴上的连贯性与物理合理性。
  • 图 / 视频条件生成：在输入图像或视频的特征空间上启动扩散过程，通过控制噪声注入、遮罩区域和条件通道，实现“保留已给部分 + 生成新内容”的受控编辑或扩展。
  • 结构化控制信号：结合姿态骨架、分割掩膜、深度图、相机轨迹等结构信息，使生成视频在主体动作和视角变化上更可控。
• 模型 代表性的模型与方向包括：
  • Diffusion‑based Text‑to‑Video 模型（Sora、Runway Gen‑2、Pika、Kling 等），通过大规模视频–文本对进行预训练，在复杂场景、多镜头运动和多样风格上具备较强生成能力。
  • Image‑to‑Video 扩散模型：以单帧图像为条件，预测后续帧的动态演化，实现“单图 → 动画 / 动效”；或对短视频进行续写、扩展、旋转视角等操作。
  • NeRF / 4D 表达与关键帧 + 插值方法：利用 3D 场景表示或关键帧 + 时序插值，将生成与几何、一致性建模结合，实现更稳定的视角漫游与复杂运动。

这些能力并非孤立存在，而是逐步渗入剪辑与后期流水线：文案到分镜、分镜到粗剪、粗剪到风格化与局部编辑，越来越多环节被“文本 + 结构化控制”所驱动。

5.4.1 文生视频：从脚本到“可看”的镜头序列

文生视频（Text‑to‑Video）希望实现的是：用户用自然语言描述一个场景、镜头或故事片段，系统自动生成一段连贯的视频。与图像生成相比，文生视频增加了时间维度的难题：不仅要在单帧层面保持画面质量和风格一致，还要保证跨帧的主体身份、光照、背景和运动轨迹的连贯性。

典型的扩散式文生视频模型会先在大规模视频–文本配对数据上预训练：文本编码器提取语义条件，视频解码器在潜空间中对一段“噪声视频”反复去噪，逐渐收敛到与文本一致的时空信号。在此过程中，会通过时序注意力、3D 卷积或 4D 表达等结构，将时间依赖显式建入网络，以避免出现“帧间跳变”“角色重置”等问题。部分系统还支持对镜头运动（推拉摇移）和构图节奏进行控制，使生成结果更接近真实拍摄语言。

5.4.2 图 / 视频到视频：在已有内容上“生长”与“变形”

另一条重要路线是基于已有图像或视频进行生成与编辑：例如，将一张插画或概念设定图“动起来”，将真人视频风格化为动漫，或在保持结构不变的前提下更换背景、调整天气和时间。技术上，这类方法往往在扩散过程上增加“参考通道”：将输入图像或视频编码为特征，作为条件或初始状态参与去噪，同时通过遮罩、显式几何约束等机制控制“哪些区域可以被改变、哪些必须保持”。

对于风格迁移场景，模型会在保留原始运动和构图的前提下，重绘纹理和光影，使其匹配目标风格；对于视频扩展与重组，则通过在时间两端或中间“续写”新帧，实现水平/垂直场景扩展、视角绕行或情节补充。这类能力非常适合与传统剪辑流程结合：剪辑师先给出关键镜头和节奏，模型再在这些“锚点”之间自动生成过渡和变体。

5.4.3 结构化视频编辑：对象级的精细控制

在许多业务场景中，完全重生视频并非刚需，更关键的是对已有画面进行精细、可控的结构化编辑：比如换脸、改口型、擦除不需要的物体、替换广告位内容，或者根据文本脚本重排镜头顺序。结构化视频编辑正是沿着这一思路发展：在视频理解的基础上，引入对象级分割、跟踪和参数化表示，使编辑操作可以稳定绑定到特定目标和时间段。

人物换脸和口型同步（Lip‑sync）是这一方向中最典型的应用：模型需要在保证头部姿态与整体表情自然连贯的前提下，将目标人物的身份映射到原视频的表演上，并根据新语音信号精确控制口型运动。对象擦除 / 替换则依赖高质量的分割和时空补全：先在每一帧中分割并移除目标对象，再利用邻近帧与上下文纹理填补空洞，避免出现明显“打补丁”的痕迹。文本驱动剪辑则通过将“脚本结构”与视频时间轴对齐，自动选取和拼接符合脚本语义的片段，实现更高层的自动化编辑。

5.5 数字人 / 虚拟人（Digital Human / Avatar）

数字人 / 虚拟人（Digital Human / Avatar） 可以看作是视频生成、语音合成、多模态理解和图形渲染的一次“系统级整合”：它不只是生成一段视频，而是基于文本或语音输入，持续、可控地驱动一个虚拟形象“开口说话、做表情、摆动作”，并在越来越多场景下实现准实时甚至实时的交互。相比一般的视频生成，数字人更强调三点： 身份与形象的长期一致性、语音—表情—动作的精细对齐、以及端到端系统的实时性与稳定性 。

从产品视角看，数字人已经广泛出现在内容生产平台、虚拟客服 / 智能前台 / 虚拟导览、教育培训与在线课堂、品牌虚拟 IP / 虚拟偶像、为创作者提供的虚拟主播 / 数字分身工具等场景：企业可以批量生产带有固定形象和风格的视频内容，政府和企业服务可以用虚拟前台 7×24 小时接待用户，个人创作者可以完全不露脸但持续产出“有人出镜”的视频。下面依然从 场景 、原理和模型三个维度来梳理，并在后续小节展开驱动与表达、形象与视频生成、实时交互与系统集成三个方向。

• 场景
  • 内容生产与在线传播：企业宣传片、产品功能讲解、课程录制、新闻播报，使用数字人替代真人上镜，大量减少拍摄场地、灯光设备和人力成本。
  • 虚拟客服与导览：在银行网点、政务大厅、景区、博物馆等场所，用数字人承担迎宾、问询、业务咨询和路线指引，兼顾形象统一与 7×24 小时服务。
  • 品牌虚拟 IP / 虚拟偶像：围绕某一虚拟形象长期运营短视频、直播、电商内容，在不同平台上保持统一人设和视觉风格。
  • 虚拟主播与数字分身：为不愿出镜或需要多身份运营的创作者，提供可配置的虚拟主播 / 数字分身，与真实声音或合成声音绑定，实现“只用说话 / 打字，就能稳定出镜”。
• 原理 数字人系统本质上是一个“语音 / 文本驱动 + 形象建模 + 视频 / 渲染输出”的多模态流水线，在离线与实时场景下略有差异，但核心组件相似：
  • 语音与语言驱动：根据脚本直接用 TTS 合成语音，或接入 ASR + LLM，从用户语音 / 文本中生成回复文本，再用 TTS 输出语音；语音特征（如 mel 频谱）作为驱动信号控制嘴型与表情时间轴。
  • 形象与动作空间建模：为虚拟形象构建可控的几何与外观表示，例如 2D 人像 / 插画、基于骨骼和 Blendshape 的 3D Avatar、或基于 NeRF / 4D 高斯的可渲染体积表示；并定义一组“驱动参数”（如关键点、姿态骨架、Blendshape 系数），用来编码表情与姿态。
  • 语音 → 表情 / 动作映射：通过专门的“语音驱动”模型，将语音特征映射为人脸和上半身的驱动参数，实现口型同步（Lip‑sync）、表情细节和头肩动作；实时数字人会要求这一映射端到端低延迟且稳定。
  • 渲染与合成：根据当前帧驱动参数，对虚拟形象进行图像或 3D 渲染，输出连续视频流或实时画面；可叠加背景、道具、字幕等元素，与传统视频剪辑流程结合。
• 模型 在具体模型上，数字人系统往往综合使用多类专用模型与通用多模态模型：
  • Audio‑driven Talking Head 模型：如 Wav2Lip 一类的口型同步模型，通过学习语音与口腔区域像素 / 几何之间的对齐关系，在保证身份一致的前提下生成自然的嘴部运动。
  • 实时 / 轻量级数字人模型：如 Ultralight‑Digital‑Human、轻量级 Talking Head 模型等，在结构上大幅压缩参数与计算量，使得在 CPU / 移动端 / WebGPU 上也能实现接近实时的驱动与渲染。
  • NeRF / 4D 表达模型：如 ER‑NeRF（Explicit / Efficient / Editable 方向的数字人 NeRF 方案）等，通过在 3D 空间中建模人物形象与表情变化，使视角、光照和动作更自然连贯，适合高保真和多机位场景。
  • 语音驱动与多模态对齐模型：如 MuseTalk 一类“语音 → 面部表情 / 说话头”模型，将音频特征和视觉特征对齐，在不依赖大量 3D 标注的情况下实现逼真的讲话表情与头部动作。
  • 语音与对话模型：高自然度多说话人 TTS、端到端语音对话模型（ASR + LLM + TTS 一体化），为数字人提供多风格、多语种的声音和对话能力。

综合来看，数字人既是一组模型，也是一套完整系统：它将语言理解、语音、视觉生成与实时推理整合起来，从而在“屏幕前”呈现出一个可交互的虚拟角色。下面，我们从 驱动与表达 、形象与视频生成和实时交互与系统集成三个方向展开。

5.5.1 驱动与表达：从脚本 / 语音到“会表达、有表情”的人

在数字人流水线中，驱动与表达负责回答一个核心问题：在给定脚本或语音的前提下，虚拟形象在每一帧应该呈现什么样的嘴型、表情和头肩动作。这里既包括离线批量生产的场景，也包括对实时对话的响应。

在离线内容生产中，常见链路是“文本脚本 → TTS → 语音驱动”：业务侧提供播报文案，TTS 模块生成目标音色（如品牌虚拟代言人）的语音，再将语音特征输入到“语音 → 动作”模型。Wav2Lip 类模型就是这一环节的重要代表：

• 它以参考人像帧和对应语音片段为输入，通过一个卷积 / 注意力网络预测出与语音精细对齐的嘴部区域，再与原始人像进行融合，从而在保持身份和大部分表情不变的前提下，精确修改嘴型。
• 训练时，通过语音–视频对齐数据监督网络学会不同音素对应的口腔形态，并在时间上保持连续性，避免嘴型跳变或延迟感。

相比早期纯口型同步方案，新一代的语音驱动模型（如 MuseTalk 一类的方法）进一步扩展到了 全脸表情和头部姿态 ：

• 这类模型通常将语音特征映射到一个低维的“情绪 / 表达潜空间”，再通过解码器生成关键点、Blendshape 系数或直接生成图像特征，带动眉毛、眼睛、颊部等区域的细微变化，使“说话表情”更生动。
• 有的模型还会将语音内容的语义信息（如疑问、强调、感叹）编码进去，结合 LLM 分析的句法 / 语用信号，在语调变化处增加点头、皱眉、手势等动作，提升表达的自然度和感染力。

在更高维度上，驱动与表达也可以结合外部控制信号：例如将姿态骨架、手势轨迹、视线方向等作为附加输入，使数字人可以模仿特定演讲者的风格，或根据脚本中的“指示动作”（如“指向屏幕”“双手张开”）执行预定义的动作模板。无论是 Wav2Lip 这样的局部口型驱动，还是 MuseTalk / 实时骨架驱动等更全身的表达建模，它们共同实现了从语音 / 文本到面部与上半身动作的连续映射，是数字人“看起来像在认真说话”的关键一环。

5.5.2 形象与视频生成：从“一个模型”到“一个可塑的角色”

驱动链路解决了“怎么动”，而形象与视频生成则决定了“谁在动、在哪里动、以什么风格动”。这里既包含高保真写实数字人，也包含二次元、卡通和低多边形 Avatar 等风格化形象，以及面向实时和离线渲染的不同技术选型。

在 2D 人像与插画场景中，典型做法是基于少量参考图像和短视频训练一个 Talking Head 生成模型 ：

• 模型将人物的身份信息编码为一个“外观向量”或风格特征，将驱动参数（如语音隐向量、关键点、表情编码）作为条件输入，在图像空间中合成新的帧。
• 与纯 Wav2Lip 只改口型不同，这类模型可以在姿态上做小幅度摆动、在表情上叠加情绪变化，从而让数字人看起来不那么“僵硬”。

在追求更高真实感、更自由视角和多机位切换的场景中，越来越多方案采用基于 NeRF / 4D 表达的数字人建模（如 ER‑NeRF 一类方法）：

• 通过多视角拍摄或视频，先重建人物头部 / 上半身的 3D 体积或高斯场，将不同表情和嘴型对应的状态编码为可插值的隐空间；
• 驱动时，将语音 / 表情参数映射到这一隐空间，在 3D 中进行体积渲染或高斯渲染，再投影到屏幕上。
• 这种做法的优势在于：视角、光照和背景更自然，可以支持“环绕视角”“虚拟摄影机”运动，对 VR/AR、虚拟直播间和高端广告制作尤为友好。

在强调跨端部署与实时性的业务中，还会采用 Ultralight‑Digital‑Human 这类轻量化方案：

• 通过结构剪枝、算子重构和模型蒸馏，将 Talking Head 或 Avatar 渲染网络压缩到移动端 / WebGPU 也能运行的规模；
• 在几毫秒级别完成从驱动参数到一帧图像的生成，与实时语音流或控制信号对齐，实现“低延迟数字人”，适合互动终端、自助机和 Web 前端应用。

在完整视频生产层面，形象与视频生成还要与背景、道具和镜头语言结合：一个常见的工作流是：

• 先为品牌或个人定制一个数字人形象（2D 或 3D）；
• 预设若干虚拟场景（演播厅、办公室、教室、展厅等）；
• 在生产内容时，系统根据脚本自动选择合适场景和机位，生成数字人画面，并与 PPT、演示视频、产品画面进行多画面编排。 这使得数字人不只是一个“说话头”，而是可以自然融入各种节目和内容形态的“角色”。

5.5.3 实时数字人与系统集成：从离线视频到“屏幕里的同事”

随着 ASR、TTS、LLM 和轻量级视频生成模型的成熟，越来越多数字人系统开始从离线批量出片走向 实时交互 ：用户在终端开口说话或输入文本，屏幕上的数字人在几百毫秒到几秒内“听懂—思考—回应—开口说话”，形成类似真人客服 / 导览 / 主持的体验。这里的关键不只是模型本身，还包括如何把多模态链路 压缩到可接受的端到端延迟 。

在一个典型的实时数字人闭环中：

• 前端输入 ：ASR 模块将用户语音实时转为文本，或直接接收用户文本输入。
• 语义理解与决策 ：LLM 结合业务知识库和工具（RAG、数据库查询、流程编排）生成回复文本，以及必要的结构化指令（如需要展示哪一页 PPT、播放哪个视频片段）。
• 语音与驱动 ：TTS 将回复文本转换为目标音色的语音，语音流一边生成、一边被 Wav2Lip / MuseTalk / 实时骨架驱动模型消费，逐段输出对应的口型与表情参数。
• 渲染输出 ：Ultralight‑Digital‑Human 类型的轻量渲染网络或基于 GPU 的 NeRF / Avatar 渲染引擎，将驱动参数实时转换成视频帧，通过 WebRTC、RTMP 或本地渲染直接输出到屏幕。

为了在多终端上提供一致体验，系统还需要在延迟、带宽与算力之间做细致权衡：

• 在云端渲染方案中，绝大部分计算（LLM、TTS、驱动与渲染）在服务器完成，终端只负责播放视频流，适合算力有限的 Web / App 和线下大屏，但对网络稳定性有依赖；
• 在“云 + 端混合”方案中，ASR 和部分 LLM 推理在云端完成，轻量化驱动与渲染在本地进行，可以显著降低音画交互延迟，适合移动设备与自助终端；
• 在强算力终端（如高性能 PC、专用工作站）上，还可以将大部分链路下沉本地，实现弱网环境下的稳定互动。

在模型侧，实时数字人也对结构设计提出了额外要求：

• 语音驱动模型需要具备流式推理能力，能够在获得一小段语音后就给出口型与表情预测，而不是等整句结束；
• 渲染网络需要尽可能减少依赖大卷积核和全局注意力，采用局部卷积、轻量自注意力、分辨率金字塔等结构控制计算量；
• 对于基于 NeRF / 4D 的高保真方案，则需要通过网格缓存、视锥裁剪、稀疏体积和 GPU 优化等手段，把每帧渲染控制在几毫秒到几十毫秒内。

在系统集成层面，实时数字人往往还要与业务知识、人格设定与对话策略紧密绑定：

• 通过知识库和 RAG 管理行业知识、业务流程和 FAQ，确保“说得对、说得全”；
• 通过人设配置和话术模板控制说话风格和表达边界，确保“说得像这个人（或这个品牌）”；
• 通过多轮对话策略与会话状态管理，使数字人可以记住用户上下文、在合适时机确认和追问，呈现出“像一个真正的同事 / 导游 / 讲师”的交互感。

总体而言，加入了 Wav2Lip、MuseTalk、ER‑NeRF、Ultralight‑Digital‑Human 等专门为口型同步、表情驱动与实时渲染设计的模型之后，数字人正从“离线视频模板工具”加速演化为 可实时响应、有稳定人格和专业知识的虚拟实体 ，成为视频技术体系中最具综合性和应用张力的一环。