5. 視頻（Video）

在多模態 AI 體系中，視頻模態負責理解和生成“隨時間變化的視覺信號”。相比單幀圖像，視頻不僅包含空間維度上的紋理、形狀和佈局信息，還攜帶豐富的 時間維度線索 ：動作的起落、物體的運動軌跡、鏡頭的切換節奏等。無論是安防監控中的行為識別、體育訓練中的動作分析，還是短視頻平臺的一鍵剪輯、長視頻的智能解析，本質上都依賴於一整套圍繞“幀序列”展開的理解與生成能力。

從工程視角看，視頻能力大體可以分為幾層：底層的視頻增強與復原負責保證“能看清”；視頻理解與結構分析負責回答“發生了什麼”；在此基礎上，視頻 + 語言多模態任務將視頻內容轉化為文本可用的結構化描述和檢索接口；進一步的，視頻生成與編輯則反過來從文本或示例視頻出發，用可控的方式生成或重組視頻內容；而以數字人 / 虛擬人為代表的一類應用，則將語音、語言、動作和視頻渲染綜合在一起，構成面向交互與內容生產的新形態。

下面我們同樣從分層能力出發，對視頻相關能力進行梳理。

5.1 傳統視頻處理：從“能播”到“好看、好用”

在視頻技術的最底層，我們首先關心的，並不是“畫面裡是誰”“發生了什麼事件”，而是這段視頻本身是否穩定、清晰、舒適：畫面抖不抖、糊不糊、噪點多不多、比例是否適合目標終端播放。傳統視頻處理這一層，主要在幀序列和時空像素層面工作，通過增強、修復、超分辨率、插幀和重定幀等操作，把嘈雜、抖動、分辨率不足或比例不合適的原始視頻，轉換為更適合觀看和後續分析的“高質量時序信號”。可以把它類比為圖像模態中的“圖像復原與增強 + 幾何校正”，只不過這裡額外引入了時間維度上的平滑與一致性。

從產品角度看，這一層能力幾乎“隱身”在所有視頻產品背後：剪輯軟件的一鍵畫質增強、短視頻平臺的自動畫質升級、電視盒子和播放器的智能超分與插幀、老影片修復服務，以及給上游檢測/識別模型做的多幀預處理，都是傳統視頻處理的直接體現。下面依然從 場景 、原理和模型三個角度來梳理，並在後續小節中展開視頻增強與修復、超分與插幀幾個關鍵方向。

• 場景 在線視頻平臺、剪輯工具、監控系統和終端設備中，傳統視頻處理主要出現在以下典型場景：
  • 內容平臺與剪輯工具：短視頻、長視頻在上傳或編輯時，通過一鍵畫質增強、穩像、防抖、降噪，讓用戶“拿起手機就能拍、拍完就能用”；老視頻素材在導入剪輯工程時，通過修復和補幀，使其與新素材在觀感上更一致。
  • 影視與老影片修復：對歷史膠片、早期電視節目和標清素材進行數字修復，去除劃痕、噪點和抖動，恢復色彩和細節，為重映、再發行和數字檔案保存提供更高質量的版本。
  • 視頻監控與行車記錄：對弱光、雨霧、壓縮嚴重的監控畫面進行降噪、去霧、增強對比度和穩像，提升後續檢測和識別模塊的魯棒性，便於取證和溯源。
  • 終端播放與設備側增強：電視、機頂盒、手機播放器本地集成超分和插幀功能，將存量的 720p/1080p、24/30fps 內容在播放端“升級”為近似 4K、60/120fps 的視覺效果。
  • 多終端適配與分發：為同時覆蓋手機豎屏、平板橫屏和大屏電視，對同一視頻進行橫豎屏適配、智能裁剪和多比例重定幀，減少手工剪輯和多版本維護成本。
• 原理 傳統視頻處理通常不直接理解語義類別，而是圍繞畫質、穩定性和時間一致性在時空信號層面做建模和優化：
  • 時空聯合建模：在單幀圖像增強的基礎上，引入時間維度的信息，通過光流估計、相機運動建模或時空卷積，把前後幀作為額外“觀測”，在時間軸上做多幀融合與噪聲抑制。
  • 穩像與防抖：將相機抖動建模為一段時間上的幾何變換序列（平移、旋轉、縮放等），通過估計全局或局部運動軌跡，將其平滑後重新投影到輸出視頻中，從而達到去抖和穩定的效果。
  • 視頻超分與插幀：視頻超分通過多幀對齊和細節重建，在提升空間分辨率的同時保持時間一致性；插幀則通過光流估計或時空生成網絡，在兩幀之間合成中間幀，用更高幀率呈現運動，提高流暢度。
  • 重定幀與自動構圖：通過檢測和追蹤視頻中的主體（人物、物體），在時間軸上估計主體軌跡，再結合目標分辨率的長寬比，為每一幀選擇合適的裁剪窗口，並對裁剪窗口的運動進行時間平滑，保證觀感自然。
  • 質量與效率權衡：在雲端離線處理可以追求最優畫質和複雜模型，而在手機、播放器和實時場景中則需要控制模型參數量、計算複雜度和延遲，在算法結構和推理框架上做精細折中。
• 模型 在具體實現上，傳統視頻處理綜合使用經典視頻信號處理方法和深度學習模型，在效果、效率與部署形態之間尋找平衡：
  • 經典視頻處理方法：基於光流的穩像與插幀、時域濾波與多幀融合、基於塊匹配的去噪和去壓縮偽影等，仍然廣泛應用於算力受限或對可解釋性有要求的場景。
  • 深度視頻復原與增強模型：以 EDVR、BasicVSR / BasicVSR++、Real‑ESRGAN 視頻版等為代表的多幀超分與增強網絡，通過對齊與時空特徵聚合，在去噪、去模糊、細節恢復和去壓縮偽影方面顯著優於傳統方法。
  • 深度插幀模型：如 DAIN、RIFE、FILM 等插幀網絡，通過顯式或隱式光流估計與中間特徵融合生成中間幀，相比傳統光流 + 重採樣方法在複雜運動和遮擋場景中更穩定。
  • 基於 Transformer 的視頻復原：利用時空注意力統一處理空間紋理與時間依賴，在複雜鏡頭運動、多物體場景下具備更強的建模能力，同時在推理時通過稀疏注意力、滑動窗口等機制控制計算量。
  • 實際產品與系統：剪映 / CapCut 的智能增強、Topaz Video Enhance 等商用增強軟件，B 站及各短視頻平臺的畫質增強管線、老影片修復 SaaS 服務等，通常會將多種模型與策略級聯，按素材類型和終端條件動態選擇最優處理路徑。

綜合來看，這一層更多是在“語義之前”為視頻打好物理與感知基礎：既幫助用戶獲得更舒適的觀感，也為上游檢測、識別和生成模型提供更乾淨、更穩定的輸入。下面，我們分別從 視頻增強與修復 、超分辨率與插幀等子方向展開。

5.1.1 視頻增強與修復：把“能看”打磨到“好看”

在真實拍攝條件下，視頻往往並不“乾淨”：手持設備造成的劇烈抖動、弱光下的高噪點和塗抹感、網絡壓縮帶來的塊狀偽影和色帶、老舊設備錄製的褪色和劃痕，都讓視頻質量明顯低於理想狀態。視頻增強與修復的目標，就是在不改變視頻語義內容的前提下，最大程度恢復穩定、清晰、自然的觀感，把“勉強能看”的素材打磨到“看起來順眼甚至好看”的水準。

在時域上，增強與修復首先要解決的是穩定性問題。通過對連續幀進行特徵匹配或光流估計，可以分離出全局相機運動和局部物體運動，再利用平滑後的相機軌跡重新渲染輸出幀，從而抑制快速抖動與微小晃動，避免觀眾在觀看過程中產生眩暈感。在此基礎上，畫面級的去噪、去模糊和去偽影則更多集中在空間–時間聯合建模：多幀聯合去噪利用前後幀冗餘信息，在時間方向上進行類似“多曝光融合”的處理，在保留細節紋理的同時有效抑制高 ISO 噪聲和壓縮噪聲；對輕微運動模糊，則通過估計模糊核或使用端到端深度網絡，在幀序列上進行反捲積式的清晰化處理，使靜態背景和運動主體都更銳利。

對於老影片和低質量素材，修復還涉及色彩和結構層面的“重建”。膠片老化會導致畫面泛黃、對比度下降、局部劃痕和汙點顯著，早期數字視頻則常見分辨率低、壓縮嚴重和邊緣鋸齒等問題。現代修復流程往往採用多步協同：先利用檢測和分割模型定位劃痕、汙點等局部損壞區域，再通過時空補全網絡在鄰近幀和鄰近空間像素中“借料填坑”；同時進行色彩還原和對比度重塑，使整體色調接近原始拍攝或設定的風格參考。對於嚴重壓縮的視頻，還會引入針對塊效應和振鈴偽影的專用去偽影網絡，在不過度平滑的前提下改善邊緣和細節。

這些增強與修復能力在產品中的體現往往是“一鍵式”的：用戶只需勾選“穩像”“畫質增強”或“老視頻修復”，系統便會在後臺自動選擇合適的模型和參數組合，對視頻幀序列做多階段處理。對業務而言，這一層既直接決定了觀眾對畫質的主觀評價，也間接影響上游分析模型的表現：更乾淨、更穩定的視頻輸入，往往意味著更可靠的人臉/車牌識別、更準確的行為檢測和更少的誤報。

5.1.2 超分辨率與插幀：從“能看清”到“更流暢”

在顯示設備不斷升級、用戶對細節和流暢度要求不斷提高的背景下，大量存量視頻內容在分辨率和幀率上顯得“先天不足”：1080p 在 4K 屏幕上顯得不夠銳利，24/30fps 在大屏和快速運動場景中容易出現拖影或卡頓感。超分辨率與插幀技術正是為了解決這兩個問題：前者在空間維度上“補細節”，後者在時間維度上“補過程”，共同把“勉強能看清”的視頻提升為“細節豐富、播放順滑”的觀感。

視頻超分辨率相比單幀圖像超分多了一個關鍵維度：時間。簡單的逐幀放大容易導致相鄰幀細節不一致，出現閃爍和紋理抖動。因此，主流方法都會利用前後多幀的信息，通過光流估計或特徵級對齊，將鄰近幀中的細節對齊到目標幀上，再在對齊後進行細節重建。像 EDVR、BasicVSR / BasicVSR++、Real‑ESRGAN 視頻版等模型，會先在特徵空間對多幀進行對齊和聚合，再用深度網絡推斷高分辨率細節，避免簡單插值帶來的“糊”和“塑料感”。在這一過程中，如何在“物理合理”和“感官好看”之間平衡，是損失設計和訓練策略的核心：既要提升客觀指標（如 PSNR、SSIM），也要保證主觀觀感自然，沒有過度銳化和偽細節。

插幀則聚焦在時間軸上的“補幀”。傳統方法依賴光流估計，先預測前後兩幀之間每個像素的運動，再按照一定規則在中間位置插值生成新幀。然而在快速運動、多物體遮擋或紋理複雜區域，光流往往不夠準確，容易出現拖影、重影或局部形變。深度插幀模型如 DAIN、RIFE、FILM 等，通過端到端網絡同時學習光流、深度或中間特徵的融合策略，直接輸出插值幀，在複雜場景下的穩定性和視覺質量明顯提升。對於體育賽事、動作遊戲錄屏和慢動作創作，插幀可以將 24/30fps 的原始視頻平滑提升到 60/120fps，既保留運動細節，又減少卡頓和殘影。

在工程實踐中，超分和插幀常常結合使用：對低分辨率、低幀率的存量內容先做時序插幀，再進行空間超分，或兩者在統一的時空網絡中一體化實現。部署形態上，雲端離線處理適合對畫質要求極高的影視修復和平臺級“畫質升級”服務，而端側實時推理則更多見於電視盒子、播放器 App 和遊戲/運動相機中，需要通過模型壓縮和硬件加速保證低延遲。無論以何種形態呈現，超分與插幀已經成為“高清/超高清體驗”的重要基建，使舊內容在新終端上煥發“第二春”。

5.2 視頻理解與結構分析（Video Understanding）

如果說傳統視頻處理更多停留在“畫質與穩定性”層面，那麼視頻理解與結構分析則開始回答“視頻裡在發生什麼”這一類語義問題：誰在做什麼、在哪裡做、持續了多久、是否存在異常行為等。這裡的目標，是在時間軸上對視頻進行結構化拆解：識別動作與行為、檢測與跟蹤目標、分割前景與背景、劃分場景與鏡頭，並抽取出可供下游決策、檢索與告警使用的高層語義信號。

從產品視角看，這一層能力已經深入到各類智慧安防平臺、運動訓練分析系統、智能行車記錄儀和工業質檢視頻分析系統中：在監控中識別打架、摔倒、徘徊等異常；在體育和健身場景中分析動作規範性和技術細節；在交通與工業環境下追蹤車輛和人員軌跡、監控生產流程是否正常。下面依然從 場景 、原理和模型三個角度梳理這類能力，並在後續小節中重點展開幾個代表性方向。

• 場景
  • 安防與公共安全：在城市監控、園區和樓宇中，識別打架、摔倒、聚集、奔跑、翻越圍欄等行為，對徘徊、深夜逗留等異常模式提前告警。
  • 交通與出行：對行人、車輛、自行車在路口、隧道和高速上的軌跡進行檢測和追蹤，分析闖紅燈、逆行、佔道、超速等行為，為交管和事故溯源提供依據。
  • 體育與運動訓練：分析籃球投籃、網球發球、瑜伽體式等動作的關鍵階段與姿態質量，為運動員和大眾用戶提供技術分析和糾錯建議。
  • 工業生產與質檢：監控生產線上的作業步驟是否規範，檢測裝配過程中是否存在漏裝、錯裝或異常動作，為安全生產和良率提升提供基礎數據。
  • 內容結構化與檢索：對長視頻進行鏡頭拆分、場景分類和重要片段標記，為後續檢索、推薦和剪輯提供結構化索引。
• 原理 視頻理解與結構分析的關鍵，是在時間維度上對空間目標和語義進行聯合建模：
  • 動作識別與行為分析：基於 2D/3D 卷積、時序池化或 Transformer，對一段視頻片段進行整體編碼，識別其中發生的動作類別；進階方法結合人體關鍵點序列與骨架拓撲，更細粒度地分析動作質量與模式。
  • 目標檢測與追蹤：在每一幀上做檢測的同時，引入跨幀關聯機制（外觀特徵、運動軌跡等），將同一目標在不同時刻的檢測框串聯為連續軌跡，得到多目標跟蹤結果。
  • 視頻語義分割與場景分析：在像素級別上對視頻中的每一幀進行語義分割或實例分割，並利用時間連續性平滑預測；同時對鏡頭切換和場景邊界進行檢測，實現長視頻的結構拆解。
  • 高層事件與異常檢測：在基礎的動作與軌跡特徵之上，利用時序建模和模式識別方法，對罕見事件和異常模式進行檢測，往往結合無監督或弱監督學習緩解標註稀缺問題。
• 模型 在模型選擇上，視頻理解與結構分析通常採用“空間特徵 + 時間建模”的組合架構：
  • 基於 3D 卷積和 Two‑Stream 的經典模型，如 I3D 等，通過在空間和時間維度同時卷積，對短視頻片段進行端到端動作識別。
  • 基於多路徑與多時間尺度的 SlowFast 系列模型，通過慢路徑捕捉語義、快路徑捕捉運動細節，在計算量和精度之間取得更好平衡。
  • 基於 Transformer 的視頻模型，如 TimeSformer、Video Swin Transformer 等，利用時空注意力機制對長時間範圍的視頻進行建模，更適合捕捉複雜事件和多主體互動。
  • Tube‑based 檢測器與時空卷積 / Transformer 模型，將檢測框在時間上擴展為“tube”，在空間–時間聯合特徵上做行為檢測與時空分割。
  • 多目標跟蹤（MOT）方法，如 DeepSORT 等，將幀級檢測結果與外觀嵌入、運動預測結合，在視頻中穩定關聯目標身份。

整體上，這一層能力把視頻從“高質量像素流”進一步抽象為“行為與事件流”，為上游的多模態理解、檢索與決策奠定結構基礎。下面，我們從 動作識別與行為分析 、 目標檢測與追蹤 、事件與異常檢測三個方向展開。

5.2.1 動作識別與行為分析：從幀序列到“誰在做什麼”

動作識別與行為分析關注的是“在一段時間窗口內，主體在做什麼事”。在安防場景中，這意味著從視頻中識別出“走路、奔跑、摔倒、打架”等行為；在體育和健身中，則對應“投籃、發球、深蹲是否標準”“瑜伽體式是否到位”等更細粒度動作。技術上，早期方法主要依賴 2D 卷積 + 光流或手工特徵，將若干幀堆疊後整體分類；現代方法則更多采用 3D 卷積（I3D、一系列 3D ResNet 變體）、SlowFast 這類多時間尺度結構，或 TimeSformer、Video Swin Transformer 等基於時空注意力的模型，對空間紋理與時間變化進行聯合建模。

在許多需要高精度姿態分析的場景中，直接對 RGB 片段分類並不足夠，還會結合人體姿態估計和骨架序列建模：先從每一幀中提取 2D/3D 關鍵點，再將關鍵點序列送入 RNN、時序卷積或 GCN/Transformer 網絡，分析動作的時序結構和空間協調性。這種“姿態先驗 + 時序建模”的方式，對背景、光照和服裝變化更魯棒，適合瑜伽、健身、工業操作規範性評估等對動作細節要求較高的應用。

5.2.2 目標檢測與追蹤：從“這一幀在哪”到“整段軌跡”

單幀目標檢測可以告訴我們“這一幀裡有哪些目標、在哪兒”，而現實中的許多任務需要的是“這輛車 / 這個人從哪裡來、到哪裡去、中間做了什麼”。目標檢測與追蹤模塊正是為了把幀級檢測串成時間上的連續軌跡：一方面在每一幀上運行檢測器，給出候選目標框；另一方面基於外觀特徵（ReID 嵌入）、運動預測（卡爾曼濾波）和空間重疊等線索，將相鄰幀上的框進行匹配與關聯，得到多目標跟蹤（MOT）結果。

在工程實踐中，一個典型的流水線是：“強健的行人 / 車輛檢測 + DeepSORT 一類的關聯算法”，部署在監控或行車記錄儀上，實時輸出每個 ID 的運動軌跡。在更復雜的系統中，這些軌跡還會結合區域語義（車道、區域劃分）與業務邏輯規則，進一步推斷逆行、長時間逗留、頻繁進出等高層行為模式，為上游安防、交通流量分析和工業流程監控提供連續時序信號。

5.2.3 事件與異常檢測：從“常態模式”中找出“不對勁”

在大部分業務場景中，真正需要重點關注的往往是“少數異常”和“關鍵事件”：例如安防中的打架、摔倒、聚集，工業生產中的異常停機或違規操作，交通中的危險駕駛行為等。這類事件相對罕見，標註成本高、樣本極不平衡，給模型建構帶來了額外挑戰。

常見的做法，是在基礎的動作識別、目標跟蹤和場景分割之上，構建一個時序異常檢測模塊：要麼通過有監督方式直接學習少量已標註的異常樣本；要麼採用無監督/弱監督方法，對“正常模式”的運動與行為分佈進行建模，一旦新觀測與歷史分佈明顯偏離，就發出告警。在模型層面，會結合時序自編碼器、對比學習、圖神經網絡或時序 Transformer，將空間關係和時間依賴統一編碼，從而捕捉更復雜的群體行為模式和長程依賴。

5.3 視頻 + 語言多模態任務（Video‑Language）

如果說視頻理解解決的是“視頻本身理解清楚了”，那麼視頻 + 語言多模態任務關注的是“如何用自然語言去描述、問答、檢索視頻內容”，以及“如何在長視頻時間軸上，圍繞文本需求快速定位關鍵信息”。這類任務需要同時處理視覺、語音與文本信號：一方面提取視頻中的畫面與聲音特徵，另一方面對接語言模型的推理與生成能力，把時空內容壓縮成適合人類消費和機器調用的文本摘要、問答結果與語義索引。

從產品視角看，這一層能力已經深入長視頻自動生成字幕與時間軸、短視頻剪輯平臺的“智能打點 / 關鍵片段抽取”、企業培訓和會議視頻的問答助手等場景：用戶不必再“從頭看到尾”，而是可以通過自然語言直接對視頻內容進行檢索、提問和重組。下面依然從 場景 、原理和模型三個角度展開。

• 場景
  • 字幕與摘要生成：對課程、演講、會議和長視頻內容自動生成多語言字幕，並在此基礎上生成章節級摘要、看點列表與時間軸。
  • 視頻問答與知識訪問：對教學視頻、操作演示、企業培訓內容構建“視頻問答助手”，支持用戶用自然語言提問，如“這個步驟怎麼做”“這個人最後把手機放哪了”。
  • 視頻內容檢索與片段定位：在大規模視頻庫中支持“文字 → 視頻片段”的精確檢索，例如“找出提到價格的部分”“找到講解某個公式的片段”；在單個長視頻內自動打點標註精彩片段與關鍵信息。
  • 內容生產與編輯輔助：結合視頻內容理解與語言生成功能，自動生成標題、文案、分鏡腳本，輔助創作者快速剪輯和重組素材。
• 原理 視頻–語言多模態系統的核心，是在統一嵌入空間中對齊時序視覺特徵與文本表示，並在這一基礎上進行檢索、生成與推理：
  • 多模態特徵抽取與對齊：對視頻幀/片段提取時空特徵（CNN/ViT/Video Transformer），對文本提取語言嵌入（預訓練 LLM 或文本編碼器），通過對比學習或多模態預訓練對齊兩種模態。
  • 語音與文本管線：對包含語音的內容，通常先用 ASR 生成時間戳對齊的轉寫文本，再與視覺特徵聯合建模，既可以用文本直接驅動檢索，也可以做跨模態對照與糾錯。
  • 時間建模與片段定位：對於長視頻，需要在時間軸上學習“片段級”表示，通過注意力或時序 RAG 在局部片段和全局上下文之間動態切換，實現對問題相關區間的精確定位。
  • 生成與推理：在對齊後的多模態表示上接入大語言模型，進行自然語言生成（字幕、摘要、解釋），或進行多輪問答與邏輯推理。
• 模型 在模型形態上，視頻–語言多模態任務經歷了從“專用編碼器 + 簡單頭”到“統一多模態大模型”的演進：
  • 早期視頻–語言模型：如 VideoBERT 等，在預訓練階段聯合建模視覺與文本 token，通過掩碼預測和對比學習獲得可遷移的視頻–語言表徵。
  • All‑in‑One Video‑Language Models：將視頻、文本（及語音）統一納入一個多模態 Transformer 中，通過共享或部分共享參數，實現描述生成、檢索、QA 等多任務統一處理。
  • 長視頻多模態模型：如具備視頻能力的 Gemini、Claude、GPT 等，通過長上下文與分層時序建模，對數十分鐘乃至數小時視頻進行整體理解，支持時間軸級別的摘要與問答。
  • 時序 RAG + VLM：在視頻上構建“時序向量索引”，先用 VLM 對視頻片段進行編碼建立數據庫，再在查詢時檢索相關片段，結合 LLM 進行答案綜合與可解釋推理。

總體來看，這一層將視頻從“機器理解”進一步提升到“人機對話與協作”層面：用戶可以像問人一樣向視頻提問，系統則在背後完成複雜的視覺、語音與語言對齊與推理。

5.3.1 字幕、摘要與時間軸：把長視頻壓縮成可瀏覽文本

對於課程、講座、會議和長內容視頻，最迫切的需求往往是“快速知道講了什麼、哪裡是重點”，而不是從頭到尾完整觀看。自動字幕與摘要系統通過“ASR + 文本處理 + 視覺輔助”的組合，將音頻內容轉寫為時間戳對齊的文本，再在此基礎上生成結構化大綱與精簡摘要，實現從“小時級視頻”到“分鐘級閱讀”的信息壓縮。

在實現層面，ASR 模塊負責穩定、高質量地給出多語言轉寫和時間軸對齊；文本側則利用大語言模型對原始轉寫進行糾錯、分句和語義重整，提取章節標題、關鍵信息和問題–答案對。在一些場景中，還會結合視覺線索（如 PPT 頁面變化、場景切換）來輔助劃分章節邊界與重點片段，保證摘要結構與真實內容節奏更加一致。

5.3.2 視頻問答與語義檢索：用自然語言“操縱”視頻

在字幕與摘要之上，更進一步的需求是能夠針對特定視頻內容進行問答和檢索：例如“這個人最後把手機放在哪裡”“哪一段講到了價格策略”“演示這個步驟的是第幾分鐘”。這類任務需要在時間軸上對問題進行語義定位：既要理解問題本身涉及的人物、物體和動作，也要在視頻時序表示中找到對應的片段。

具體做法上，通常會先離線為視頻構建多粒度索引：對固定長度的片段提取多模態表示（畫面 + 文本/語音），建立向量索引或圖結構。在在線交互時，將用戶問題編碼為文本向量，與索引中的片段表徵進行匹配，找出最相關的時間區間；隨後，將這些片段的內容（關鍵幀截圖描述、轉寫文本等）與問題一起送入 LLM，由模型生成自然語言答案或返回對應時間點。對於大規模視頻庫，可以在相同機制下支持“跨視頻檢索”，例如在企業培訓知識庫或電商商品視頻中跨集合查找相關片段。

5.3.3 多模態編輯輔助：從理解到“幫你剪好”

當系統能夠穩定地理解視頻中的內容和語義結構後，自然的下一步就是反向利用這些理解結果來輔助創作與編輯。視頻–語言多模態模型可以根據創作者提供的腳本或提示詞，在現有素材中自動選取符合語義的片段，生成粗剪時間線；也可以根據視頻內容自動生成標題、封面文案、章節標籤，甚至對鏡頭節奏和配樂提出建議。

在工作流中，這類能力通常以“智能推薦”和“自動粗剪”的形式出現：創作者上傳素材後，系統自動完成分析、分鏡、打點，並給出若干候選版本（如不同節奏、不同時長的剪輯方案）；創作者可以在此基礎上微調，而無需從零開始逐幀篩選。對於企業級應用，系統還可以結合知識庫和品牌規範，確保生成的文案、字幕和剪輯風格符合既定的業務要求和合規標準。

5.4 視頻生成與編輯（Video Generation & Editing）

在擁有了穩定的理解和結構分析能力之後，視頻生成與編輯則邁向了“主動創造內容”的階段：不再只是提升畫質或做結構化分析，而是根據文本腳本、參考圖像或已有視頻，生成全新的鏡頭，或對原始視頻進行結構化編輯與重組。這裡既包括從無到有的文生視頻（Text‑to‑Video），也包括基於已有圖像/視頻的風格遷移、擴展與重排，以及面向對象級別的精細編輯與替換。

產品上，這一層能力已經通過即夢視頻、 minimax 視頻、Sora、Runway Gen‑2、Pika、Kling 等一系列產品進入內容創作主流：廣告片、概念片、動畫、劇情分鏡可以在不依賴大型拍攝團隊和複雜後期的情況下快速生成；創作者可以通過自然語言腳本驅動鏡頭和風格；傳統的視頻剪輯流程則開始與結構化生成工具深度融合。下面依然從 場景 、原理和模型的角度進行梳理。

• 場景
  • 文案、劇本到短視頻：品牌廣告、小劇場、劇情片段和概念動畫，根據腳本自動生成或半自動生成可播放的視頻草稿。
  • 圖像 / 視頻到視頻：為插畫或角色設計生成動態版本，為現實拍攝素材進行風格遷移（現實 → 動漫 / 插畫），或在時間與空間上擴展/重組已有視頻。
  • 結構化編輯與後期：在不改變整體內容語義的前提下，實現人物換臉、口型同步、對象擦除與替換、文本驅動的剪輯重排等精細操作。
• 原理 當前主流視頻生成與編輯方法多以擴散模型（Diffusion）或其變體為核心，在高維的時空潛空間中逐步“去噪”生成視頻：
  • 文本條件建模：通過文本編碼器（如 T5/CLIP 文本塔或專用語言模型）將腳本映射為條件向量，引導視頻解碼器在風格、內容和運動模式上對齊文本描述。
  • 時空一致性與運動控制：在擴散過程或後驗優化中加入時空卷積、時序注意力或 4D 表達（NeRF/GS 等），保證視頻在時間軸上的連貫性與物理合理性。
  • 圖 / 視頻條件生成：在輸入圖像或視頻的特徵空間上啟動擴散過程，通過控制噪聲注入、遮罩區域和條件通道，實現“保留已給部分 + 生成新內容”的受控編輯或擴展。
  • 結構化控制信號：結合姿態骨架、分割掩膜、深度圖、相機軌跡等結構信息，使生成視頻在主體動作和視角變化上更可控。
• 模型 代表性的模型與方向包括：
  • Diffusion‑based Text‑to‑Video 模型（Sora、Runway Gen‑2、Pika、Kling 等），通過大規模視頻–文本對進行預訓練，在複雜場景、多鏡頭運動和多樣風格上具備較強生成能力。
  • Image‑to‑Video 擴散模型：以單幀圖像為條件，預測後續幀的動態演化，實現“單圖 → 動畫 / 動效”；或對短視頻進行續寫、擴展、旋轉視角等操作。
  • NeRF / 4D 表達與關鍵幀 + 插值方法：利用 3D 場景表示或關鍵幀 + 時序插值，將生成與幾何、一致性建模結合，實現更穩定的視角漫遊與複雜運動。

這些能力並非孤立存在，而是逐步滲入剪輯與後期流水線：文案到分鏡、分鏡到粗剪、粗剪到風格化與局部編輯，越來越多環節被“文本 + 結構化控制”所驅動。

5.4.1 文生視頻：從腳本到“可看”的鏡頭序列

文生視頻（Text‑to‑Video）希望實現的是：用戶用自然語言描述一個場景、鏡頭或故事片段，系統自動生成一段連貫的視頻。與圖像生成相比，文生視頻增加了時間維度的難題：不僅要在單幀層面保持畫面質量和風格一致，還要保證跨幀的主體身份、光照、背景和運動軌跡的連貫性。

典型的擴散式文生視頻模型會先在大規模視頻–文本配對數據上預訓練：文本編碼器提取語義條件，視頻解碼器在潛空間中對一段“噪聲視頻”反覆去噪，逐漸收斂到與文本一致的時空信號。在此過程中，會通過時序注意力、3D 卷積或 4D 表達等結構，將時間依賴顯式建入網絡，以避免出現“幀間跳變”“角色重置”等問題。部分系統還支持對鏡頭運動（推拉搖移）和構圖節奏進行控制，使生成結果更接近真實拍攝語言。

5.4.2 圖 / 視頻到視頻：在已有內容上“生長”與“變形”

另一條重要路線是基於已有圖像或視頻進行生成與編輯：例如，將一張插畫或概念設定圖“動起來”，將真人視頻風格化為動漫，或在保持結構不變的前提下更換背景、調整天氣和時間。技術上，這類方法往往在擴散過程上增加“參考通道”：將輸入圖像或視頻編碼為特徵，作為條件或初始狀態參與去噪，同時通過遮罩、顯式幾何約束等機制控制“哪些區域可以被改變、哪些必須保持”。

對於風格遷移場景，模型會在保留原始運動和構圖的前提下，重繪紋理和光影，使其匹配目標風格；對於視頻擴展與重組，則通過在時間兩端或中間“續寫”新幀，實現水平/垂直場景擴展、視角繞行或情節補充。這類能力非常適合與傳統剪輯流程結合：剪輯師先給出關鍵鏡頭和節奏，模型再在這些“錨點”之間自動生成過渡和變體。

5.4.3 結構化視頻編輯：對象級的精細控制

在許多業務場景中，完全重生視頻並非剛需，更關鍵的是對已有畫面進行精細、可控的結構化編輯：比如換臉、改口型、擦除不需要的物體、替換廣告位內容，或者根據文本腳本重排鏡頭順序。結構化視頻編輯正是沿著這一思路發展：在視頻理解的基礎上，引入對象級分割、跟蹤和參數化表示，使編輯操作可以穩定綁定到特定目標和時間段。

人物換臉和口型同步（Lip‑sync）是這一方向中最典型的應用：模型需要在保證頭部姿態與整體表情自然連貫的前提下，將目標人物的身份映射到原視頻的表演上，並根據新語音信號精確控制口型運動。對象擦除 / 替換則依賴高質量的分割和時空補全：先在每一幀中分割並移除目標對象，再利用鄰近幀與上下文紋理填補空洞，避免出現明顯“打補丁”的痕跡。文本驅動剪輯則通過將“腳本結構”與視頻時間軸對齊，自動選取和拼接符合腳本語義的片段，實現更高層的自動化編輯。

5.5 數字人 / 虛擬人（Digital Human / Avatar）

數字人 / 虛擬人（Digital Human / Avatar） 可以看作是視頻生成、語音合成、多模態理解和圖形渲染的一次“系統級整合”：它不只是生成一段視頻，而是基於文本或語音輸入，持續、可控地驅動一個虛擬形象“開口說話、做表情、擺動作”，並在越來越多場景下實現準實時甚至實時的交互。相比一般的視頻生成，數字人更強調三點： 身份與形象的長期一致性、語音—表情—動作的精細對齊、以及端到端系統的實時性與穩定性 。

從產品視角看，數字人已經廣泛出現在內容生產平臺、虛擬客服 / 智能前臺 / 虛擬導覽、教育培訓與在線課堂、品牌虛擬 IP / 虛擬偶像、為創作者提供的虛擬主播 / 數字分身工具等場景：企業可以批量生產帶有固定形象和風格的視頻內容，政府和企業服務可以用虛擬前臺 7×24 小時接待用戶，個人創作者可以完全不露臉但持續產出“有人出鏡”的視頻。下面依然從 場景 、原理和模型三個維度來梳理，並在後續小節展開驅動與表達、形象與視頻生成、實時交互與系統集成三個方向。

• 場景
  • 內容生產與在線傳播：企業宣傳片、產品功能講解、課程錄製、新聞播報，使用數字人替代真人上鏡，大量減少拍攝場地、燈光設備和人力成本。
  • 虛擬客服與導覽：在銀行網點、政務大廳、景區、博物館等場所，用數字人承擔迎賓、問詢、業務諮詢和路線指引，兼顧形象統一與 7×24 小時服務。
  • 品牌虛擬 IP / 虛擬偶像：圍繞某一虛擬形象長期運營短視頻、直播、電商內容，在不同平臺上保持統一人設和視覺風格。
  • 虛擬主播與數字分身：為不願出鏡或需要多身份運營的創作者，提供可配置的虛擬主播 / 數字分身，與真實聲音或合成聲音綁定，實現“只用說話 / 打字，就能穩定出鏡”。
• 原理 數字人系統本質上是一個“語音 / 文本驅動 + 形象建模 + 視頻 / 渲染輸出”的多模態流水線，在離線與實時場景下略有差異，但核心組件相似：
  • 語音與語言驅動：根據腳本直接用 TTS 合成語音，或接入 ASR + LLM，從用戶語音 / 文本中生成回覆文本，再用 TTS 輸出語音；語音特徵（如 mel 頻譜）作為驅動信號控制嘴型與表情時間軸。
  • 形象與動作空間建模：為虛擬形象構建可控的幾何與外觀表示，例如 2D 人像 / 插畫、基於骨骼和 Blendshape 的 3D Avatar、或基於 NeRF / 4D 高斯的可渲染體積表示；並定義一組“驅動參數”（如關鍵點、姿態骨架、Blendshape 係數），用來編碼表情與姿態。
  • 語音 → 表情 / 動作映射：通過專門的“語音驅動”模型，將語音特徵映射為人臉和上半身的驅動參數，實現口型同步（Lip‑sync）、表情細節和頭肩動作；實時數字人會要求這一映射端到端低延遲且穩定。
  • 渲染與合成：根據當前幀驅動參數，對虛擬形象進行圖像或 3D 渲染，輸出連續視頻流或實時畫面；可疊加背景、道具、字幕等元素，與傳統視頻剪輯流程結合。
• 模型 在具體模型上，數字人系統往往綜合使用多類專用模型與通用多模態模型：
  • Audio‑driven Talking Head 模型：如 Wav2Lip 一類的口型同步模型，通過學習語音與口腔區域像素 / 幾何之間的對齊關係，在保證身份一致的前提下生成自然的嘴部運動。
  • 實時 / 輕量級數字人模型：如 Ultralight‑Digital‑Human、輕量級 Talking Head 模型等，在結構上大幅壓縮參數與計算量，使得在 CPU / 移動端 / WebGPU 上也能實現接近實時的驅動與渲染。
  • NeRF / 4D 表達模型：如 ER‑NeRF（Explicit / Efficient / Editable 方向的數字人 NeRF 方案）等，通過在 3D 空間中建模人物形象與表情變化，使視角、光照和動作更自然連貫，適合高保真和多機位場景。
  • 語音驅動與多模態對齊模型：如 MuseTalk 一類“語音 → 面部表情 / 說話頭”模型，將音頻特徵和視覺特徵對齊，在不依賴大量 3D 標註的情況下實現逼真的講話表情與頭部動作。
  • 語音與對話模型：高自然度多說話人 TTS、端到端語音對話模型（ASR + LLM + TTS 一體化），為數字人提供多風格、多語種的聲音和對話能力。

綜合來看，數字人既是一組模型，也是一套完整系統：它將語言理解、語音、視覺生成與實時推理整合起來，從而在“屏幕前”呈現出一個可交互的虛擬角色。下面，我們從 驅動與表達 、形象與視頻生成和實時交互與系統集成三個方向展開。

5.5.1 驅動與表達：從腳本 / 語音到“會表達、有表情”的人

在數字人流水線中，驅動與表達負責回答一個核心問題：在給定腳本或語音的前提下，虛擬形象在每一幀應該呈現什麼樣的嘴型、表情和頭肩動作。這裡既包括離線批量生產的場景，也包括對實時對話的響應。

在離線內容生產中，常見鏈路是“文本腳本 → TTS → 語音驅動”：業務側提供播報文案，TTS 模塊生成目標音色（如品牌虛擬代言人）的語音，再將語音特徵輸入到“語音 → 動作”模型。Wav2Lip 類模型就是這一環節的重要代表：

• 它以參考人像幀和對應語音片段為輸入，通過一個卷積 / 注意力網絡預測出與語音精細對齊的嘴部區域，再與原始人像進行融合，從而在保持身份和大部分表情不變的前提下，精確修改嘴型。
• 訓練時，通過語音–視頻對齊數據監督網絡學會不同音素對應的口腔形態，並在時間上保持連續性，避免嘴型跳變或延遲感。

相比早期純口型同步方案，新一代的語音驅動模型（如 MuseTalk 一類的方法）進一步擴展到了 全臉表情和頭部姿態 ：

• 這類模型通常將語音特徵映射到一個低維的“情緒 / 表達潛空間”，再通過解碼器生成關鍵點、Blendshape 係數或直接生成圖像特徵，帶動眉毛、眼睛、頰部等區域的細微變化，使“說話表情”更生動。
• 有的模型還會將語音內容的語義信息（如疑問、強調、感嘆）編碼進去，結合 LLM 分析的句法 / 語用信號，在語調變化處增加點頭、皺眉、手勢等動作，提升表達的自然度和感染力。

在更高維度上，驅動與表達也可以結合外部控制信號：例如將姿態骨架、手勢軌跡、視線方向等作為附加輸入，使數字人可以模仿特定演講者的風格，或根據腳本中的“指示動作”（如“指向屏幕”“雙手張開”）執行預定義的動作模板。無論是 Wav2Lip 這樣的局部口型驅動，還是 MuseTalk / 實時骨架驅動等更全身的表達建模，它們共同實現了從語音 / 文本到面部與上半身動作的連續映射，是數字人“看起來像在認真說話”的關鍵一環。

5.5.2 形象與視頻生成：從“一個模型”到“一個可塑的角色”

驅動鏈路解決了“怎麼動”，而形象與視頻生成則決定了“誰在動、在哪裡動、以什麼風格動”。這裡既包含高保真寫實數字人，也包含二次元、卡通和低多邊形 Avatar 等風格化形象，以及面向實時和離線渲染的不同技術選型。

在 2D 人像與插畫場景中，典型做法是基於少量參考圖像和短視頻訓練一個 Talking Head 生成模型 ：

• 模型將人物的身份信息編碼為一個“外觀向量”或風格特徵，將驅動參數（如語音隱向量、關鍵點、表情編碼）作為條件輸入，在圖像空間中合成新的幀。
• 與純 Wav2Lip 只改口型不同，這類模型可以在姿態上做小幅度擺動、在表情上疊加情緒變化，從而讓數字人看起來不那麼“僵硬”。

在追求更高真實感、更自由視角和多機位切換的場景中，越來越多方案採用基於 NeRF / 4D 表達的數字人建模（如 ER‑NeRF 一類方法）：

• 通過多視角拍攝或視頻，先重建人物頭部 / 上半身的 3D 體積或高斯場，將不同表情和嘴型對應的狀態編碼為可插值的隱空間；
• 驅動時，將語音 / 表情參數映射到這一隱空間，在 3D 中進行體積渲染或高斯渲染，再投影到屏幕上。
• 這種做法的優勢在於：視角、光照和背景更自然，可以支持“環繞視角”“虛擬攝影機”運動，對 VR/AR、虛擬直播間和高端廣告製作尤為友好。

在強調跨端部署與實時性的業務中，還會採用 Ultralight‑Digital‑Human 這類輕量化方案：

• 通過結構剪枝、算子重構和模型蒸餾，將 Talking Head 或 Avatar 渲染網絡壓縮到移動端 / WebGPU 也能運行的規模；
• 在幾毫秒級別完成從驅動參數到一幀圖像的生成，與實時語音流或控制信號對齊，實現“低延遲數字人”，適合互動終端、自助機和 Web 前端應用。

在完整視頻生產層面，形象與視頻生成還要與背景、道具和鏡頭語言結合：一個常見的工作流是：

• 先為品牌或個人定製一個數字人形象（2D 或 3D）；
• 預設若干虛擬場景（演播廳、辦公室、教室、展廳等）；
• 在生產內容時，系統根據腳本自動選擇合適場景和機位，生成數字人畫面，並與 PPT、演示視頻、產品畫面進行多畫面編排。 這使得數字人不只是一個“說話頭”，而是可以自然融入各種節目和內容形態的“角色”。

5.5.3 實時數字人與系統集成：從離線視頻到“屏幕裡的同事”

隨著 ASR、TTS、LLM 和輕量級視頻生成模型的成熟，越來越多數字人系統開始從離線批量出片走向 實時交互 ：用戶在終端開口說話或輸入文本，屏幕上的數字人在幾百毫秒到幾秒內“聽懂—思考—回應—開口說話”，形成類似真人客服 / 導覽 / 主持的體驗。這裡的關鍵不只是模型本身，還包括如何把多模態鏈路 壓縮到可接受的端到端延遲 。

在一個典型的實時數字人閉環中：

• 前端輸入 ：ASR 模塊將用戶語音實時轉為文本，或直接接收用戶文本輸入。
• 語義理解與決策 ：LLM 結合業務知識庫和工具（RAG、數據庫查詢、流程編排）生成回覆文本，以及必要的結構化指令（如需要展示哪一頁 PPT、播放哪個視頻片段）。
• 語音與驅動 ：TTS 將回覆文本轉換為目標音色的語音，語音流一邊生成、一邊被 Wav2Lip / MuseTalk / 實時骨架驅動模型消費，逐段輸出對應的口型與表情參數。
• 渲染輸出 ：Ultralight‑Digital‑Human 類型的輕量渲染網絡或基於 GPU 的 NeRF / Avatar 渲染引擎，將驅動參數實時轉換成視頻幀，通過 WebRTC、RTMP 或本地渲染直接輸出到屏幕。

為了在多終端上提供一致體驗，系統還需要在延遲、帶寬與算力之間做細緻權衡：

• 在雲端渲染方案中，絕大部分計算（LLM、TTS、驅動與渲染）在服務器完成，終端只負責播放視頻流，適合算力有限的 Web / App 和線下大屏，但對網絡穩定性有依賴；
• 在“雲 + 端混合”方案中，ASR 和部分 LLM 推理在雲端完成，輕量化驅動與渲染在本地進行，可以顯著降低音畫交互延遲，適合移動設備與自助終端；
• 在強算力終端（如高性能 PC、專用工作站）上，還可以將大部分鏈路下沉本地，實現弱網環境下的穩定互動。

在模型側，實時數字人也對結構設計提出了額外要求：

• 語音驅動模型需要具備流式推理能力，能夠在獲得一小段語音後就給出口型與表情預測，而不是等整句結束；
• 渲染網絡需要儘可能減少依賴大卷積核和全局注意力，採用局部卷積、輕量自注意力、分辨率金字塔等結構控制計算量；
• 對於基於 NeRF / 4D 的高保真方案，則需要通過網格緩存、視錐裁剪、稀疏體積和 GPU 優化等手段，把每幀渲染控制在幾毫秒到幾十毫秒內。

在系統集成層面，實時數字人往往還要與業務知識、人格設定與對話策略緊密綁定：

• 通過知識庫和 RAG 管理行業知識、業務流程和 FAQ，確保“說得對、說得全”；
• 通過人設配置和話術模板控制說話風格和表達邊界，確保“說得像這個人（或這個品牌）”；
• 通過多輪對話策略與會話狀態管理，使數字人可以記住用戶上下文、在合適時機確認和追問，呈現出“像一個真正的同事 / 導遊 / 講師”的交互感。

總體而言，加入了 Wav2Lip、MuseTalk、ER‑NeRF、Ultralight‑Digital‑Human 等專門為口型同步、表情驅動與實時渲染設計的模型之後，數字人正從“離線視頻模板工具”加速演化為 可實時響應、有穩定人格和專業知識的虛擬實體 ，成為視頻技術體系中最具綜合性和應用張力的一環。