2. 圖像模態（Image / Vision）

在 AI 能力中，圖像模態負責“用視覺理解世界”。不管最終想做的是安防監控、自動駕駛、短視頻特效、電商智能修圖，還是多模態問答、AI 畫畫，本質上都離不開一條路徑：從原始像素出發，逐步獲得對畫面的結構化理解與可控生成能力。

2.1 底層視覺（Low‑Level Vision）

在上一節中，我們從整體上介紹了視覺模態在多模態系統中的角色，以及它與語言、語音之間的銜接方式。但在真正進入目標檢測、圖像理解、視覺問答這些“高層語義任務”之前，還有一個往往被忽略、卻至關重要的基礎能力層——底層視覺。你可以把它理解為：在“看懂圖裡是什麼”之前，系統需要先解決“這張圖本身質量如何”“有哪些穩定的局部結構可以被上層複用”這兩個問題，用一層通用的復原、增強和結構抽取，將原始像素轉化為更乾淨、更穩定的圖像表示。

從工程角度看，底層視覺既直接影響用戶肉眼看到的“畫質體驗”，也決定了上層檢測、識別、分割等任務的輸入分佈是否健康。如果這一層做得不好，後面所有模型都要在“噪聲大、畸變重、光照極端”的環境下硬扛；相反，如果在這一層就把圖像儘可能修好、結構信息提煉好，高層任務就可以在一個更友好的基座上發揮能力。下面我們同樣從場景、原理和模型三個角度來梳理這一層：

• 場景
  • 相機與拍攝設備：手機/相機的自動去噪、HDR、夜景模式、防抖，多幀融合提升細節和動態範圍。
  • 內容平臺與短視頻：上傳圖片/視頻的一鍵畫質增強，去壓縮塊、提高清晰度和對比度，提升主觀觀感。
  • 老照片與文檔修復：老照片的去噪、上色、超分辨率；拍歪、拍暗的票據、合同、書頁自動拉正、增強，方便 OCR。
  • 監控與安防：低照度監控畫面的降噪、去霧、防雨滴、提升分辨率，為後續人臉/車牌識別打基礎。
  • AR/VR 與三維重建：為 SLAM、全景拼接、三維重建提供穩定的角點、邊緣和局部描述子，保證跟蹤與配準魯棒性。
• 原理 圍繞“圖像質量”和“局部結構”兩個核心目標，對像素級信息進行物理與統計建模：
  • 圖像復原與增強：假設觀測圖像是理想圖像經過噪聲、模糊核、壓縮和成像非線性等退化後得到，在這一假設下進行去噪、去模糊、去壓縮偽影、低光照增強和超分辨率重建，使輸出更接近真實場景成像，同時符合人眼感知習慣。
  • 結構特徵抽取：在不引入具體語義標籤的前提下，從像素梯度和紋理統計中提取邊緣、角點、局部紋理、顯著區域等特徵，為後續的檢測、配準、跟蹤、分割提供“幾何骨架”。
  • 幾何與光照預處理：基於相機模型和簡單幾何線索（直線、消失點、對稱性等）估計畸變與透視關係，通過去畸變、拉正、對比度與光照歸一化等操作，將原始圖像對齊到一個更標準、更穩定的輸入空間。
• 模型 綜合使用經典圖像處理方法和深度學習模型，在效率與效果之間做權衡：
  • 傳統圖像處理：雙邊濾波、非局部均值、引導濾波、Retinex、直方圖均衡、Canny/LoG 邊緣檢測、Harris/FAST 角點、SIFT/SURF/ORB 描述子、Hough 變換、相機標定與幾何校正等。
  • 深度復原與增強模型：基於 CNN 或視覺 Transformer 的去噪、去模糊、超分辨率、去雨/去霧/去壓縮偽影模型（如 EDSR、RCAN、SwinIR、ESRGAN 等），以及多幀/視頻增強網絡，用端到端方式學習從退化圖到高質量圖的映射，或使用現代的圖像編輯模型實現例如即夢和 qwen 編輯模型。

2.1.1 圖像復原與增強：從“看得見”到“看得清”

在底層視覺裡，圖像復原與增強首先面對的是各種退化：噪聲、模糊、壓縮失真、低光照、動態範圍不足等。很多真實場景下的原始圖像並不“乾淨”：夜景和室內弱光會讓畫面佈滿顆粒和色斑，抓拍和監控畫面常常因為運動、對焦不準而發虛，視頻壓縮會帶來一塊一塊的方塊噪聲。復原與增強的目標，就是在不改變圖像語義內容的前提下，儘可能恢復清晰的細節和自然的觀感，把“模糊、灰暗、髒”的輸入變得“清楚、明亮、舒適”。

典型任務包括去噪、去模糊、低光照增強和超分辨率等。去噪和去模糊需要在局部紋理和整體結構之間權衡：既要壓制高頻噪聲、反捲積掉模糊核的影響，又不能把真實細節一起抹平；低光照增強則要在提升亮度與對比度的同時，避免暗部噪聲被一併拉起，並校正偏色、壓住過曝區域；超分辨率則側重在放大的同時補出合理的高頻信息，讓放大後的圖像既不顯得“糊”和“塑料感嚴重”，又不過度“憑空捏造”細節。現代方法大多采用深度網絡（CNN 或視覺 Transformer），在大量“退化–清晰”成對數據上學習從觀測圖像 y 到理想圖像 x 的映射，同時使用包含像素誤差、感知損失和對抗損失的組合目標，在“指標好看”和“人眼好看”之間取得平衡。

這些能力在產品中的呈現往往是隱性的：手機相機的夜景模式和 HDR 拍照、短視頻平臺的一鍵畫質增強、老照片修復工具、監控系統的雲端增強服務，本質上都依賴這一層的復原與增強模塊。對業務而言，它們既直接影響用戶對“畫質”的主觀感受，也間接決定了上層檢測、識別、分割等算法的輸入質量。可以說，越是複雜的上層視覺任務，越依賴底層有一個高質量、分佈穩定的“圖像地基”。

2.1.2 結構特徵與預處理：為高層理解搭好“腳手架”

當圖像質量被修復到一個可用水平之後，底層視覺的第二項關鍵工作，是從像素中抽取出與具體語義暫時無關、但對幾何結構和視覺感知非常重要的特徵，並對幾何和光照進行統一。這一步不會直接告訴你“這裡是一輛車”或“這是某個人的臉”，但會回答“哪裡有清晰的輪廓和拐角”“哪些區域紋理結構顯著”“圖像是否發生畸變或傾斜”等問題，為上層模型提供可靠的結構性輸入。

在特徵提取方面，邊緣和角點是最基礎的元素。通過 Canny、Sobel 等算子，系統可以在整張圖上標出灰度或顏色變化最劇烈的“邊緣”，這些往往對應物體輪廓、部件分界和紋理走向；角點檢測（如 Harris、FAST）則找到局部梯度在多個方向上都變化顯著的“拐角”，通常出現在物體的角、線條交匯處。進一步地，像 SIFT、SURF、ORB 這樣的局部描述子，會在這些關鍵點周圍編碼一小片區域的紋理模式，使得同一物理點在不同視角、尺度和一定光照變化下仍然可以被匹配出來，這為圖像配準、全景拼接、SLAM、AR 跟蹤和三維重建提供了基礎支撐。

與特徵提取並行的，是各種幾何和光照預處理操作。廣角鏡頭帶來的桶形/枕形畸變、拍攝文檔時的傾斜和透視拉伸，都會通過直線檢測、消失點估計等底層幾何線索被識別出來，並通過去畸變、拉正、透視矯正等步驟被“拉回正常”；全局或自適應直方圖均衡、對比度拉伸和光照歸一化，則在保證細節不丟失的前提下，提升局部對比度、減弱光照不均和陰影的影響。顏色空間變換（RGB→HSV/Lab）與顏色直方圖統計，為簡單的基於顏色的分割、顯著性區域檢測、色偏校正等任務提供直接可用的輸入。

在端到端深度學習成為主流之後，這些結構特徵和預處理有一部分被“內化”到了網絡前幾層的卷積核和歸一化策略中，不再以顯式算子的形式出現在系統架構圖上。但從功能上看，它們依然扮演著同樣的角色：先用一層相對通用的、與具體類別無關的底層處理，把原始像素整理成在幾何形態、光照條件和局部結構上更穩定的表示，再交給上層的分類、檢測、分割和多模態模塊去完成“理解這是什麼”的任務。沒有這層“腳手架”，上層模型就不得不在噪聲大、畸變重、結構模糊的原始圖上硬扛，整體系統的魯棒性和泛化能力都會顯著下降。

2.2 圖像分類與識別（Image Classification & Recognition）

在大部分圖像任務中，業務方真正關心的問題是：這張圖整體屬於哪一類？圖裡的這個人是誰？這名行人在不同攝像頭下是不是同一個？ 你可以把這一層理解為：在一個統一、乾淨的輸入空間上，為整張圖像或者整個人/目標打上“類別標籤”或“身份標籤”，把視覺信號轉化為最直接可用的識別結果。

從產品視角看，圖像分類與識別是最早大規模落地的一批視覺能力，也是很多上層應用的“入口模塊”。電商和內容平臺用它來自動給圖片打標籤、識別主體品類；安防和門禁系統用它來確認“是不是同一個人”；行人重識別系統則在多路攝像頭之間抽絲剝繭，找出同一目標的跨場景軌跡。下面我們同樣從場景、原理和模型三個角度來梳理這一層：

• 場景
  • 通用圖片理解：為用戶上傳的圖片自動打上“風景 / 美食 / 寵物 / 文檔”等主題標籤，用於檢索、推薦、內容審核。
  • 人臉識別與門禁：在人臉門禁、考勤系統中，根據人臉圖像識別個人身份，實現“刷臉通行”“刷臉打卡”。
  • 行人/人員重識別：在不同攝像頭畫面中判斷是否為同一行人或同一人員，用於安防檢索、軌跡分析。
  • 人體屬性識別：在不直接確認身份的前提下，識別性別、年齡段、是否戴帽子/揹包/穿制服等屬性，為檢索和行為分析提供線索。
• 原理 在統一的視覺特徵空間中，對整張圖或整個人/目標進行判別式建模：
  • 圖像分類：以整張圖像為輸入，通過卷積網絡或視覺 Transformer 提取全局特徵，並在特徵頂層接一個分類頭，輸出單標籤或多標籤的類別概率，用於回答“這是一張什麼類型的圖片”。
  • 身份/實例識別：將“是誰”的問題轉化為特徵空間中的度量學習問題，即學習一個嵌入空間，使同一身份的圖像特徵彼此接近，不同身份的特徵彼此遠離，然後用最近鄰搜索或聚類完成識別與檢索。
  • 屬性識別：在共享的行人/人體特徵之上，增加多任務輸出頭，預測性別、年齡段、衣著顏色、是否攜帶物品等屬性標籤，使得同一特徵可以服務於多種下游檢索與分析需求。
• 模型 以深度卷積網絡和視覺 Transformer 為主幹，結合分類頭或度量學習頭實現不同類型的識別任務：
  • 圖像分類 Backbone：ResNet、DenseNet、EfficientNet、ConvNeXt、Vision Transformer (ViT)、Swin Transformer 等，通常在 ImageNet 等大規模數據集上進行預訓練，再在具體業務數據上微調。
  • 通用分類結構：Backbone + 全連接分類層（Softmax / Sigmoid），用於單標籤或多標籤圖像分類任務，可通過類別重加權、focal loss 等應對長尾分佈。
  • 身份/實例識別：在 Backbone 的特徵輸出之上，使用 ArcFace、CosFace、SphereFace 等帶角度約束的損失函數，顯式拉大不同身份之間的類間間隔，提升在特徵空間中的可分性，並通過向量檢索（ANN）完成大規模庫上的比對。
  • 行人/屬性識別結構：針對行人 Re-ID 和人體屬性識別，常見做法是採用共享 Backbone 提取行人特徵，再在頂層分出“身份分支”和“屬性分支”，既優化跨攝像頭的身份區分能力，又兼顧多屬性預測。

對應到具體產品形態，這一層的能力常以“圖片內容識別 / 分類 API”“人臉識別 SDK / SaaS”“行人重識別平臺”等方式對外提供。它們往往既直接驅動業務決策（如門禁放行、內容標籤寫入），又作為上游，為後續的檢索、推薦、行為分析和多模態理解提供結構化標籤與穩定的身份表徵。下面，我們分別從圖像分類和身份/屬性識別兩個角度展開。

圖像內容描述任務

在最基礎的圖像分類任務中，系統面對的是整張圖片，目標是給它貼上一個或若干個語義類別標籤。最常見的是單標籤分類，例如在 ImageNet 這樣的數據集中，每張圖被標註為“狗”“貓”“汽車”“飛機”等一個主類別；在業務場景中，這類能力被廣泛用於給用戶上傳的圖片加上“風景 / 美食 / 寵物 / 人像 / 文檔”等主題標籤，支持檢索、推薦和內容審核。與文本分類類似，模型會在預訓練 Backbone 提取的全局視覺特徵之上接一個全連接 + Softmax 層，對所有候選類別輸出一個概率分佈。

在很多實際應用中，一張圖往往同時屬於多個類別，比如一張“海邊日落自拍”圖片，既可以是“風景”，也是“人像”，還可能被標註為“旅行”“海邊”。這時就需要多標籤分類（Multi‑label Classification）：模型依然從整圖特徵出發，但輸出層不再是互斥的 Softmax，而是對每個標籤單獨預測有/無的概率（Sigmoid），並採用多標籤損失函數來訓練。為了應對現實數據中大量“長尾類別”（冷門標籤樣本極少），多標籤分類模型常會加入類別重加權、難例挖掘或標籤結構建模等機制，提升對小眾類別的召回。

在人機接口層面，圖像分類通常以“圖片內容識別 API”的形式對外提供。上游業務只需上傳一張圖片，即可獲得一組類別標籤及其置信度，用於後續的策略判斷：比如廣告投放系統可以根據圖片內容限制某些敏感類目，電商平臺可以利用圖片分類輔助商品類目糾錯，內容平臺則用來豐富推薦特徵和審核信號。雖然從技術上看，這類能力相對成熟，但它仍然是後續目標檢測、實例分割、視覺問答等更復雜能力的基石。

2.2.2 圖像識別與屬性識別：回答“這是的可見性範圍界定”

與“這是一張什麼類型的圖”不同，圖像識別更關心的是“圖中的這個人/目標是誰”，也就是身份級、實例級的區分。典型代表是人臉識別和行人重識別：前者在門禁、考勤、支付等場景中判斷“當前人臉與庫中哪一個身份最接近”；後者則在多路攝像頭與不同時間段的監控畫面中，尋找是否存在同一行人，輔助案件回溯和軌跡分析。這類任務的核心，不再是簡單的多分類，而是如何在特徵空間中學習到一個“類內緊湊、類間分離”的嵌入，使同一身份在不同姿態、光照、攝像頭下拍攝的圖像仍能被聚到一起。

在模型設計上，人臉識別和行人重識別通常採用類似的範式：先用 ResNet、ConvNeXt、ViT、Swin 等 Backbone 提取以人臉/行人為中心的特徵，再接上專門為度量學習設計的損失函數，如 ArcFace、CosFace 等。與普通分類損失不同，這些損失直接在角度空間或特徵空間上約束類間邊界，顯式拉大不同身份特徵之間的間隔，從而使得訓練好之後的特徵可以拿來做大規模向量檢索，而不必侷限於訓練時見過的固定類別。在線服務時，系統會先對圖庫中每個身份的特徵進行預計算和索引，再對上線查詢的人臉/行人特徵進行近似最近鄰搜索，找到最相似的若干候選，並結合業務閾值和多模態信息做最終決策。

與“直接身份識別”相對應的，是不指向具體人的 屬性識別 。在很多安防和零售場景下，系統只需要知道“是男性還是女性”“大概年齡段”“是否戴帽子/口罩”“衣服顏色和款式”“是否揹包/拉行李”等屬性，用於快速篩選目標，而不必、也不適合直接輸出個人身份。這類任務通常在共享的行人/人體特徵之上，接多個並行的屬性頭（頭的意思是輸出概率的位置，可以多幾個概率輸出的結果用於判斷類別），每個頭負責預測一個或一組屬性標籤，形成一個多任務學習框架。一方面，多任務訓練可以讓特徵更加豐富、泛化更好；另一方面，屬性本身也可以作為 Re-ID 或檢索的輔助條件，提升系統在複雜場景下的可用性。

在產品形態上，這一類能力通常打包為“人臉識別 SDK/雲服務”“行人重識別平臺”“人體屬性識別 API”等，被集成進門禁閘機、考勤機、安防平臺和視頻結構化系統。與通用圖像分類相比，它們對數據安全和隱私保護要求更高，對誤識率和召回率的權衡也更敏感，因此在算法之外，還會輔以質量檢測（如是否為真人、是否為遮擋/翻拍）、活體檢測、多模態交叉驗證等機制，構成更完整、更負責任的身份識別方案。

2.3 目標檢測（Object Detection）

在前面的圖像分類與識別中，我們只對“整張圖”或“整個人”給出一個整體標籤，而忽略了它在圖中出現的位置和大小。然而，真實業務更常見的問題是：這張圖裡有哪些物體？它們分別在什麼位置？ 比如一張街景圖中，我們希望同時標出所有的行人、車輛、交通標誌牌；在工業產線上，需要在同一畫面中標出所有瑕疵區域、零件位置。目標檢測就是為這些需求而生的：它在單張圖像或視頻幀中，同時預測每一個物體的 位置（bounding box）和類別 ，是眾多下游視覺任務（跟蹤、分割、行為分析、多目標計數等）的基礎能力。

從工程使用角度看，目標檢測是很多視覺系統的“第一步結構化”，把一張原始圖分解為若干個帶標籤的矩形框，每個框都可以進一步送到其他模塊做識別、跟蹤、屬性分析乃至語義生成。安防攝像頭中行人/車輛的檢測、無人零售貨架上商品的檢測、工業質檢中缺陷/異物的檢測、以及雲廠商提供的「目標檢測 / 物體檢測」API，本質上都依賴這一層能力。下面我們從 場景 、原理和模型三個角度來梳理目標檢測，並在後續小節中分別展開關鍵方向。

• 場景
  • 安防與交通監控：在攝像頭畫面中實時檢測行人、車輛、非機動車、交通標誌、逆行/佔道目標等，為後續的行為分析和告警提供基礎。
  • 工業質檢與製造：在生產線上檢測產品缺陷（劃痕、破損、異物）、零部件位置、裝配是否缺失，支持自動剔除與機器人定位。
  • 零售與物流：無人零售貨架商品檢測、結算；倉儲中包裹、托盤、碼垛的目標檢測與定位，輔助庫存盤點和機器人抓取。
  • 內容理解與審核：在圖像/視頻中檢測人、logo、武器、敏感物品等，為內容審核、廣告合規和品牌識別提供結構化信號。
• 原理 目標檢測的核心，是在圖像上構建一個密集預測機制：
  • 將輸入圖像通過 Backbone 提取為多尺度特徵圖，在這些特徵圖上，對每個“位置”（或候選區域）同時預測“是否有目標”“是什麼類別”“對應的 bbox 參數”。
  • 按照架構劃分，有先生成候選框再精修的 雙階段檢測（Two‑stage） ，以及直接在特徵圖上做分類+迴歸的一體化 單階段檢測（One‑stage） ，兩者在精度與速度上各有側重。
  • 按候選框設計劃分，有依賴預定義錨框（anchor）的 anchor‑based 方法，也有直接預測中心點/邊界的 anchor‑free 與基於集合匹配的 DETR 家族 。
  • 為應對現實數據中的小目標、密集目標、遮擋和尺度變化，檢測器通常會結合多尺度特徵（FPN）、更高分辨率輸入、特定損失函數與後處理策略（如 NMS 變體、多尺度測試）進行優化。
• 模型 檢測模型大體由骨幹網絡 + 特徵金字塔 / 頭部結構 + 損失與後處理三部分構成：
  • 經典雙階段檢測器：Faster R‑CNN、Mask R‑CNN 等，先通過 RPN 產生候選框，再對每個候選區域做精細分類與迴歸，精度高、結構清晰，適合對精度要求極高的場景。
  • 單階段檢測器：SSD、RetinaNet、YOLO 系列（YOLOv5/6/7/8、YOLOX、YOLOv10 等）等，在一個統一的網絡中完成檢測，結構緊湊、延遲低，是工業界實時檢測的主力。
  • Anchor‑free / Transformer 檢測器：FCOS、CenterNet、ATSS 等以像素點為中心直接預測框；DETR / Deformable DETR 等通過 Transformer 和集合匹配，將檢測視為“從一組查詢中生成一組目標”的問題，簡化多種手工設計。
  • 視頻檢測與跟蹤：在圖像檢測器的基礎上，引入時序信息與關聯策略（如跟蹤頭、光流、軌跡匹配），形成 Detection + Tracking 的統一框架，支撐長時間、多目標的行為分析。

綜合來看，目標檢測處於視覺能力譜系的“中樞位置”——它一方面承接底層視覺提供的乾淨圖像輸入，另一方面把圖像解構成可供識別、跟蹤、分割和多模態理解使用的“目標級”元素。下面，我們分別從 單/雙階段檢測架構 、Anchor‑based / Anchor‑free / Transformer 檢測以及小目標與視頻檢測三個方向展開。

2.3.1 單階段與雙階段檢測：精度–速度的結構權衡

從架構上看，目標檢測最經典的劃分是 雙階段（Two‑stage）與單階段（One‑stage） 。二者的主要區別在於：是先“粗選一批候選框，再進行精修”，還是在特徵圖上“一次性預測完所有框和類別”。

雙階段檢測以 Faster R‑CNN 為代表。它首先在 Backbone 特徵圖上通過 RPN（Region Proposal Network）生成一批“高概率包含目標”的候選框（第一階段），然後對每個候選區域進行 RoI 對齊與特徵提取，再做更精細的分類與邊框迴歸（第二階段）。這種設計的好處是：大量負樣本在 RPN 階段就被過濾掉，第二階段可以集中精力在少數候選區域上做高質量的判別，因此在精度上往往更有優勢，也更容易擴展到實例分割（Mask R‑CNN）、關鍵點檢測（Keypoint R‑CNN）等任務。不過，多階段結構帶來的計算與實現複雜度相對較高，更適合對實時性要求不那麼苛刻、但強調精度和可擴展性的離線或準實時場景。

單階段檢測則力圖打通整個流程，在一個統一的網絡中同時完成類別分類和邊框迴歸。代表模型包括 SSD、RetinaNet 和 YOLO 系列等：它們直接在多尺度特徵圖的每個位置上預測若干候選框的“前景/背景 + 類別 + bbox”，省去了顯式 proposal 階段，更適合做端到端加速與部署。早期的單階段檢測器相對雙階段在精度上有一定差距，但憑藉結構簡單、速度快，在工業界迅速佔據主導；隨著 FPN、focal loss、IoU‑aware loss，以及更強 Backbone 和 Neck 的引入，RetinaNet、YOLOX、YOLOv7/8/10 等新一代模型已經在很多任務上實現了“接近甚至趕超雙階段”的精度–速度平衡。

在應用層面，工程上通常會根據需求在這兩類架構間做取捨：對於雲端批量離線分析、需要較高精度和可擴展性（如同時做檢測+分割+關鍵點）的任務，雙階段檢測仍然是一個穩定可靠的選擇；而對於邊緣設備、移動端應用、攝像頭實時檢測等延遲敏感場景，YOLO 系列等單階段檢測器幾乎是默認首選，並且往往會結合量化、剪枝、蒸餾等技巧，以進一步壓縮模型和提升吞吐。

2.3.2 Anchor‑based 與 Anchor‑free：從手工設定到端到端學習

在如何定義“候選框”這一問題上，檢測方法又可以分為 Anchor‑based 和 Anchor‑free 兩大類。早期主流方法（如 Faster R‑CNN、SSD、RetinaNet、YOLOv3/v4/v5 等）採用 Anchor‑based 思路：在特徵圖的每個位置預先定義若干具有不同尺度和長寬比的錨框（anchor），然後學習每個 anchor 對應的前景概率和 bbox 偏移量。這種方式實現簡單、效果好，但需要人工對 anchor 的尺寸和比例進行較多調參，且在小目標、密集目標場景下容易出現 anchor 數量龐大、正負樣本極度不平衡的問題。

Anchor‑free 方法則嘗試擺脫對預定義 anchor 的依賴。以 FCOS、CenterNet、ATSS 等為代表，它們通常直接在特徵圖的每個像素點上預測“這裡是否是某個目標的中心（或屬於該目標）”以及對應的邊界距離，從而完全避免了預設 anchor 的複雜性。這樣的好處是：模型結構更簡潔，訓練樣本分配策略可以更加自然，尤其在面對尺度變化大、目標形狀複雜的真實場景時，具有更好的泛化和可擴展性。與此同時，Anchor‑free 檢測器也推動了更多基於像素/點的統一框架，使得檢測與關鍵點、分割等任務更易共同建模。

更進一步，DETR / Deformable DETR 等 Transformer‑based 檢測器從另一個維度重新思考了檢測問題：它們不在特徵圖上密集鋪設 anchor，而是引入一組固定數量的“查詢向量”（object queries），通過 Transformer 的自注意力和交叉注意力機制，從全局特徵中“生成”一組目標預測，並通過匈牙利匹配（Hungarian Matching）實現一一對齊。這種集合預測（set prediction）的思路徹底消除了 NMS 和手工樣本分配等傳統組件，在概念上非常簡潔，但在早期實現中存在收斂慢、對小目標不友好等問題；後續的 Deformable DETR 通過引入可變形注意力和多尺度機制，在收斂速度和性能上都有明顯提升，逐漸在檢測與多任務場景中獲得更多應用。

對於工程實踐而言，Anchor‑based、Anchor‑free 與 Transformer 檢測並不是互斥的選擇，而更像是一條演化鏈：從 heavily engineered 的 anchor 設計，到更為端到端的點/中心預測，再到完全基於集合預測與注意力的統一框架。當前工業落地中，YOLO 系列等成熟 Anchor‑based 模型依然是主力，Anchor‑free 和 DETR 家族則更多出現在對結構簡潔性、多任務統一性、可擴展性要求較高的系統中。

2.3.3 小目標與視頻檢測：走向真實場景的魯棒性

在公開數據集上的目標檢測往往給人一種“問題已經基本解決”的錯覺，但一旦進入真實場景，就會立刻遇到兩類棘手問題：小目標/密集目標與 視頻中的穩健檢測與跟蹤 。

小目標檢測中，目標在原圖中往往只佔極少的像素區域，例如遠處的行人、遙遠的車輛、空中無人機，或者高分辨率工業圖像上的微小瑕疵。隨著 Backbone 下采樣和特徵圖分辨率的降低，這些小目標在高層特徵中很容易被“淹沒”，導致漏檢。為此，檢測器通常會採用多尺度特徵金字塔（FPN/PAFPN 等）、提高輸入分辨率、在淺層特徵圖上增加檢測頭，甚至專門設計針對小目標的分支和損失加權策略。同時，在數據層面也需要通過裁剪、放大、小目標重採樣等方式，提升模型對小尺度目標的感知與記憶能力。

密集目標（如擁擠人群、密集停車場、排列緊湊的商品/零件）則會暴露出錨框重疊、NMS 誤殺、遮擋嚴重等問題。改進策略包括更精細的標籤分配（如 ATSS 等自適應分配方法）、軟 NMS 或基於學習的去重策略、以及通過中心點/密度圖建模等方式緩解框間競爭。在工業質檢中，許多系統還會結合檢測與像素級分割，實現更精確的缺陷定位，以便後續自動處理。

當檢測從單幀擴展到視頻時，另一個挑戰是 時間連續性與目標穩定性 。單幀檢測器在每一幀上獨立做出預測，難以避免短時丟檢、ID 抖動和虛警，而現實應用中的告警、計數、軌跡分析往往需要跨幀一致的目標軌跡。為此，視頻目標檢測通常會疊加一個 Tracking 模塊，把“檢測 + 目標跟蹤”打通：經典做法是以圖像檢測器為前端，在後端利用卡爾曼濾波、匈牙利匹配、外觀特徵相似度等實現多目標跟蹤（如 SORT、DeepSORT 等）；更進一步的做法是將跟蹤頭直接整合到檢測網絡中，聯合學習檢測與跨幀關聯，提高短時遮擋、快速運動等場景下的魯棒性。

在實際系統中，小目標、密集目標和視頻檢測往往不是孤立的問題，而是同時出現：例如城市道路監控中的遠處行人/車輛、車站廣場中的密集人群、產線視頻中的高速運動零件。這也決定了，高質量的目標檢測模塊，除了在標準 benchmark 上有亮眼指標外，更需要在多尺度、多密度、長時間視頻等真實條件下，經受住各種複雜因素的考驗，才能真正支撐上層的行為分析、智能告警和多模態理解。

2.4 圖像分割（Image Segmentation）

有了目標檢測，我們已經可以知道“圖裡有哪些物體、它們大致在哪裡”，但很多任務還需要更精細的結構化理解：精確到每一個像素，判斷它屬於哪一類、屬於哪個實例 。例如自動駕駛中要知道哪些像素是路、哪些是人和車；摳圖工具要把頭髮絲和背景分得乾乾淨淨；醫學圖像裡要精確描出腫瘤和器官的邊界。這類任務統稱為圖像分割，它直接在像素層面輸出語義或實例標籤，相比檢測提供了更細粒度的空間結構信息。

從產品角度看，圖像分割是“像素級結構化”的核心能力：摳圖和背景替換工具依賴它決定哪些像素需要保留；自動駕駛的感知模塊依賴它構建精細的“可行駛區域 + 障礙物”地圖；醫學影像軟件依賴它測量病灶大小、形狀和體積；遙感平臺依賴它區分農田、水體、建築、道路等地物。下面我們從 場景 、原理和模型三個角度來梳理圖像分割，並在後續子項中展開語義/實例/全景/大模型分割等方向。

• 場景
  • 內容編輯與摳圖：人像摳圖、頭髮絲級別的背景替換、物體摳出和分層編輯，用於圖片美化、短視頻特效、廣告創意製作。
  • 自動駕駛與機器人：對每個像素標註路面、車道線、行人、車輛、護欄、建築、天空等，用於路徑規劃、碰撞預警和環境建模。
  • 醫學影像分析：在 CT、MRI、超聲等圖像中精確分割器官、腫瘤、病灶區域，支持輔助診斷、手術規劃和療效評估。
  • 遙感與地理信息：在衛星/航拍圖中分割農田、水體、道路、建築、林地等地物，支持國土規劃、土地利用監測和災害評估。
• 原理 圖像分割本質上是“密集預測”，對輸入圖像通過編碼器（Backbone）提取多尺度特徵，再通過解碼器或上採樣模塊，將特徵圖逐步還原到與輸入同尺寸的分割圖，在每個像素位置上輸出一個語義或實例標籤。
  • 語義分割（Semantic Segmentation） ：為每個像素分配一個語義類別（如路、人、車、天空），不區分同類的不同個體，適合描述“場景組成”。
  • 實例分割（Instance Segmentation） ：在語義信息之上進一步區分同類不同實例，為“每一輛車、每一個人”生成獨立掩膜，是檢測與分割的結合。
  • 全景分割（Panoptic Segmentation） ：統一處理“可數的物體（thing，如人、車）”與“不可數的背景（stuff，如路、天空）”，為每個像素同時給出語義標籤和實例 ID。 與檢測相比，分割對空間細節與邊界質量更加敏感，需要更豐富的多尺度上下文信息和更精細的上採樣/融合策略。
• 模型 經典到最新的分割模型大致沿著“FCN → 編碼器–解碼器 → 多尺度上下文 → 檢測+分割一體化 → 大模型分割”的路線演化：
  • 語義分割：FCN、U‑Net 及其變體、DeepLab 系列（DeepLabv3/v3+）、PSPNet 等，通過空洞卷積、金字塔池化、跳躍連接等方式獲取多尺度上下文和精細邊界。
  • 實例/全景分割：Mask R‑CNN、Panoptic FPN、Mask2Former 等，將檢測頭與分割頭結合，實現目標級分割和全景分割。
  • 大模型與通用分割：Segment Anything Model (SAM) 等基礎分割模型，將分割從“每個任務單獨訓練”提升為“一個模型適配多數分割場景”，支持交互式、提示驅動（prompt‑based）的分割。

總體而言，圖像分割相比目標檢測提供了更精細的空間結構表達，是構建高可靠感知系統和高級編輯工具時不可或缺的一環。下面，我們從 語義分割與實例分割, 全景分割與檢測一體化, 以及通用分割, 大模型, 與無監督分割三個方向展開。

2.4.1 語義分割與實例分割：從“像素類別”到“像素實例”

語義分割（Semantic Segmentation） 的目標，是為圖像中的每一個像素指定一個語義類別，使得網絡學會“這片區域是路，那片區域是車，這裡是人，那邊是天空和建築”。經典做法通常採用編碼器–解碼器結構：編碼器（如 ResNet、EfficientNet、Swin Transformer 等）提取逐漸下采樣的高層特徵，解碼器通過上採樣、跳躍連接（skip connection）和多尺度融合，將粗糙的高層語義特徵與底層細節結合，還原到原始分辨率。FCN 首次將這種密集預測形式系統化，U‑Net 通過對稱的 U 型結構與大量 skip connection 在醫學影像中取得了巨大成功；DeepLab 系列通過空洞卷積（dilated convolution）和 ASPP（金字塔空洞池化）在不降低分辨率的情況下擴大感受野；PSPNet 則通過金字塔池化獲取全局上下文信息。這些模型共同推動了在道路場景、遙感、醫學等領域的大規模應用。

實例分割（Instance Segmentation） 進一步在像素語義標籤的基礎上區分同類不同個體：不只要知道哪些像素是“車”，還要知道這些像素分別屬於哪一輛車。最具代表性的模型是 Mask R‑CNN，它在 Faster R‑CNN 的檢測框架上增加了一個並行的分割分支：先通過檢測頭預測每個候選框的類別和位置，再在每個框內生成一個二值掩膜，從而得到“框 + 掩膜”的目標級分割結果。與純語義分割相比，這種方法能夠很好地處理物體重疊和遮擋，是人像/商品摳圖、多目標計數、細粒度編輯等任務的基礎。後續的實例分割方法在 mask 質量、多尺度與速度上不斷改進，也出現了基於 anchor‑free 和 Transformer 的新架構，但“檢測 + 局部分割”的思路仍然非常主流。

在產品層面，語義分割通常出現在“場景級”的應用中，例如自動駕駛道路分割、遙感地物識別、醫學器官分割等；實例分割則更常用於“物體級”摳圖、計數和編輯，例如一鍵選中並分離每一輛車、每一個人、每一件商品。兩者結合，可以為上層任務提供既精細又結構化的空間信息。

僅做語義分割會把同類對象混在一起（所有“車”像素都屬於同一個類）；僅做實例分割又往往只關注可數的“東西”（things，如人、車、動物），而忽視大面積的不可數“背景”（stuff，如路、草地、天空）。在很多場景中，我們既需要知道每一個對象的實例級掩膜 ，又想了解 整體場景構成 。這就催生了全景分割（Panoptic Segmentation） ：為每一個像素同時給出語義類和實例 ID，實現對 thing + stuff 的統一建模。

早期的全景分割系統通常通過“語義分割模型 + 實例分割模型 + 後處理合成”的方式實現：先用一個網絡預測每個像素的語義類別，再用另一個網絡輸出各個實例的掩膜與類別，最後通過一套規則（如優先級、重疊處理）將兩者合併為一個一致的全景分割結果。Panoptic FPN 代表了一條工程上更優雅的路徑：在一個共享 Backbone 與特徵金字塔（FPN）上，分別掛載語義分割頭和實例分割頭，通過聯合訓練與特徵共享，同時得到兩種輸出，再通過輕量的後處理將它們融合。這樣不僅提高了效率，也增強了語義和實例之間的一致性。

在模型層面，隨著檢測/分割一體化與 Transformer 架構的發展，出現瞭如 Mask2Former 等統一的全景分割框架：它們傾向於使用一套通用的“query + mask decoder”結構，在同一網絡中同時預測語義、實例乃至其他下游任務的掩膜，從而在架構上大幅簡化系統、方便多任務擴展。對於自動駕駛、機器人導航、AR 場景理解等複雜任務來說，全景分割提供了一種更接近“人眼主觀感受”的完整場景描述，讓上層決策和規劃可以在更準確的空間語義上進行。

在產品形態上，全景分割往往內嵌在自動駕駛、機器人系統和高端視覺分析平臺中，用戶未必直接感知到“全景分割”這個概念，但會真實受益於更穩健的場景理解和更自然的交互體驗。

2.4.2 通用分割與無監督分割：從任務定製到“Segment Anything”

傳統分割模型往往圍繞特定數據集和任務訓練：比如“道路場景 19 類語義分割”“某種腫瘤分割”“某幾類商品分割”等，每換一個任務就要重新標註、重新訓練。在實際業務中，這種強依賴精標數據的方式代價巨大，並且難以覆蓋長尾類別和不斷湧現的新場景。近年來，隨著大規模預訓練視覺模型和提示驅動（prompt‑based）範式的發展，出現了以 Segment Anything Model (SAM) 為代表的通用分割大模型 ，試圖把分割能力從“任務定製”提升為“基礎設施”。

以 SAM 為例，它通過一個強大的圖像編碼器（通常是大規模預訓練的 ViT）學習全圖的通用特徵，再通過輕量的提示編碼器和掩膜解碼器，將用戶給出的點、框、文本提示等轉化為分割結果。在訓練階段，SAM 利用了海量、多源、多任務的掩膜標註，使得模型學到的是一種“泛化的分割能力”，而不是對某個數據集標籤的死記硬背；在使用階段，用戶只需給出極少量提示（一個點或者一個粗框），就能在各種未見過的圖像類型和物體類別上得到質量較高的掩膜。這種範式大大降低了構建新分割應用的門檻，也為無監督/弱監督場景提供了強有力的工具。

與之相關的，是更廣義的無監督 / 自監督分割方向：不依賴或極少依賴人工掩膜，通過圖像內部的相似性、時序一致性、多視角約束等信號，自動將圖像劃分為若干有意義的區域。早期工作多側重於“視覺聚類”和區域提議（proposal generation），如今則更多地被大模型內化為一種表徵學習方式，為下游的分割任務提供良好的初始化。結合 CLIP 等文本–圖像對比學習模型，越來越多的方法能夠在“只給文本類別名稱、不提供掩膜標註”的條件下，進行零樣本或少樣本分割，為冷啟動場景和長尾類提供新解法。

在實際產品中，通用分割大模型往往以“交互式摳圖工具”“智能選區”“一鍵摳背景”等形式出現，也逐步被整合進醫學、遙感、工業等領域的專業軟件中，作為半自動標註與輔助分割的加速器。與傳統定製模型相比，它們不一定在某個特定任務上達到極致，但在“什麼都能做一點、多場景快速落地”上有顯著優勢，也為後續構建真正的多模態基礎視覺模型打下了基礎。

2.5 關鍵點檢測與動作識別（Keypoint Detection & Action Recognition）

在分類、檢測、分割之後，我們已經可以知道“圖裡有什麼、在哪兒、每個像素屬於什麼”。但在很多真實任務中，業務關心的不僅是“物體存在與位置”，而是姿態和動作 ：一個人是在走路還是在奔跑？這隻手是否舉起、是否做出某個手勢？工人是否正確佩戴安全設備、執行規範動作？運動員的技術動作是否標準？這些問題需要我們進一步理解 物體內部的結構與時序變化 。

關鍵點檢測與動作識別就是面向這一需求的兩層能力：

• 關鍵點檢測（Keypoint Detection） ：在圖像或視頻幀上，預測目標（通常是人體、手部、面部或特定機械結構）的若干“骨架點”（如關節、指尖、五官），得到一個精細的結構化姿態表示（pose）。
• 動作識別（Action Recognition） ：在時序上分析這些關鍵點或外觀特徵隨時間的變化，判斷“這個人/這群人正在做什麼動作或行為”。

從產品視角看，這一能力廣泛服務於：人機交互（手勢控制）、體育分析（技術動作評估）、安防（跌倒檢測、打架/奔跑等異常行為識別）、工業安全（違規動作檢測）、虛擬人驅動（依靠人體/面部關鍵點驅動 3D 骨骼與動畫）等場景。下面我們從 場景 、原理和模型三個角度梳理這一層能力，並在子節中分別展開關鍵點檢測與動作識別。

• 場景
  • 人機交互與 AR/VR：通過手勢識別、身體姿態檢測，實現“比劃一下就能控制”的自然交互，或在 AR/VR 中實時驅動虛擬形象。
  • 體育訓練與運動分析：對跑步、跳高、投籃、舉重等動作進行關鍵點追蹤與角度分析，給出技術動作評估與糾錯建議。
  • 安防與公共安全：檢測跌倒、打架、劇烈奔跑、翻越護欄等異常行為，用於及時告警；在工地、廠區中識別是否規範操作。
  • 工業與人機協作：檢測工人是否按規範姿態操作、與機器人協作時的安全距離、是否出現危險動作。
  • 面部/表情驅動與虛擬人：通過面部關鍵點捕捉表情細節，用於表情遷移、數字人驅動、視頻會議虛擬形象等。
• 原理 兩類任務分別側重空間結構與時序變化，但本質上都是在高維特徵空間中做結構化預測：
  • 關鍵點檢測：在圖像上定位一組預定義關鍵點（如 17/25 個人體關節、21 個手部關節、68/106 個面部關鍵點），常用方式是在特徵圖上預測每個關鍵點的熱力圖（heatmap），再通過峰值位置反推座標；多人的場景下，還需要進行“關節到人的組裝”。
  • 單幀/短時動作識別：基於單張圖或短時間窗口，通過人體姿態（關鍵點）和外觀特徵，判斷該幀/該片段中發生的動作類別（如走、跑、舉手、揮手、坐下等）。
  • 時序動作識別：在更長的時間尺度上，分析特徵序列（圖像特徵、關鍵點序列或光流等），建模動作的起始、持續與結束，識別“正在打電話”“正在做俯臥撐”“兩人互相推搡”等複雜行為。
  • 結構化表示：關鍵點序列提供了一種比原始像素更緊湊、更穩定的結構化表示，便於在動作識別中處理視角變化、背景干擾和外觀差異。
• 模型 常見模型大致沿著“卷積/Transformer 特徵提取 + 關鍵點/時序頭”這一統一範式發展：
  • 關鍵點檢測：OpenPose 系列、Hourglass Network、HRNet、基於自頂向下（先檢測人再估計姿態）和自底向上（先檢測關節再組裝）兩大分支；近年來也有基於 Transformer 的姿態估計器。
  • 視頻動作識別：基於 2D/3D CNN 的視頻模型（I3D、SlowFast 等）、基於骨架的 GCN 模型（ST‑GCN 等，直接在關鍵點圖上建模時空關係）、以及基於視頻 Transformer（Video Swin、TimeSformer 等）的端到端方案。
  • 統一多任務與大模型：在通用視覺 Backbone 上同時輸出檢測、分割、關鍵點和動作標籤，或利用多模態大模型通過文本提示直接理解“這個人在做什麼動作”，將結構化預測與語義理解連接起來。

下面我們分別從關鍵點檢測與姿態估計以及動作識別與行為理解兩個方向展開。

2.5.1 關鍵點檢測與姿態估計：給人和物“畫骨架”

關鍵點檢測（也常被稱為姿態估計，Pose Estimation）關注的是 單幀或單幅圖像中的空間結構 ：在二維圖像中找到一組具有語義意義的關鍵點，並將它們連接成骨架。例如，在人體姿態估計中，我們通常需要檢測頭部、肩膀、肘、腕、髖、膝、踝等關節；在面部姿態中則是眼角、嘴角、鼻尖、臉廓等；在手部姿態中則是指根、指關節、指尖。對於機械臂、關節結構件等非人體對象，也可以同樣定義一套關鍵點體系。

在模型設計上，關鍵點檢測常用的是 **“特徵提取 + 熱力圖預測”**範式：

• 首先使用 CNN 或視覺 Transformer（如 ResNet、HRNet、Swin 等）對輸入圖像提取多尺度特徵。
• 然後通過一個解碼頭或多層卷積，為每一個關鍵點類型輸出一張熱力圖（heatmap），其中每個像素值表示“該位置是該關鍵點的可能性”。
• 推理階段，通常取每張熱力圖的峰值位置作為關鍵點座標，並通過雙線性插值、局部擬合等方式進行亞像素級優化。

針對多人場景，姿態估計方法大致分為兩路：

• 自頂向下（Top‑down） ：先使用行人檢測器在圖中找到每個人的邊界框，再對每個框內的圖像分別做單人姿態估計。這種方式對單人精度高、框架簡單，但在多人密集場景中計算代價大、對檢測質量敏感。代表系統包括許多基於 Faster R‑CNN/YOLO + Hourglass/HRNet 的組合。
• 自底向上（Bottom‑up） ：不先區分每個人，而是在全圖上直接預測所有潛在關鍵點（及其類型），同時預測關鍵點之間的連接關係或親和場（如 OpenPose 的 PAF）。然後通過圖匹配/聚類算法，將關鍵點組裝成多個獨立的人體骨架。這類方法在多人密集場景中更高效、對人數規模更魯棒，但組裝過程複雜，對連接質量敏感。

近年來，基於 Transformer 的姿態估計模型也逐漸出現，將關鍵點檢測看作一組“查詢–響應”任務，與 DETR 類似，可以在架構上統一對象檢測與姿態估計。在工程應用中，關鍵點檢測能力通常被封裝為“人體/手勢/面部關鍵點 SDK 或 API”，上游應用只需傳入圖像或視頻幀，即可獲取結構化的骨架座標，用於後續的動作識別、交互控制或動畫驅動。

2.5.2 動作識別與行為理解：讓“骨架”動起來

在得到關鍵點或高層視覺特徵之後，下一步就是理解 時間維度上的變化 ——也就是動作識別（Action Recognition）和行為分析（Behavior Understanding）。與關鍵點檢測不同，動作識別不再侷限於單幀；它關心的是一段時間內特徵的演化模式：從“抬手”到“揮手”，從“走路”到“奔跑”，從“站立”到“跌倒”。

在輸入表示上，大致有三條路線：

• 基於原始 視頻幀 /光流 ：直接對視頻幀序列建模，或額外引入光流（描述局部運動速度的場）作為輸入，讓模型從外觀 + 運動信息中聯合學習。
• 基於骨架/關鍵點序列 ：先用姿態估計得到人體關鍵點座標序列，再在“時空骨架圖”上建模，弱化背景與光照干擾，更關注人體結構與運動模式。
• 多模態融合 ：將視頻特徵、關鍵點序列、甚至音頻、文本等多模態一起納入，處理複雜行為場景（如多人互動、事件級動作）。

對應地，模型結構也呈現出多樣化發展：

• 早期的動作識別主要依賴 2D CNN + 時間 n 池化 或 3D CNN （如 I3D、C3D）：前者對每一幀提特徵再在時間維上做池化或 RNN；後者直接在空間和時間上做三維卷積，捕捉短時運動模式。
• 針對骨架序列，典型方法是 時空圖卷積網絡（ST ‑ GCN） ：把人體關鍵點看作圖結構節點，關節之間的連接是邊，在時間維上也連邊，通過圖卷積在時空圖上傳播信息，從而學習動作模式。這類方法輕量、對背景魯棒，適合在資源有限的設備上部署。
• 近年來， 視頻 Transformer （如 TimeSformer、Video Swin）在動作識別中表現突出，它們將視頻切分為時空 patch，通過自注意力機制建模長時間依賴，能夠更好地捕捉複雜動作與多目標交互。

在業務側，動作識別往往會與檢測、跟蹤、關鍵點檢測結合，形成端到端的行為分析系統：

• 在安防中，先檢測並跟蹤人員，再對每條軌跡的關鍵點序列進行動作分類，實現跌倒檢測、打架/奔跑識別等；
• 在體育和健身應用中，通過關鍵點序列分析動作是否標準、幅度是否合適，並給出糾正建議；
• 在人機交互場景中，對實時姿態流進行輕量級動作分類，實現揮手、比心、手勢指令等交互；
• 在工業安全中，對工人操作動作進行持續監測，識別危險姿態（如俯身進入危險區、越過安全線等）。

面向未來，多模態大模型正在將“動作識別”提升為更高層的“事件與意圖理解”：模型不僅可以標註“走路、跑步、打電話”，還能夠回答“這個人似乎在示意招呼某人”“這兩人正在發生爭執”等更接近日常語言的描述。關鍵點檢測和動作識別在其中，作為重要的結構化運動線索，與外觀特徵和語言提示一起，共同支撐更復雜的時空理解能力。

2.6 開放詞彙 / 開放世界 / 開放域檢測

（Open‑Vocabulary / Open‑World / Open‑Domain Detection）

前面的檢測與分割能力，基本都默認一個前提： 訓練和推理時的類別集合是固定的 。也就是說，模型在訓練階段就完整地見過“所有要識別的類別”，推理時只需要在這套封閉標籤裡做選擇。但真實世界遠比數據集複雜：新商品、新品牌、新路牌、新物種、新場景隨時出現，不可能為每個新類都準備充足的標註數據重新訓練檢測器。這就催生了 開放詞彙 / 開放世界 / 開放域檢測 ：在訓練數據只覆蓋有限“已知類”的情況下，讓模型在推理時仍然能夠感知、定位和識別 未見的新類 ，並且在視覺風格和拍攝域（domain）變化時保持魯棒性。

你可以把這一層理解為：在傳統檢測之上，加入“對語言空間與開放世界的對齊和泛化能力”。模型不再只會說“這是 80 類 COCO 之一”，而是可以在任意文本描述的空間裡理解和檢索目標，例如“檢測圖裡所有‘紅色運動鞋’”“標出所有‘疑似小型飛行器’”，即便這些精細類別在訓練集中從未顯式出現。下面我們從 場景 、原理和模型三個角度來梳理這一層，並在子小節中分別展開開放詞彙檢測、開放世界檢測和開放域泛化。

• 場景
  • 通用場景理解 API：用戶給出任意自然語言描述（類別詞或短句），系統在任意風格的圖像中返回對應目標的檢測框或分割掩膜，例如“圖中所有安全帽”“所有疑似品牌 logo”“所有帶輪子的物體”。
  • 大規模商品 / 物種識別：電商中不斷上新的長尾商品、自然界中數量巨大的動植物物種，訓練數據只能覆蓋一部分已知類，但系統需要對海量新類進行定位與粗識別，並支持通過文本或圖像檢索。
  • 跨域安防 / 自動駕駛感知：訓練數據多來自白天城市道路/少數攝像頭視角，實際部署卻面臨不同城市、鄉村、高速、極端天氣、紅外/魚眼攝像頭等“新域”，其中還會出現訓練集中從未標註過的新型目標（新款車型、新交通設施、新類型障礙物）。
• 原理 這類方法的核心，是用視覺–語言對齊的嵌入空間替代傳統的“固定 one‑hot 類別頭”，並通過多種機制處理“未見類”和“新域”：
  • 開放詞彙檢測（Open‑Vocabulary Detection）：在訓練階段，利用大規模圖文對（image–text pairs）預訓練得到類似 CLIP 的對齊空間，使得圖像區域和文本嵌入可以直接在同一語義空間中做相似度匹配；檢測頭不再輸出固定的類別 logit，而是輸出一個區域特徵向量，與任意文本描述向量進行對比，從而支持“訓練只見部分類別，推理可指定任意文本類別”。
  • 開放世界檢測（Open‑World Detection）：進一步處理“訓練集中完全沒有標註的新類”，要求模型可以將這類目標檢測為“未知類（unknown）”，並在後續通過交互標註或持續學習，把這些未知類逐步納入已知類別集合，形成一個可以不斷擴充類目的在線學習系統。
  • 開放域 / 跨域檢測（Open‑Domain Detection）：面對圖像風格、成像設備、環境條件等大幅變化（domain shift），通過領域自適應（Domain Adaptation）、領域泛化（Domain Generalization）等技術，讓檢測器在未見過的新域中保持穩定檢測性能；常見手段包括對抗性域對齊、多域訓練、風格隨機化、元學習等。
  • 分割與檢測一體的開放詞彙：將上述思路擴展到像素級，對任意文本描述生成分割掩膜（open‑vocabulary segmentation），通過 Region–Word 或 Mask–Word 對齊損失，實現“用自然語言描述一個區域/物體，就能得到對應 mask 或框”。
• 模型 當前開放詞彙 / 開放世界 / 開放域檢測的主流技術路線，基本圍繞“大規模視覺–語言預訓練 + 檢測頭適配 + 域泛化機制”展開：
  • CLIP‑based 檢測器：以 CLIP 風格的圖像編碼器和文本編碼器為基礎，在區域級特徵（ROI、特徵圖 patch、mask 區域）與文本嵌入之間應用對比學習和 Region–Word 對齊損失；典型實現包括在 Faster R‑CNN / RetinaNet / YOLO / DETR 等架構上替換或擴展分類頭，使其以“cosine 相似度 + 文本嵌入”方式輸出類別分數。
  • Caption‑driven / Prompt‑based Detection：利用大規模圖文描述（caption）數據，為圖像中的區域或 mask 自動生成文字描述，再用這些自動生成的文字與檢測/分割區域對齊訓練，從而減少對人工類別標籤的依賴；推理時則通過自然語言 prompt（如“所有穿紅色衣服的人”“所有電動車”）驅動檢測/分割。
  • Open‑World Detection 系列工作：在傳統檢測框架中顯式引入“未知類（unknown）”建模、漸進式類別擴展和增量學習機制，一部分方法通過度量空間的距離與不確定性估計來判斷“是否為未知類”，另一部分引入記憶庫與在線重訓練，使系統能隨時間積累新類別知識。
  • 域自適應 / 域泛化檢測：在 Backbone 和檢測頭層面增加域判別器、對抗性損失、多域 batch normalization、風格隨機化增強等模塊，使檢測器在不同域之間學習到更域不變的表示；也有工作在 Transformer 檢測框架（如 Deformable DETR）上引入多源域訓練和元學習策略，提升跨域泛化能力。
  • 通用 / Foundation 檢測模型：把檢測問題上升到“基礎模型”層面，預訓練一個在類別和域上都儘可能通用的 Detection Foundation Model，再通過輕量微調或文本 prompt 適配特定場景；這類模型通常結合大規模檢測標註、多源圖文對、甚至視頻數據，目標是讓“任意文本 + 任意風格圖像”的通用理解成為可能。

在具體產品形態上，開放詞彙/開放世界/開放域檢測往往體現為“更自然、更少限制”的視覺接口：用戶不必提前約定一小撮固定標籤，而是可以用自然語言描述想找的目標；系統也不需要為每個業務場景從零開始重訓檢測器，而是基於統一的通用模型，通過 prompt 或少量樣本快速適配。對於大規模商品 / 物種識別、全球化部署的安防與自動駕駛感知系統而言，這一層能力正在成為從“封閉數據集性能”走向“真實開放世界可用性”的關鍵跳板。

2.6.1 開放詞彙檢測：從固定類別頭到文本驅動類別空間

開放詞彙檢測（Open‑Vocabulary Detection）的出發點，是突破傳統檢測中“固定類別頭”的限制。以往的檢測器在頂層接一個大小固定的分類層（對應訓練集中的 N 個類別），訓練完成後只能在這 N 個類別中選擇；而開放詞彙檢測則通過引入文本， 編碼器， 和共享的語義嵌入空間，讓檢測頭輸出的區域特徵可以與任意文本描述進行相似度對比，從而在推理時接納未見過的新類別。

典型做法是使用類似 CLIP 的視覺–語言預訓練模型：

• 文本端：對類別名稱或自然語言描述（如“person”、“red sports car”、“yellow construction helmet”）進行編碼，得到文本向量。
• 視覺端：在檢測框架（Faster R‑CNN、RetinaNet、YOLO、DETR 等）中，對每個候選區域或特徵點提取區域特徵向量。
• 對齊訓練：通過對比損失、Region–Word 對齊損失，使同一語義的文本和區域特徵在嵌入空間中靠近，不同語義的向量遠離。訓練時即便只對一部分類別提供顯式框標註，也可以利用圖文對或圖像 caption 擴展語義覆蓋。

推理階段，系統不再依賴訓練時固定的一組類名，而是允許用戶在線提供任意類別詞或自然語言描述，通過文本編碼器轉為嵌入，再與區域特徵做相似度匹配。這使得檢測器可以在不重新訓練的前提下，支持諸如“檢測所有滑板”“檢測所有綠植”“檢測所有安全相關設備”等靈活需求，即便某些具體類目在訓練集中從未出現過完整標註，只要語義上與預訓練的圖文空間有重疊，就能被一定程度地識別和定位。

在工程實踐中，開放詞彙檢測需要在效果與效率之間平衡：一方面，保持與大規模預訓練的視覺–語言 Backbone 的語義對齊；另一方面，又要承載檢測任務對多尺度、實時性的要求。主流 CLIP‑based 檢測器往往採用“預計算文本嵌入 + 高效向量相似度計算”的方式，避免在在線服務中反覆編碼文本，同時對區域特徵進行量化或蒸餾，兼顧精度和推理速度。

2.6.2 開放世界檢測：從“未見類”到“可學習的未知”

開放世界檢測（Open‑World Detection）在開放詞彙的基礎上，進一步要求模型顯式處理“未知類” ：訓練數據中只標註了部分類別，其餘物體要麼未被標註，要麼被統稱為背景；推理時，這些“未被標註的真實物體”既不應該被簡單視為背景，也不應被錯誤歸入已知類別，而應作為“未知類（unknown）”被檢測出來，並具備後續轉化為“新已知類”的可能。

在建模上，開放世界檢測通常需要解決三個問題：

1. 未知類感知 ：如何在訓練階段避免將所有未標註目標都學成“背景”？常見做法包括：引入顯式“未知類”槽位，通過負例挖掘和不確定性建模讓模型學會在低置信度區域輸出“unknown”；或者利用無標註數據和自監督機制，對高置信度的潛在目標區域進行聚類和偽標籤生成。
2. 錯誤歸類控制 ：模型需要在“寧可判為 unknown，也不要錯誤歸入錯誤已知類”之間做權衡，這涉及到損失設計（如 margin、開放集判別）、決策閾值和後處理策略。
3. 漸進式類別擴展 ：當業務方對一批“unknown”目標人工標註出新類別後，模型應能夠通過增量學習將這些新類別納入“已知類”集合，而不顯著遺忘舊類。為此，很多工作引入了記憶庫、蒸餾損失、參數隔離或重放機制，實現對新類別的穩定吸收。

從產品視角看，開放世界檢測特別適合那些類目不斷增長、長尾極度嚴重的場景，例如自然物種識別、新品快速上新的商品識別、複雜安防場景中的異常目標檢測等。系統可以先用開放世界檢測將“任何非背景的可疑目標”標出，並逐步通過人工或半自動標註，將其中有價值的聚類升級為正式類目，從而形成一個“類目可持續生長”的檢測系統，而不是被固定數據集束縛。

2.6.3 開放域 / 開放分佈檢測：跨風格、跨設備、跨場景的魯棒性

即使類別集合保持不變，檢測器仍然會在現實部署中遭遇嚴重的 域偏移（Domain Shift） ：訓練數據可能來自少數城市的白天高清攝像頭，而部署環境卻包含不同國家、鄉村、高速路、隧道、夜間、雨雪、低分辨率攝像頭、魚眼鏡頭甚至紅外成像；電商商品攝影與用戶實拍、廣告圖/插畫/動漫風格之間也存在巨大差異。**開放域檢測（Open‑Domain Detection）**關注的正是：在圖像分佈發生顯著變化的條件下，保持檢測性能的穩定與可靠。

典型的技術路徑包括：

• 領域自適應（Domain Adaptation） ：在擁有目標域無標註數據或少量標註數據的前提下，通過對抗性域對齊（在特徵空間上混淆源域/目標域）、多級域對齊（圖像風格、特徵、檢測頭輸出）、風格遷移（如將源域圖像風格遷移到目標域）等方式，讓模型學到對域不敏感的特徵。
• 領域泛化（Domain Generalization） ：在僅有多個源域數據、沒有目標域數據的前提下，利用多域訓練、風格隨機化、特徵擾動、元學習等手段，使模型在訓練階段就儘可能暴露於多樣化分佈，提升對未知新域的泛化能力。
• 通用 / Foundation 檢測模型 ：通過在極大規模、多源、多風格數據上預訓練檢測 Backbone 和頭部結構（包括自然圖像、視頻幀、合成數據、跨模態數據等），再在特定業務場景輕量微調，從而獲得比“單域訓練”更強的開放域魯棒性。

這些開放域機制往往與開放詞彙/開放世界能力相互疊加：一個面向真實世界的通用檢測系統，既要能聽懂用戶的自然語言類別描述（開放詞彙），又要能對新出現的目標給出合理的“未知”判斷和漸進吸收（開放世界），還要能在不同國家、不同設備、不同天氣和風格下保持性能（開放域）。在工程落地中，這三者並不是彼此孤立的研究方向，而是共同構成了從“封閉 benchmark”邁向“開放世界可用”的關鍵能力組合。

2.7 視覺–語言任務（Vision–Language Tasks）

前面的章節主要圍繞“單模態視覺”展開：輸入是一張圖像，輸出是檢測框、分割掩膜、類別標籤或質量分數。而在很多真實應用中，視覺信息並不是孤立存在的——一張圖往往伴隨標題、說明文字、對話或搜索查詢；用戶想問的是“圖裡在講什麼”“這張圖和這句話匹不匹配”。視覺–語言任務正是解決這類問題：它們以圖像 + 文本為輸入或輸出，通過 跨模態對齊與聯合建模 ，讓系統能夠“看圖說話”“看圖回答問題”“用文字找圖 / 用圖找文”。

從產品視角看，視覺–語言模型（VLM）是多模態系統的中樞能力：搜索引擎依賴它實現“以文搜圖 / 以圖搜文”；內容平臺用它做智能配圖、廣告審核、圖文一致性檢查；多模態助手則將其作為基礎能力，實現“看圖聊天”“對文檔/截圖提問”等功能。下面我們從 場景 、原理和模型三個角度梳理這一層，並在後續小節中分別展開圖像描述、視覺問答與圖文檢索。

• 場景
  • 圖像描述（Image Captioning）：為圖片自動生成一兩句自然語言描述，用於無障礙輔助閱讀、智能相冊說明、搜索索引豐富。
  • 圖像問答（VQA）：用戶針對圖片提出自然語言問題（“這個人拿著什麼？”“車牌號是多少？”），系統給出精準回答，可用於教育、輔助決策和多模態助手。
  • 圖文檢索（Cross‑modal Retrieval）：以文本檢索相關圖片（Text‑to‑Image）、以圖片檢索相關文本（Image‑to‑Text），支撐“以文搜圖 / 以圖搜文”搜索、創意選圖和廣告投放審核。
  • 圖文一致性與審核：判斷圖片與標題/廣告語是否相符，有沒有“圖文不符”“誘導性描述”等風險，用於內容審核和品牌安全。
• 原理 核心問題是：如何把圖像和文本映射到 同一個語義空間 ，並在這個空間內進行對齊與推理：
  • 跨模態對齊：通過聯合訓練的圖像編碼器和文本編碼器，讓對應的“圖–文對”在表示空間中彼此靠近，不相關對彼此遠離（典型如 CLIP）；這為檢索、匹配提供了基礎。
  • 聯合理解與生成：在對齊的表示基礎上，引入跨模態注意力，讓語言模型在“看著圖像特徵”的前提下生成文本（圖像描述）、推理和回答問題（VQA）。
  • 提示化與指令化：用自然語言指令統一描述多種視覺–語言任務（“為這張圖寫標題”“回答關於這張圖的問題”“判斷這段文字是否描述了圖片”），讓一個模型通過不同提示完成多種任務。
• 模型 主流視覺–語言模型大致演化為兩類：對比學習型 VLM 與 生成式多模態 大模型 ：
  • 對比學習型：CLIP、ALIGN 等，將圖像和文本分別編碼成向量，通過大規模圖–文配對訓練，使其在檢索和匹配任務上表現出色，是“以文搜圖 / 以圖搜文”的基礎。
  • 視覺–語言生成模型：BLIP / BLIP‑2、Flamingo、Kosmos、LLaVA 等，將視覺編碼器與大語言模型（LLM）銜接，通過跨模態注意力和指令微調，支持圖像描述、VQA、多輪對話等複雜任務。
  • 通用多模態大模型：如 GPT‑4.1 with Vision、Gemini 1.5 等，進一步將視覺與更多模態（語音、代碼等）統一在一個大模型中，通過統一的接口完成檢索、問答、推理和生成。

總體而言，視覺–語言任務標誌著“視覺不再是一個單獨的感知通道”，而是與語言共同參與到更高層的知識表達和推理之中。下面，我們從 圖像描述與視覺問答 、圖文檢索與跨模態對齊兩個方向展開（這裡按內容合併為兩小節）。

2.7.1 圖像描述與視覺問答：從“看圖描述”到“看圖推理”

**圖像描述（Image Captioning）**的目標，是輸入一張圖像，輸出一段自然語言描述，比如“一個小女孩在草地上放風箏”。傳統做法通常採用“CNN + RNN”結構：用卷積網絡提取整圖特徵，再用 LSTM/GRU 逐詞生成描述；隨著 Transformer 和預訓練 VLM 的出現，主流範式逐漸轉向“圖像編碼器 + 文本解碼器”結構，如 BLIP / BLIP‑2、ViT + GPT 等。訓練上，模型通常在大量圖–文對上進行自迴歸訓練，有時還會採用強化學習或對比損失，優化描述的多樣性與正確性。在產品層面，圖像描述被廣泛用於無障礙閱讀（為盲人讀屏軟件生成圖片說明）、智能相冊自動加標題，以及為搜索系統提供更多文本索引。

視覺問答（VQA）則進一步把人類交互引入進來：模型的輸入不再是“圖 + 空白提示”，而是“圖 + 問題”，輸出一個簡短答案或者自然語言解釋。與圖像描述相比，VQA 更強調可控性與推理能力 ：問題可以關注局部細節（“男人的帽子是什麼顏色？”）、關係（“哪輛車離路口更近？”）、計數（“有幾隻狗？”），甚至需要外部知識（“這道菜屬於哪種菜系？”）。早期 VQA 模型通常使用圖像編碼器 + 問題編碼器 + 融合模塊（如雙線性池化、注意力）+ 分類頭，輸出一個有限詞表中的答案；現代多模態大模型則直接用圖像編碼器 + LLM，在“看圖”的基礎上進行自然語言生成，在開放式回答和多輪對話上有明顯優勢。

兩者在統一的 VLM 框架下可以被視為不同的“提示模板”：

• Captioning：<圖像> + "Describe this image in one sentence." → 文本；
• VQA：<圖像> + "Q: ... A:" → 文本。

通過指令微調（Instruction Tuning），同一個多模態大模型可以兼容描述、問答、解釋、打標籤等多種任務，這也是現代 VLM 產品（多模態助手、圖像問答機器人等）的基礎工程思路。

2.7.2 圖文檢索與跨模態對齊：以文搜圖 & 以圖搜文

**圖文檢索（Cross‑modal Retrieval）**解決的是另一個高頻需求：給定一段文本，找到匹配的圖片（Text‑to‑Image Retrieval）；或給定一張圖，找到相關的文字描述、商品信息、新聞報道等（Image‑to‑Text Retrieval）。這些能力構成了“以文搜圖 / 以圖搜文”“看圖找商品”“給新聞配圖”等產品的核心。

核心技術是 跨模態對齊 ：以 CLIP 為代表的模型，對圖像和文本分別使用各自的編碼器（如 ViT 和 Transformer 文本編碼器），在大規模圖–文配對數據上使用對比學習訓練：

• 對於同一對（圖像，文本），讓它們的向量在嵌入空間中彼此靠近；
• 對於不匹配的圖–文對，則推遠它們的向量。

訓練完成後，只需將所有圖片和文本編碼成向量，就可以通過向量檢索（最近鄰搜索）在共享空間中進行快速匹配：

• Text‑to‑Image：文本 → 文本向量 → 最近的圖像向量；
• Image‑to‑Text：圖像 → 圖像向量 → 最近的文本向量。

在工程實踐中，這類模型通常採用兩階段結構：

• 第一階段用輕量快速的雙編碼器（Bi‑Encoder，如 CLIP）做粗檢索，在億級圖像庫中快速篩選出一小部分候選；
• 第二階段可選用更強的交叉編碼器（Cross‑Encoder）或多模態大模型對候選進行精排與重排序，以提升相關性和魯棒性。

在產品側，圖文檢索與跨模態對齊被廣泛用於：圖片搜索、廣告檢索（根據廣告文案找到合適圖片）、合規審核（檢查廣告圖文是否一致）、內容推薦（基於用戶閱讀文本歷史向其推薦相關圖片/視頻）等。隨著多模態大模型的興起，這類檢索能力也逐漸被統一進更大的多模態框架中，以“自然語言指令 + 多模態記憶/向量庫”的形式，對外提供統一接口。

2.8 光學字符識別（OCR）

在很多業務中，最重要的信息既不體現在“畫面裡的物體和場景”，也不在自然語言對圖像的描述裡，而是直接寫在圖像上的 文字 ：合同條款、發票金額、路牌名稱、儀表讀數、屏幕截圖上的錯誤信息等。**光學字符識別（OCR）**就是圍繞“圖像 + 文檔版式”的結構化理解任務：從複雜的視覺輸入中，自動檢測並識別文字內容，理解文檔的佈局和結構，進而支持搜索、統計、自動錄入和智能問答。

從產品視角看，OCR 是“把紙質/圖像信息變成可計算文本”的關鍵橋樑，是電子化、自動化與智能化辦公的基礎設施：合同審閱、票據入賬、政企檔案數字化、辦公軟件中的 PDF 轉 Word、文檔問答助手等，都建立在 OCR 能力之上。下面從 場景 、原理和模型三個角度梳理 OCR 體系，並在後續小節中展開核心方向。

• 場景
  • 場景文本識別：街景中店鋪招牌、路牌、廣告牌、包裝盒文案等，用於導航、搜索、零售洞察和合規審核。
  • 文檔 OCR：掃描件、傳真件、PDF、照片版合同/發票/報告等的文字識別與結構化，還原成可編輯文本。
  • 專用場景：車牌識別、儀表盤讀數（電錶、水錶、氣表）、屏幕截圖文字提取、試卷/表單識別等。
  • 文檔理解：在佈局複雜的長文檔中，抽取標題、段落、表格、註釋等結構，為搜索、摘要、問答奠定基礎。
• 原理 OCR 體系通常分成幾個關鍵步驟：
  • 文本檢測：在圖像上檢測出所有文字區域（文本行或文本塊），輸出定位框（水平或四點多邊形），這是後續識別的輸入。
  • 文本識別：對每個檢測到的文字區域進行序列識別，將像素序列轉化為字符序列（如中文、英文、數字、符號等）。
  • 版式分析（Layout Analysis）：在文檔場景中，識別各區域的角色（標題、正文、圖片、表格、頁眉頁腳等），恢復閱讀順序和層次結構。
  • 表格結構識別：對錶格區域進行行列劃分、單元格邊界解析、合併單元格恢復，重建邏輯表格結構。
  • 文檔問答（DocVQA）：在 OCR 和版式理解的基礎上，讓模型能夠回答“這份合同的付款日期是什麼？”“發票的金額是多少？”這類跨區域、多步驟推理的問題。
• 模型 工程上常見的是“專用 OCR 模塊 + 文檔理解模型 + 多模態大模型”組合：
  • 文本檢測與識別：
    • 檢測：EAST、DBNet/DBNet++ 等基於分割或邊緣學習的方法，擅長處理彎曲文本和複雜背景；
    • 識別：CRNN、RARE、SAR 等序列模型（CNN + RNN/Attention + CTC 或自迴歸解碼），支持多語種和多字體。
  • 文檔版式與結構理解：
    • LayoutLM / LayoutLMv2/v3、DocFormer 等，將文本內容（token）、位置信息（bounding box）和視覺特徵聯合編碼；
    • Donut 等“端到端文檔理解”模型，直接從圖像到結構化輸出（如 JSON / Markdown），弱化傳統 OCR 的邊界。
  • 文檔問答與多模態理解：
    • 在佈局模型基礎上，疊加任務頭進行 DocVQA；
    • 或直接使用多模態大模型（VLM）讀取文檔圖像，在自然語言層面完成問答和摘要，同時隱式利用 OCR 能力。

綜合來看，OCR 已經從早期“簡單的字符識別”發展為涵蓋文字 + 版式 + 結構 + 問答的整體文檔理解體系，是企業數字化、政務檔案管理和智能辦公的關鍵支柱。下面，我們從 文本檢測與識別 、 文檔版式與表格結構分析 、文檔問答與多模態 DocVQA三個方向展開。

2.8.1 文本檢測與識別：從像素到可用文本

OCR 的第一步是 文本檢測 ：在輸入圖像中找到所有包含文字的區域。街景/場景文本面臨字體多樣、傾斜扭曲、光照複雜、背景干擾嚴重等挑戰；文檔場景則強調對密集文本和多欄排版的魯棒支持。EAST、DBNet 等方法通過將檢測問題轉化為“像素級分割 + 邊緣學習”，在特徵圖上預測文本概率和幾何參數，再通過後處理獲得精確的文本框（可為水平框或任意四邊形/多邊形），兼顧精度和速度。

文本識別則把每個檢測出的文本區域切下來，轉化為字符序列。經典做法以 CRNN 為代表：先用 CNN 提取特徵，再通過 RNN 或 Transformer 進行序列建模，最後使用 CTC 或注意力解碼輸出字符序列。對於不定長文本、彎曲文字和複雜語言（中英文混排、多語種），識別模型需要在視覺特徵建模和字符語言建模上同時發力。諸如 RARE、SAR 等方法會引入空間變換網絡（STN）或注意力對齊機制，以糾正幾何畸變、提升對複雜佈局的適應能力。

在工程系統中，檢測與識別通常作為兩個解耦的服務組成一條 OCR pipeline：前端檢測將圖像拆成若干文本行/塊，後端識別對每個塊做字符識別，並可疊加語言模型做錯誤糾正（如拼寫修復、數字/金額校驗）。對於車牌、儀表讀數等特定場景，還會使用專門微調的檢測/識別模型，以利用場景先驗（固定字體、有限字符集）換取更高精度和更低延遲。

2.8.2 文檔版式與表格結構分析：還原“文檔的形狀”

單純把文字識別出來還不夠，尤其在長文檔、報告、合同和票據等場景中，版式結構往往決定了信息的含義和重要性：標題與正文的層級關係、圖表與配文的位置、頁眉頁腳的作用、表格內外文段的邏輯順序等。**文檔版式分析（Document Layout Analysis）**的目標，就是在二維頁面上識別出不同區域的角色和邊界，並恢復出合理的閱讀順序與層級結構。

LayoutLM / LayoutLMv2/v3、DocFormer 等模型，將每個文本 token 的內容（文本 embedding）、空間位置（bounding box 座標）以及局部視覺特徵（來自 CNN/ViT）聯合編碼，通過 Transformer 建模 token 間的語義–空間關係。通過在帶版式標註的數據集上訓練，模型可以學會區分“標題/段落/列表/表格/圖片說明/頁眉頁腳”等多種區域類型，並在輸出中給出對應標籤和層級。這類模型通常作為“中間層”，為合同審閱系統、報告解析、檔案數字化平臺提供結構化的文檔骨架。

表格結構識別（Table Structure Recognition） 是版式分析中特別關鍵的一支：它不僅要檢測出表格區域，還要進一步解析行列邊界、單元格座標和合並單元格，最終重建一份邏輯表格（通常表示為 HTML、Markdown 表、或帶座標的結構化 JSON）。實現方法包括：

• 基於規則/視覺：使用線檢測、分割網絡、對象檢測等手段提取表格線和單元格區域，再進行拓撲建圖；
• 基於 Transformer：將表格區域的文本塊與幾何信息編碼成序列，直接預測單元格結構和關聯關係。

在產品上，這些能力支撐了“PDF 轉 Word/Excel”“票據/發票結構化錄入”“報表解析與指標抽取”等高價值場景，是政企辦公自動化的關鍵組件。

2.8.3 文檔問答與 DocVQA：從“讀文檔”到“問文檔”

當 OCR 與版式分析能力足夠強時，下一步自然需求就是： 不再讓人自己翻閱文檔，而是直接“問文檔” 。這就是 文檔問答（DocVQA） ：模型在合同、報告、票據、說明書等複雜文檔上回答問題，比如“這份合同的生效日期是什麼時候？”“這頁報表中 2023 年 Q4 的淨利潤是多少？”“發票上的購方名稱是誰？”。

傳統 DocVQA 系統通常以“OCR + 版式模型 + QA 頭”的方式構建：

• 先使用 OCR 提取文本及座標；
• 用 LayoutLM / DocFormer 等建模文本–版式–視覺三模態關係；
• 最後在這個表示上疊加任務頭（分類 / 抽取 / span 預測），根據問題在文檔中定位答案或相關片段。

隨著多模態大模型的發展，越來越多系統開始直接使用“文檔圖像 + 問題”作為輸入，讓一個 VLM 或多模態 LLM 直接生成答案或帶引用的解釋。在這種架構下，OCR、版式、語義理解和推理能力在模型內部以端到端的方式協同工作：模型既能看到原始版式和視覺線索，又能利用語言世界知識和推理模式完成複雜問題的解答。

在產品形態上，DocVQA 通常以“合同審閱助手”“發票/報表問答”“長文檔智能問答”形式出現，幫助用戶從大量文檔中快速定位關鍵信息、自動生成摘要、進行條款比對等，大幅減輕人工審閱和信息檢索的負擔。

2.9 圖像生成與編輯（Image Generation & Editing）

前面介紹的視覺能力大多是“判別式”的：輸入圖像，輸出標籤、框、掩膜或文本；而近年來快速發展的另一條主線是 生成式視覺 ：模型不再只是理解圖像，而是 創造或修改圖像 ，在給定文本/圖像條件下生成高質量、多風格的視覺內容。圖像生成與編輯正是這一方向的核心能力，支撐了從 AIGC 繪圖平臺到智能修圖/特效工具的大量產品。

從業務視角看，生成式視覺已經從“技術演示”變成切實可用的生產力工具：設計師用它做靈感草圖和細化稿；營銷團隊用它批量生成海報和廣告素材；普通用戶用它製作頭像、插畫、壁紙；視頻創作者用它做摳圖、背景替換和特效。下面我們從 場景 、原理和模型三個角度梳理這一層，並在後續小節中展開文本生成圖像、圖像到圖像與編輯能力。

• 場景
  • 文本生成圖像：用戶輸入一段描述（“賽博朋克風的夜景城市”），系統自動生成符合描述的多張圖片，支持選圖與迭代修改。
  • 風格遷移與圖像翻譯：將真實照片轉換為動漫/素描/油畫/水彩風格，或在不同領域間做映射（白天 ↔ 夜晚、夏天 ↔ 冬天）。
  • 條件重繪與擴展：在原圖的局部進行重繪（Inpainting）、對畫面外擴（Outpainting），用於修補瑕疵、移除/添加對象、擴展構圖。
  • 文本驅動編輯：用自然語言指令修改圖像（“把天空改成日落”“讓這輛車變成紅色跑車”），用戶無需掌握複雜的圖像編輯軟件。
• 原理 生成式視覺模型主要通過學習“圖像分佈”和“條件控制”來完成生成與編輯：
  • 分佈建模：GAN、擴散模型（Diffusion）、Flow Matching 等從大量圖像中學習高維分佈，使得模型能從隨機噪聲中逐步“採樣”出逼真的圖像。
  • 條件生成：在純圖像分佈建模基礎上，引入文本/草圖/分割圖/關鍵點/深度圖等條件，使生成過程受到外部信號約束（Text‑to‑Image、Image‑to‑Image、ControlNet 等）。
  • 可控編輯：在已有圖像的潛在空間中，通過文本或局部 mask 對局部特徵進行引導和修改，實現局部重繪、風格變化、構圖調整等。
• 模型 當前主流圖像生成與編輯模型以擴散模型 + 條件控制為主：
  • GAN 系列：StyleGAN 等在高分辨率人臉和樣式控制方面表現突出；但訓練不穩定、難以覆蓋複雜多模態分佈。
  • 擴散模型：Stable Diffusion、Imagen、DALL·E 系列等，通過“正向加噪 + 反向去噪”的過程進行採樣，兼具質量和多樣性，是當前 Text‑to‑Image 的主力方向。
  • 可控生成與編輯：ControlNet、T2I‑Adapter 等，在基礎擴散模型上疊加條件通道（邊緣、姿態、分割等），實現精確控制；結合文本引導的 Inpainting/Outpainting 實現局部編輯和畫面擴展。
  • Flow Matching 與新一代生成模型：通過學習連續流場將噪聲分佈變換到圖像分佈，在效率、可控性與穩定性上探索新的平衡。

在產品層面，這些技術以即夢、阿里 qwen 圖像模型、FLUX、OpenAI 或者 Gemini nanobanana、Stable Diffusion 生態、Photoshop Generative Fill、Canva AI、剪映/CapCut 智能摳圖與特效等形態面向用戶，逐步從“玩具”演進為內容生產鏈條中的正式環節。下面，我們從 文本生成圖像 、圖像到圖像翻譯和文本驅動編輯三個方向展開。

2.9.1 文本生成圖像（Text‑to‑Image）：從一句話到一張畫

文本生成圖像（Text‑to‑Image） 的核心任務是：給定一段自然語言描述，生成一張儘可能匹配其語義和風格的圖像。現代 Text‑to‑Image 模型主要基於擴散架構：

• 首先使用文本編碼器（如 CLIP Text Encoder 或 T5/LLM）將輸入文本編碼為條件向量；
• 然後在圖像潛空間中，從高噪聲狀態開始，通過多步反向去噪採樣，在每一步都利用文本條件引導生成方向；
• 最終得到符合描述的高分辨率圖像，可進一步放大或後處理。

Stable Diffusion、Imagen、DALL·E 系列等方法在大規模圖–文對上進行訓練，使模型既掌握視覺譜系（形狀、紋理、構圖、光影），又獲得一定程度的語言–視覺對齊能力（理解“風格”“材質”“構圖”等複雜描述）。在產品層面，這種能力讓“不會畫畫的人也能畫圖”：用戶只需用自然語言描述想法，系統就能給出多種視覺實現，支持迭代試探和細化。

Text‑to‑Image 模型通常同時支持多風格、多分辨率輸出：通過在訓練或推理時加入風格 token、尺寸條件等，使同一個模型在“寫實照片風、扁平插畫風、3D 渲染風”等不同風格之間切換。工程上常用的技巧包括：

• 文本提示工程（Prompt Engineering），用於細化和穩定輸出風格；
• LoRA / DreamBooth 等輕量微調技術，在通用模型上快速適配特定人物、IP 或品牌風格。

2.9.2 圖像到圖像（Image‑to‑Image）：翻譯、風格遷移與局部重繪

Image‑to‑Image 任務在給定輸入圖像的基礎上，生成另一個“受其約束”的圖像版本：既保留原圖的整體結構或內容，又實現某種轉換或增強。典型形態包括：

• 圖像翻譯 / 風格遷移：在不同視覺域之間進行映射，如“照片 → 動漫”“夏天 → 冬天”“白天 → 夜晚”“素描 → 彩色圖像”。早期多基於 GAN（CycleGAN、Pix2Pix 等），現在也可以用擴散模型在條件控制下完成。
• 條件生成：以草圖、分割圖、深度圖、邊緣圖等為條件，通過 ControlNet、T2I‑Adapter 等模塊引導擴散過程，讓生成圖嚴格遵守幾何/佈局條件，同時在紋理、光影、風格上自由發揮。
• Inpainting / Outpainting：在原圖上劃定某個區域，將其視為待重繪部分（inpainting），或在畫面外延展生成新內容（outpainting），實現“填坑”“擴圖”等操作。

這類任務的關鍵是 在保留約束的前提下創造新內容 。擴散模型在這方面表現突出：在 inpainting 中，模型只對 mask 區域進行採樣，而在未被遮擋的區域保持原圖不變，通過語義理解與上下文信息，使新內容與周圍區域在風格與光影上自然融合。對於風格遷移，模型在保留輸入結構的同時，從目標風格分佈中採樣紋理和顏色，實現“換殼不換骨”。

在產品裡，Image‑to‑Image 能力支撐了大量創意工具：風格濾鏡、漫畫化、一鍵天空替換、自動美顏、舊照修復、局部修圖等，通常以高度可視化的界面呈現給用戶。

2.9.3 文本驅動圖像編輯：自然語言當“畫筆”

在傳統圖像編輯軟件中，用戶需要掌握圖層、蒙版、選區、濾鏡等一整套專業概念；而文本驅動圖像編輯（Text‑guided Editing） 嘗試用自然語言替代大部分專業操作：

• “把背景換成夜晚城市天際線”；
• “讓這個人穿黑色西裝”；
• “把這輛車變成藍色跑車，增加運動模糊效果”。

技術上，文本驅動編輯通常建立在 Text‑to‑Image 擴散模型之上，通過幾種方式實現：

• 在原圖附近的潛空間中搜索或採樣，使編輯後的圖與原圖保持高相似度，只在受文本影響的局部發生變化；
• 使用顯式 mask（用戶圈定區域），將編輯範圍限制在特定區域（這就是許多工具中的“選中區域後輸入文本指令”）；
• 引入“指令控制”模塊（如 ControlNet、可學習控制 token），增強模型對編輯請求的可控性與穩定性。

即夢、FLUX、阿里 qwen 圖像模型、Stable Diffusion 生態、Canva AI 等產品都提供了類似能力：用戶通過簡單文字和少量交互即可完成複雜編輯。對專業用戶而言，這成為加速創作流程的“智能助手”；對普通用戶而言，則極大降低了圖像編輯的門檻。

2.10 圖像質量評估（Image Quality Assessment, IQA）

在底層視覺增強、壓縮編碼、圖像生成與編輯等任務中，我們經常需要回答一個看似主觀的問題： “這張圖看起來好不好？” 。手工檢查顯然無法規模化，而像 PSNR 這類傳統指標又常常與人眼主觀感受不一致。圖像質量評估（Image Quality Assessment, IQA） 的目標，就是建立一套自動化機制，對圖像的主觀/客觀質量進行評分或排序，成為連接“底層算法輸出”和“用戶真實體驗”的關鍵環節。

從系統角度看，IQA 是很多流水線中的“看門人”和“調參參考”：電商/內容平臺用它篩掉模糊、噪聲重、壓縮過度的上傳圖片；手機相機/相冊用它在連拍中挑出“最好的一張”；雲端增強和壓縮服務用它進行前後對比評估，以指導模型迭代。下面從 場景 、原理和模型三個維度梳理 IQA，並在後續小節中展開評估類型與指標/學習範式。

• 場景
  • 上傳質檢與審核：對用戶上傳的圖片/視頻做質量評分，過濾嚴重模糊、曝光異常、噪聲明顯和壓縮偽影嚴重的內容。
  • 智能選片與去重：在手機相冊、相機應用中，從多張相似照片中選擇清晰度、表情、構圖更好的版本，同時識別質量差或冗餘圖片用於清理。
  • 增強/壓縮算法評估：在圖像增強、降噪、超分辨率、編解碼等算法 A/B 測試中，用 IQA 指標客觀衡量“哪種策略更好”，輔助參數搜索與模型選擇。
  • 海報/縮略圖自動選取：在視頻或多圖集合中自動選擇視覺質量和吸引力更高的幀作為封面或海報候選。
• 原理 IQA 的核心是從兩個維度刻畫圖像質量：相對於參考圖的失真程度與 人眼主觀感知的好壞 ：
  • 全參考 IQA（FR‑IQA）：在有高質量參考圖的前提下，將待評估圖與參考圖進行逐像素或特徵對比，衡量失真程度，用於算法研發和實驗評估。
  • 無參考 IQA（NR‑IQA / Blind IQA）：實際場景中更常見，沒有參考圖，只能從單張圖的統計特徵或深度特徵中推斷質量，需要模型從大量圖像與主觀評分中學習到“人眼喜歡什麼樣的圖”。
  • 偽參考 / 降採樣參考：在某些場景中，可以使用壓縮前的低分辨率版本、模型預測的“理想圖”等作為近似參考，兼顧可實現性與評估精度。
• 模型 IQA 模型大致分為傳統手工特徵指標與**深度學習****式質量預測**兩大類：
  • 傳統指標：
    • FR‑IQA：PSNR、SSIM、MS‑SSIM、FSIM 等，側重結構、對比度和相位信息，對簡單退化（如加噪、模糊）較敏感。
    • 感知指標：LPIPS、DISTS 等，在深度特徵空間衡量圖像間感知差異，與人眼主觀感受有更高相關性。
  • 無參考 / 學習式 IQA：
    • 早期方法：BRISQUE、NIQE、BLIINDS 系列等，從自然場景統計（NSS）和手工特徵出發，訓練淺層模型預測質量分數。
    • 深度 NR‑IQA：RankIQA、DBCNN、HyperIQA、MUSIQ 等，直接用 CNN / ViT 從圖像中抽取特徵，並在 MOS（Mean Opinion Score，主觀評分均值）數據上監督訓練，使輸出質量分數儘可能擬合人眼評價。
    • 預訓練表徵：利用 CLIP、ViT 等大模型的特徵，作為質量預測網絡的輸入或 backbone，在有限 MOS 數據上微調，提升對複雜失真類型的泛化能力。

整體來看，IQA 並不是“越高越好”的單一指標，而是一套與具體業務目標相關的評估體系：在某些場景（如監控增強）中，保留細節和可識別性比視覺自然更重要；在內容創作平臺中，主觀觀感和審美標準則佔主導。因此，工業界常見做法是：在通用 IQA 模型基礎上，通過少量業務數據微調或學習加權，構建“任務感知”的質量評估器。

2.10.1 評估類型：有參考、無參考與偽參考

按照是否存在高質量參考圖，IQA 可以分為三類： 全參考（FR‑IQA） 、 無參考（NR‑IQA）和偽參考 。

在 全參考 IQA 中，我們假設存在一張理想的高質量參考圖像，待評估圖是其經過壓縮、傳輸或處理後的退化版本。模型通過對兩者進行逐像素或特徵級比較，量化失真程度。PSNR 是最簡單的度量（基於均方誤差），SSIM/MS‑SSIM/FSIM 等進一步考慮亮度、對比度、結構或相位信息，在一定程度上更接近人眼感受。這類指標非常適合在算法開發階段評估編解碼、超分辨率、去噪等方法，但在真實業務中往往缺乏參考圖，應用場景有限。

無參考 IQA（Blind IQA） 是實際系統中更常見的設定：只有待評估圖像本身，沒有任何參考。早期無參考方法（如 BRISQUE、NIQE、BLIINDS 等）主要基於自然場景統計：假設高質量自然圖像在某些統計分佈上有穩定形態，失真會引起統計特徵變化，從而可以訓練模型根據這些特徵預測質量分數。深度學習時代，NR‑IQA 模型通常直接利用 CNN / ViT 提取特徵，並在帶有人眼主觀評分（MOS）的數據集上回歸質量分數或學習排序關係，使其能夠覆蓋噪聲、模糊、壓縮偽影、曝光異常等多種失真類型。

偽參考 / 降採樣參考 IQA 介於兩者之間：在沒有真正高質量參考的情況下，使用某種可獲得的近似版本（如壓縮前低分辨率圖、模型預測的“乾淨圖”）作為參考，對退化程度進行估計。這種方式常見於在線視頻質量監控、編解碼優化任務中，可以在成本與精度之間取得平衡。

2.10.2 指標與學習範式：從 PSNR 到感知質量預測

在具體實現層面，IQA 採用多種指標和學習範式來逼近人眼主觀感受。

傳統指標方面：

• PSNR 直接基於像素級誤差，簡單高效，但對人眼不敏感的變化（如輕微平移、結構保持的濾波）也會給出較大懲罰；
• SSIM、MS‑SSIM、FSIM 等從亮度、對比度、結構、相位等多個維度建模圖像相似性，對結構性失真更敏感，也一定程度反映人眼對結構信息的偏好。

感知指標方面：LPIPS、DISTS 等通過在預訓練深度網絡（VGG、AlexNet、ViT 等）內部特徵層計算向量差異，並按照不同層的重要性加權，得到一種“特徵空間中的距離”，與主觀感知相似性有更高相關性。它們特別適合作為生成式任務（超分、生成、編輯）的訓練目標或評估指標，用來衡量“看起來像不像”。

學習式質量預測方面，深度 NR‑IQA 模型（如 RankIQA、DBCNN、HyperIQA、MUSIQ 等）直接對圖像打分或排序：

• 訓練數據中，每張圖像附帶一組主觀評分（MOS），模型以此為監督訓練質量回歸或排序網絡；
• 模型結構上，多采用 CNN/ViT + 全局池化 + MLP 輸出質量分數，或輸出一組質量分佈再取期望；
• 有些方法還利用對比學習或排序學習（pairwise ranking），讓模型更關注“相對好/壞”的關係，而不是絕對分數。

隨著大規模預訓練視覺模型的普及，越來越多 IQA 方法採用“預訓練 Backbone + 輕量頭”的範式：利用 CLIP、ViT 等豐富的視覺表徵，在較少 MOS 數據上進行微調，從而在跨失真類型、跨場景上保持良好的泛化。

在工程落地中，通常會將上述多種指標組合使用：例如 FR‑IQA 指標用於實驗階段評估算法改進；深度 NR‑IQA 模型用於線上實時質檢；感知指標用於生成任務的內部優化。通過 A/B 實驗將這些自動指標與真實用戶數據（點擊率、完播率、投訴率等）對齊，逐步構建起與業務目標高度相關的“感知質量度量體系”。