3. 3D / 空間模態（3D / Spatial / XR）
隨著應用從“平面圖像/視頻”走向自動駕駛、機器人、AR/VR/XR 等場景，系統不再滿足於只看“2D 像素”，而是需要理解 真實世界的三維結構、尺度和位姿關係 。這類任務統稱為 3D / 空間模態：既包括對幾何與拓撲的精確建模，也包括在 3D 空間中的語義理解、定位導航與內容生成。它一端連接 LiDAR、RGB‑D、IMU 等多種傳感器，另一端連接自動駕駛感知模塊、機器人導航系統、ARKit/ARCore 環境模型、手機 3D 掃描建模應用以及數字孿生平臺等。
3.1 3D 感知與重建（3D Perception & Reconstruction）
在 2D 視覺裡，我們只看到了“拍成照片後的世界”；而在自動駕駛、機器人、AR/VR 等場景中，更關鍵的是： 真實世界在 3D 空間中的位置、形狀和結構 。3D 感知與重建就是要從多種傳感器（相機、LiDAR、深度相機等）出發，恢復環境的三維幾何信息，並以點雲、體素、網格（Mesh）、隱式場等形式表達出來，為路徑規劃、物理仿真、數字孿生和 3D 內容生成提供基礎。
在工程實踐中，這一層涵蓋從點雲處理到多視角幾何重建再到神經輻射場 / 神經場渲染等多個技術方向，對應著自動駕駛 3D 感知模塊、ARKit/ARCore 環境建模、手機 3D 掃描/建模應用以及數字孿生城市/園區建模平臺等產品形態。下面從 場景 、 原理 、模型三個角度展開，並進一步細分幾個關鍵子方向。
- 場景
- 自動駕駛與輔助駕駛：從車載 LiDAR 點雲和多攝像頭圖像中感知車輛、行人、路沿、車道線、交通設施等 3D 結構，用於路徑規劃和安全決策。
- 室內/室外環境掃描：利用手機/平板（結構光 / ToF / 雙目）或手持掃描儀採集多視角數據，實時構建房間、樓宇、街區的 3D 模型，用於 AR 建模、家裝設計、數字孿生。
- 數字孿生與 BIM：將實際工廠、園區、城市通過多視角影像和點雲重建成高精度 3D 模型，用於運維管理、仿真與可視化。
- 消費級 3D 掃描：手機 3D 掃描 App、一鍵“拍照變 3D 模型”工具，為 3D 打印、虛擬試穿、遊戲/影視資產製作提供原始幾何。
- 原理
- 點雲處理：將 LiDAR 或多視角重建得到的稀疏/稠密點集合視作 3D 採樣點集，對其進行濾波、配準、下采樣和特徵學習，再做分類、語義/實例分割或 3D 目標檢測。
- 多視角幾何與三維重建：通過 SfM（Structure‑from‑Motion）估計多張圖像之間的相機位姿和稀疏 3D 點雲，再通過 MVS（Multi‑View Stereo）生成稠密點雲，隨後進行網格重建與紋理貼圖。
- 神經輻射場 / 神經隱式場：使用 NeRF、Instant‑NGP、Gaussian Splatting 等方法，把 3D 場景表示為連續的體密度/顏色場或高斯粒子集合，通過體渲染或光柵化生成圖像，從多視圖監督中學習；訓練好後可以進行新視角渲染和幾何提取。
- 模型
- 點雲網絡：PointNet / PointNet++、PointCNN、DGCNN、MinkowskiNet 等直接在點或稀疏體素上學習特徵，用於點雲分類、分割與 3D 檢測。自動駕駛中常用 VoxelNet、SECOND、CenterPoint 等 3D 檢測框架，將點雲轉換為體素或 BEV（鳥瞰圖）特徵後進行檢測。
- 幾何重建工具鏈：COLMAP、OpenMVG / OpenMVS 等傳統 SfM/MVS 系統，可從多視角照片恢復相機位姿和稠密點雲，構建出高質量 Mesh。
- 神經場重建與渲染：NeRF / Instant‑NGP、Gaussian Splatting 及大量改進模型，把場景編碼在神經網絡或高斯雲中，實現高保真的新視角合成與 3D 場景重建，並逐步形成工程化產品。業界也出現瞭如「混元 3D」「Tripo」這類面向開發者和內容生產的 3D AI 服務，將 NeRF/高斯等技術封裝成雲端 API 或交互工具。
從這一層開始，傳統幾何與深度學習、隱式表示與顯式網格密切交織，既要解決「如何準確還原真實世界」的問題，又要兼顧實時性和可用性，服務更上層的 3D 場景理解、3D 生成與編輯。
3.1.1 點雲處理與 3D 目標檢測
對於自動駕駛、機器人和高精度測繪而言，LiDAR 點雲是最關鍵的 3D 傳感信息之一。點雲是一組三維座標（有時附帶反射強度、時間戳等）構成的稀疏點集，沒有規則的柵格結構，給傳統卷積帶來了挑戰。點雲處理的目標，是從這些非結構化的點中提取有用的幾何與語義信息，例如“這裡是一輛車”“這裡是路沿/地面”“這裡是一棟建築物”。
在點雲分類與分割任務中，我們往往關注：某個點（或點簇）屬於哪一類結構，如車、行人、地面、路沿、建築、植被等，或者對場景做語義/實例分割。從建模方式看，可以粗略分為三類：
- 直接點雲網絡：PointNet / PointNet++、PointCNN、DGCNN 等直接在點集上定義“對點集排列不敏感”的運算，通過局部鄰域聚合構建層級特徵，適合中小規模點雲的分類與分割。
- 體素與稀疏卷積：將點雲柵格化為 3D 體素，再用稀疏 3D CNN（如 VoxelNet、MinkowskiNet）進行卷積，兼顧結構規整性與空間稀疏性，在自動駕駛 3D 檢測中應用廣泛。
- 投影與多視圖：將點雲投影到 BEV（鳥瞰圖）、前視深度圖或多視角視圖，再用 2D CNN 提取特徵，相對易於與成熟的 2D 檢測網絡結合。
在3D 目標檢測中，目標不再是單純地給點打標籤，而是要預測 3D 邊界框（位置、尺寸、朝向）及其類別，這是自動駕駛環境感知的核心。典型方法如 VoxelNet、SECOND、PointPillars 和 CenterPoint 等，它們通常將點雲轉換為體素或柱狀表示，在 BEV 或 3D 空間上進行檢測迴歸。CenterPoint 等方法通過“中心點檢測”範式，直接在 BEV 上檢測目標中心及其尺寸/方向，兼具精度和速度。隨著深度學習與傳感器硬件的演進，3D 檢測已能在車規級芯片上實現實時推理，成為自動駕駛感知棧的基礎模塊之一。
3.1.2 多視角幾何與三維重建：從照片到 Mesh
如果沒有 LiDAR，是否仍能“看懂”3D？答案是可以的——多視角幾何與三維重建依賴的是“多張照片 + 攝像機運動”。通過在不同視角拍攝同一場景，我們可以利用幾何約束恢復相機位姿和空間結構，這就是經典的 SfM/MVS 管線。
SfM（Structure‑from‑Motion） 主要解決兩個問題：
- 從多張成對或多視角圖像中，估計每一張圖像的相機外參（位置和朝向）；
- 在統一座標系下恢復一組稀疏 3D 特徵點。
典型工具如 COLMAP、OpenMVG，通過特徵提取與匹配（SIFT/ORB 等）、增量或全局 BA（Bundle Adjustment），可以從無標定圖像集合中自動恢復稀疏點雲和相機位姿。 在此基礎上，MVS（Multi‑View Stereo） 會利用多視角的光度一致性，生成稠密點雲：對每個像素/視線進行深度估計，逐步填充場景的幾何細節。
獲得稠密點雲後，下一步是 網格重建（Mesh Reconstruction） ：
- 通過 Poisson Surface Reconstruction、Marching Cubes 或基於學習的方法，將散亂的點雲“包裹”成連續曲面，形成帶拓撲結構的 Mesh。
- 後續通常還會進行孔洞填補、平滑、邊界優化，並進行紋理貼圖（Texture Mapping），得到可直接用於渲染和編輯的 3D 模型。
在產品形態上，這一整套管線已通過桌面軟件、雲服務和 SDK 的形式下沉。例如：手機上的 3D 掃描應用，會在後臺調用類似 SfM/MVS 的流程，給用戶“繞一圈拍照”或“掃一圈視頻”之後自動輸出一個可導入到遊戲引擎的網格模型；數字孿生平臺則在城市/園區尺度上，用航攝影像 + 街景數據跑大規模重建，生成可交互的 3D 場景。
3.1.3 神經輻射場與體渲染：NeRF、Gaussian 與新一代 3D 重建
傳統的 SfM/MVS/網格重建，可以得到結構良好的顯式幾何，但在渲染質量、視角連續性和細節表現上仍有侷限；而神經輻射場（NeRF）及其後續工作則以隱式場 + 體渲染的方式重新定義了 3D 重建和新視角合成。
在 NeRF 中，整個 3D 場景被建模為一個連續函數：
$$ F_\theta(\mathbf{x}, \mathbf{d}) = (\sigma, \mathbf{c}) $$
其中 $\mathbf{x}$ 表示三維空間中的點位置，$\mathbf{d}$ 表示觀察方向，$\sigma$ 表示體密度，$\mathbf{c}$ 表示顏色，$\theta$ 為網絡參數。
給定三維空間中的一個點位置 x 和觀察方向 d，網絡會輸出該點對應的體密度 σ 與顏色 c。沿著相機視線方向對這個映射函數做體渲染積分運算，我們就能得到該相機位姿下的像素顏色；反過來，只要給定一組多視角照片及其相機參數，我們就能通過最小化渲染結果與真實圖像的誤差，求解出模型的參數 θ。待模型訓練完成後，只需改變相機位姿，就能合成那些 “從未被真實拍攝過” 的新視角圖像（Novel View Synthesis）。
傳統 NeRF 訓練和渲染速度都偏慢，後續如 Instant‑NGP 通過多分辨率哈希網格編碼等手段，大幅加快了收斂與推理速度；Gaussian Splatting 則用 3D 高斯粒子替代表達場景，通過高效的光柵化策略，實現了高質量、實時的新視角渲染。與此同時，大量工作還圍繞 NeRF/高斯做了可編輯、多模態、可組合等擴展，使其逐漸從研究原型走向工程體系。
在產品化層面，NeRF/高斯類技術已經嵌入到多種 3D AI 產品中：
- 手機/PC 端的“多視角視頻 → 3D 場景”工具，底層往往基於神經場或高斯粒子完成重建和渲染；
- 遊戲/影視資產管線中，利用神經場進行快速場景捕捉和光照還原，再導出為 Mesh + 紋理供傳統 DCC 工具使用；
- 各大雲廠商和內容平臺推出的 3D AI 服務，如騰訊系的「混元 3D」、Tripo 等，通常支持“多視圖照片/短視頻 → 可編輯 3D 模型/場景”，在內部則綜合運用神經輻射場、SDF/Gaussian 表示與後續顯式重建，把高質量 3D 結果打包為對開發者友好的 API 或交互式產品。
3.2 3D 場景理解與定位（3D Scene Understanding & SLAM）
如果說 3D 感知與重建回答的是“這個世界長什麼樣”，那麼 3D 場景理解與定位則進一步回答：“ 我在這個世界的哪裡？這個世界中哪些地方可以走，哪些是障礙？ ” 對於掃地機器人、AGV 機器人、無人機、AR 導航和室內定位系統來說，能夠在 3D 環境中自定位、自建圖、自主規劃路徑，是生存的前提。
這部分工作主要圍繞3D 語義理解與**SLAM（Simultaneous Localization and Mapping）**展開：前者在重建的 3D 場景中進行語義分割和可通行區域識別，後者則利用視覺/IMU/LiDAR 等傳感器進行相機/機器人位姿估計與地圖構建。在工程上，這一層通常以 SDK 或算法模塊的形式嵌入到機器人底盤、無人機飛控或移動端 AR 引擎中。
- 場景
- 家用與服務機器人：掃地機器人、送餐/巡檢機器人在室內環境中構建地圖、識別房間類型和障礙物，實現自動規劃清掃或巡邏路徑。
- 倉儲與物流：AGV/AMR 機器人在倉庫中進行自主導航，識別貨架、通道與禁入區域，完成搬運和盤點任務。
- 無人機與戶外機器人：在室外環境中構建 3D 地圖，避開建築、樹木、電線等障礙，執行巡檢、測繪與安防任務。
- AR 導航與室內定位：手機/AR 眼鏡通過 SLAM 獲取相機位姿，並在語義地圖上疊加導航箭頭、房間信息和 POI，實現沉浸式導覽與導航。
- 原理
- 3D 語義分割與場景理解：在點雲或體素表示上進行語義分割，區分牆壁、地面、桌椅、貨架、門窗等結構，同時識別可通行區域和障礙物，為導航和行為決策提供語義層信息。
- 位姿估計與 SLAM：通過 Visual SLAM（單目/雙目 / RGB‑D）或 LiDAR‑SLAM，從連續傳感數據中估計相機/機器人的 6D 位姿，處理迴環檢測與地圖優化，必要時融合 IMU、輪速、GNSS 等多源信息提高魯棒性。
- 地圖構建與導航：在局部/全局地圖上疊加幾何和語義信息，形成 2D/3D/拓撲/語義地圖，並在此基礎上進行路徑規劃、避障和任務分配。
- 模型
- SLAM 系統：經典的特徵點法 ORB‑SLAM 系列、直接法 DSO，以及融合慣導的 VINS‑Mono / VINS‑Fusion，通過前端特徵跟蹤 + 後端優化實現精確位姿估計與稠密/半稠密地圖。LiDAR/視覺‑LiDAR 融合中常見 LIO‑SAM 等框架。
- 3D 語義分割網絡：3D U‑Net、MinkowskiNet 等 3D CNN，以及基於點雲的 PointNet++ / KPConv / SparseConv 系列，用於點雲/體素的語義分割與實例分割。
- 多傳感器融合定位：基於圖優化或濾波（EKF/UKF）的方法，將視覺、IMU、LiDAR、里程計等多源信息在統一狀態空間中融合，提升在惡劣光照、紋理缺失或動態環境中的定位穩定性。
整體上，3D 場景理解與定位構成了機器人“能動起來”的基礎：既要在複雜三維世界中構建可靠的自我定位框架，又要讓地圖變得“有意義”，從而支持高層任務規劃與人機交互。
3.2.1 3D 語義分割與可通行區域理解
在純幾何地圖中，所有結構只是無差別的點/體素；而在真實應用中，我們關心的是：哪裡是地面、哪裡是牆、哪裡有桌子或貨架、哪裡可以通行。3D 語義分割就是要為每一個點或體素賦予語義標籤，將“純幾何”轉化為“幾何 + 語義”。
在室內/室外場景中，典型目標包括：
- 固定結構：牆、地面、天花板、樓梯、柱子、道路、路沿等；
- 傢俱與設施：桌椅、櫃子、貨架、門窗、扶手等；
- 可通行/不可通行區域：機器人可行走區域、需繞行的障礙物、禁入區域等。
建模上，3D 語義分割常採用：
- 體素/稀疏卷積方案：把點雲體素化後，用 3D U‑Net、MinkowskiNet 等稀疏 CNN 學習體素級特徵，兼顧局部細節和全局結構。
- 點雲直接方案：PointNet++、KPConv 等點雲網絡，對局部鄰域做特徵聚合，實現點級別的語義預測。
在掃地機器人、AGV 機器人等應用中，語義分割的結果會被進一步抽象成 語義地圖 ：例如把房間劃分為臥室/客廳/廚房，把倉庫內空間劃分為貨架區域/通道/禁行區。機器人不僅知道“哪裡可以走”，還可以根據房間類型定製不同策略（如臥室避開地毯區域、倉庫中優先覆蓋某些貨區）。
3.2.2 位姿估計、SLAM 與多傳感器融合定位
SLAM（Simultaneous Localization and Mapping） 的目標是：在未知環境中，一邊移動一邊估計自身軌跡，同時構建環境地圖。對於沒有高精度外部定位（如 RTK‑GNSS）支持的室內環境來說，SLAM 是絕大多數機器人和 AR 引擎的首選方案。
在視覺 SLAM 中，以 ORB‑SLAM、DSO、VINS‑Mono/VINS‑Fusion 為代表的方法，通常分為幾個關鍵模塊：
- 前端：從連續圖像中提取和跟蹤關鍵點/圖像塊，估計相鄰幀之間的相對位姿。
- 後端：在滑動窗口或全局圖中進行 BA 或圖優化，處理漂移、迴環檢測與重定位。
- 地圖：根據位姿和深度信息構建稠密或半稠密地圖，為後續導航或渲染提供基礎。
純視覺在紋理缺失、光照劇烈變化時容易失效，因此實踐中一般會採用 多傳感器融合定位 ：
- 視覺 + IMU：VINS‑Mono/VINS‑Fusion 等框架將 IMU 的高頻短時精度與視覺的尺度和幾何約束結合，大幅提高短時和急轉彎場景的穩定性。
- LiDAR + IMU + 視覺：如 LIO‑SAM 等里程計框架在 LiDAR‑SLAM 中引入慣導與可選視覺信息，利用三者互補的特性實現魯棒定位，在自動駕駛和高精度測繪中廣泛使用。
在產品層面，這些方法通常被封裝為機器人底盤控制器、無人機飛控、AR 引擎（如 ARKit/ARCore 中的 Visual‑Inertial SLAM）或室內定位 SDK 的一部分，對上層應用屏蔽了複雜的狀態估計和圖優化邏輯，讓開發者可以直接拿到“實時位姿 + 地圖”。
3.2.3 語義地圖、導航與避障
有了穩定的位姿估計和幾何/語義地圖，下一步是讓機器人“聰明地動起來”。這部分主要涉及 語義地圖構建、路徑規劃和避障 。
- 語義地圖構建 ：在幾何地圖上疊加語義信息（房間類型、POI、區域標籤），形成適合高層決策的地圖表徵。例如：
- 家庭場景中，將地圖劃分為臥室、客廳、廚房、衛生間等區域；
- 倉儲場景中，標註貨架位置、裝卸區、危險區域等；
- 大型商場/展館中，標註店鋪、服務檯、洗手間等 POI，用於 AR 導航和導覽。
- 路徑規劃與避障 ：在地圖上構建柵格圖或拓撲圖，利用 A*、D* Lite、RRT 等規劃算法為機器人找到從起點到目標點的可行路徑；同時結合實時感知（前方障礙物、動態行人/車輛），進行局部重規劃和避障，保證運行安全與效率。
- 導航行為與任務調度 ：在 AGV 機器人和無人機中，還會在導航之上疊加任務調度與多機協同模塊：分配任務、避免擁堵、優化整體路徑與能耗。
AR 導航與室內定位系統本質上也依賴類似的語義地圖和路徑規劃，只不過“執行者”從機器人變成了人：系統通過 SLAM 獲取用戶設備的位姿，在語義地圖上規劃行走路徑，再以增強現實的形式把路徑可視化疊加到真實世界視圖中。
3.3 3D 生成與編輯（3D Generation & Editing）
如果說 3D 感知和 SLAM 是從真實世界“採集並理解”幾何，那麼 3D 生成與編輯則是站在內容生產的角度： 如何用 AI 自動生產和改造 3D 資產 。這直接面向遊戲、影視、數字人、虛擬空間、電商展示、3D 打印等巨大的內容需求。
最近兩三年，隨著 NeRF/Gaussian、SDF 表示、多模態擴散模型等技術的突破，3D 生成進入快速發展期：從文本、圖像、視頻一鍵生成 3D 模型或場景已經成為現實，各大雲廠商和創業團隊推出瞭如「混元 3D」、Tripo、DreamFusion / Magic3D 系列方法落地為在線工具，使 3D 生產逐漸向“人人可用”的方向演進。3D 生成與編輯大致可以拆成四類能力：文生 3D、圖/視頻生 3D、模型優化與編輯，以及綁定與動畫。
- 場景
- 遊戲 / 影視資產製作：為角色、道具、建築、場景快速生成可用的 3D 模型，大幅降低美術工作量。
- 電商與產品展示：根據產品文案或照片自動生成 3D 展示模型，用於 3D 看樣、AR 試擺、交互式廣告。
- 數字人與虛擬內容：快速生成虛擬人、虛擬試衣模特、虛擬主播場景等 3D 資產，支持直播、短視頻和互動應用。
- 3D 打印與個性化建模：從草圖/照片/文本生成可打印模型，實現個性化禮品、原型設計與教育場景應用。
- 原理
- 文生 3D（Text‑to‑3D）：將文本描述編碼為語義向量，再通過多階段優化或擴散過程生成 3D 表示（NeRF/SDF/Gaussian/Mesh），通常藉助強大的 2D 文生圖模型做“評分器”或先驗。
- 圖 / 視頻生 3D：利用單張或多張圖像、多視角視頻作為監督，結合 NeRF、SDF 或隱式/顯式混合表示，重建出帶幾何和紋理的 3D 模型。
- 3D 模型優化與編輯：對已有模型進行重拓撲、簡模、細節增強、LOD 生成、UV 展開和貼圖生成，以及基於語言/圖像的形變與風格化。
- 綁定與動畫：為 3D 角色自動推斷骨骼結構並完成 Rigging，支持骨骼動畫和物理模擬（布料、軟體、剛體），形成可驅動的動態資產。
- 模型
- 3D 生成基礎表示：NeRF / Instant‑NGP、SDF（隱式表面）、Gaussian Splatting 以及 Mesh‑based 生成網絡，構成 3D 數據的表達空間。
- Text‑to‑3D 方法：DreamFusion、Magic3D、Fantasia3D 等典型路線，通過“2D 文生圖模型 + 3D 優化”或“3D 擴散模型”完成從文本到 3D 的端到端生成，為後來的混元 3D、Tripo 等產品奠定技術基礎。
- 圖/視頻生 3D 模型：基於 NeRF/SDF/Gaussian 的重建與優化框架，從多視圖一致性和單視圖先驗中恢復穩定的 3D 幾何與紋理。
- 綁定與動畫算法：自動骨骼提取、骨骼權重預測、基於深度學習的 Retargeting 與運動生成，為虛擬人/角色動畫提供一鍵化工具。
在這一層，傳統 3D DCC（Maya/Blender/3ds Max 等）與 AI 工具鏈逐步融合：許多 3D AI 服務以插件或雲端接口的形式嵌入現有生產流程，讓建模師/美術可以在人機協作中迅速迭代資產。
3.3.1 文生 3D 與場景草模
文生 3D（Text‑to‑3D） 的目標是：給出一句自然語言描述，例如“一個卡通風格的黃色小鴨玩具，帶有藍色圍巾，適合兒童玩具展示”，系統自動生成一個可編輯的 3D 模型（Mesh/NeRF/SDF/Gaussian 等）。這是將大語言模型/多模態模型與 3D 表示結合的典型應用。
典型技術路徑包括：
- 基於 2D 文生圖模型的優化 （如 DreamFusion、Magic3D）：
- 使用強大的 Text‑to‑Image 模型（如擴散模型）作為“評估器”，給定 3D 表示在某一視角下渲染出的圖像，評估它與文本描述的匹配程度。
- 通過梯度優化或擴散過程，迭代調整 3D 表示（NeRF/SDF/Mesh），使得從多個視角渲染出的圖像都符合文本語義。
- 3D 擴散模型 / 直接生成 ：
- 將 3D 數據（點雲、體素、隱式場參數、Gaussian 粒子等）作為擴散模型的生成目標，在大規模 3D 數據集上預訓練；
- 通過文本條件控制，實現端到端的 Text‑to‑3D 採樣。
在場景級別，場景草模能力允許用戶用自然語言或粗略草圖描述空間佈局，例如“一個帶落地窗的客廳，左邊一張 L 型沙發，中間一張茶几，右側有書架和電視櫃”，系統自動搭建出一個幾何和語義合理的 3D 佈局草圖。後續可以在 DCC 工具中細化模型與材質，或直接通過混元 3D、Tripo 等工具中的“場景生成”能力快速產出可用的場景原型。
當前，多家平臺已經推出面向設計師和開發者的 Text‑to‑3D 產品：
- 「混元 3D」等將文生 3D、多視圖生成與重建能力整合進統一界面，支持從文本快速生成角色、道具和場景再導出到遊戲引擎；
- Tripo 類產品則強調“多模態輸入 + 一鍵 3D 輸出”，支持簡單文本和參考圖像混合，引導生成滿足風格與結構需求的 3D 資產。
3.3.2 圖 / 視頻生 3D 與模型優化編輯
與純文本相比，從圖像或視頻生成 3D 模型對幾何約束更強，在視覺上一致性也更好。因此，大量 3D AI 產品支持 圖生 3D / 視頻生 3D ：
- 單張照片 → 粗 3D：利用單視圖先驗（如人臉、人體、常見物體類別的形狀先驗），推斷大致的 3D 幾何，生成可用於預覽或簡單交互的 3D 模型。
- 多張照片 / 短視頻 → 高質量 3D：綜合使用 NeRF/SDF/Gaussian 重建、多視角幾何和後處理，將數十張照片或幾秒鐘視頻轉換為高保真的 3D 模型，適合遊戲/影視資產或高質量電商展示。
生成出 3D 幾何只是第一步，後續還需要大量模型優化與編輯工作：
- 重拓撲與簡模：將隱式場或高多邊形 Mesh 轉換為結構規整、面數可控的拓撲，以便於綁定、動畫和實時渲染。
- LOD 生成：自動生成多級細節模型（Level of Detail），在遠處用低模、近處用高模，兼顧畫質與性能。
- UV 展開與貼圖生成：自動為模型展開 UV、生成或優化法線貼圖、位移貼圖、粗糙度/金屬度貼圖等 PBR 材質；有些模型還支持從文本或參考圖自動生成風格化紋理。
- 幾何與風格編輯：基於語言或示例圖進行局部修改，如“讓這個椅子腿變短一點”“把這棟樓改成賽博朋克風格”，底層通常通過形狀潛空間操作或神經場編輯實現。
混元 3D、Tripo 等產品往往將上述流程打通：用戶從照片/視頻或簡單文本出發，系統內部完成重建、重拓撲、貼圖與導出，讓非專業用戶也能在幾分鐘內獲得“即插即用”的 3D 模型，大幅縮短從概念到資產的時間。
3.3.3 綁定、動畫與動態 3D 資產
靜態模型只是內容的一半，“能動起來”的 3D 資產在遊戲、影視、虛擬人和交互應用中更為關鍵。這涉及骨骼綁定（Rigging）、權重繪製、動畫與物理模擬等環節，傳統上都是高門檻的專業工作，如今也逐漸被 AI 工具輔助甚至半自動完成。
- 自動 Rigging ：給定一個角色 Mesh，系統自動推斷骨骼層級結構（脊柱、四肢、手指等）和骨骼在模型中的位置，並預測每個頂點相對於各個骨骼的權重。近年來的深度學習方法可以在大規模帶骨骼標註的角色數據集上學習這一映射，實現一鍵骨骼綁定。
- 動畫與動作生成 ：在已有骨骼上疊加動作數據（Mocap 或 AI 生成），完成走路、跑步、表情、手勢等動畫；基於深度學習的動作生成與 Retargeting 可以將視頻中的人體動作或其他角色的動作遷移到新角色上。
- 物理模擬 ：對布料、軟體、剛體等進行物理模擬，使頭髮、衣服、旗幟、柔軟物體的運動更自然。有些系統利用神經網絡加速或近似物理，使實時引擎中的物理效果更逼真。
在產品與生態上，這些能力常常內嵌於：
- 遊戲 / 影視資產工具鏈：為建模師提供一鍵 Rigging、自動權重分配和基礎動作庫，大幅減少重複勞動；
- 虛擬人 / 數字資產製作平臺：從人物照片或掃描開始，經由 3D 重建 + 自動 Rigging + 動作驅動，輸出可在直播、短視頻、互動應用中驅動的虛擬人；
- 3D AI 平臺（如混元 3D、Tripo 及同類產品）：在 3D 生成之後，進一步增加綁定與簡單動畫功能，讓用戶“生成的角色可以立刻動起來”，而不需要複雜的 DCC 工具操作。
隨著 3D 生成與編輯技術的成熟，整個 3D 內容生產流程正在從“以專業 DCC 工具為中心”演化為“AI 驅動的人機協作”：AI 負責生成與大量基礎工作，人類更多在風格定義、品控和關鍵設計節點上做決策。混元 3D、Tripo 等新一代 3D AI 產品正是這一趨勢的集中體現，為上層的遊戲、影視、AR/VR、數字孿生和虛擬人應用提供了更快、更易用的 3D 基礎設施。