3. 3D / 空间模态（3D / Spatial / XR）
随着应用从“平面图像/视频”走向自动驾驶、机器人、AR/VR/XR 等场景，系统不再满足于只看“2D 像素”，而是需要理解 真实世界的三维结构、尺度和位姿关系 。这类任务统称为 3D / 空间模态：既包括对几何与拓扑的精确建模，也包括在 3D 空间中的语义理解、定位导航与内容生成。它一端连接 LiDAR、RGB‑D、IMU 等多种传感器，另一端连接自动驾驶感知模块、机器人导航系统、ARKit/ARCore 环境模型、手机 3D 扫描建模应用以及数字孪生平台等。
3.1 3D 感知与重建（3D Perception & Reconstruction）
在 2D 视觉里，我们只看到了“拍成照片后的世界”；而在自动驾驶、机器人、AR/VR 等场景中，更关键的是： 真实世界在 3D 空间中的位置、形状和结构 。3D 感知与重建就是要从多种传感器（相机、LiDAR、深度相机等）出发，恢复环境的三维几何信息，并以点云、体素、网格（Mesh）、隐式场等形式表达出来，为路径规划、物理仿真、数字孪生和 3D 内容生成提供基础。
在工程实践中，这一层涵盖从点云处理到多视角几何重建再到神经辐射场 / 神经场渲染等多个技术方向，对应着自动驾驶 3D 感知模块、ARKit/ARCore 环境建模、手机 3D 扫描/建模应用以及数字孪生城市/园区建模平台等产品形态。下面从 场景 、 原理 、模型三个角度展开，并进一步细分几个关键子方向。
- 场景
- 自动驾驶与辅助驾驶：从车载 LiDAR 点云和多摄像头图像中感知车辆、行人、路沿、车道线、交通设施等 3D 结构，用于路径规划和安全决策。
- 室内/室外环境扫描：利用手机/平板（结构光 / ToF / 双目）或手持扫描仪采集多视角数据，实时构建房间、楼宇、街区的 3D 模型，用于 AR 建模、家装设计、数字孪生。
- 数字孪生与 BIM：将实际工厂、园区、城市通过多视角影像和点云重建成高精度 3D 模型，用于运维管理、仿真与可视化。
- 消费级 3D 扫描：手机 3D 扫描 App、一键“拍照变 3D 模型”工具，为 3D 打印、虚拟试穿、游戏/影视资产制作提供原始几何。
- 原理
- 点云处理：将 LiDAR 或多视角重建得到的稀疏/稠密点集合视作 3D 采样点集，对其进行滤波、配准、下采样和特征学习，再做分类、语义/实例分割或 3D 目标检测。
- 多视角几何与三维重建：通过 SfM（Structure‑from‑Motion）估计多张图像之间的相机位姿和稀疏 3D 点云，再通过 MVS（Multi‑View Stereo）生成稠密点云，随后进行网格重建与纹理贴图。
- 神经辐射场 / 神经隐式场：使用 NeRF、Instant‑NGP、Gaussian Splatting 等方法，把 3D 场景表示为连续的体密度/颜色场或高斯粒子集合，通过体渲染或光栅化生成图像，从多视图监督中学习；训练好后可以进行新视角渲染和几何提取。
- 模型
- 点云网络：PointNet / PointNet++、PointCNN、DGCNN、MinkowskiNet 等直接在点或稀疏体素上学习特征，用于点云分类、分割与 3D 检测。自动驾驶中常用 VoxelNet、SECOND、CenterPoint 等 3D 检测框架，将点云转换为体素或 BEV（鸟瞰图）特征后进行检测。
- 几何重建工具链：COLMAP、OpenMVG / OpenMVS 等传统 SfM/MVS 系统，可从多视角照片恢复相机位姿和稠密点云，构建出高质量 Mesh。
- 神经场重建与渲染：NeRF / Instant‑NGP、Gaussian Splatting 及大量改进模型，把场景编码在神经网络或高斯云中，实现高保真的新视角合成与 3D 场景重建，并逐步形成工程化产品。业界也出现了如「混元 3D」「Tripo」这类面向开发者和内容生产的 3D AI 服务，将 NeRF/高斯等技术封装成云端 API 或交互工具。
从这一层开始，传统几何与深度学习、隐式表示与显式网格密切交织，既要解决「如何准确还原真实世界」的问题，又要兼顾实时性和可用性，服务更上层的 3D 场景理解、3D 生成与编辑。
3.1.1 点云处理与 3D 目标检测
对于自动驾驶、机器人和高精度测绘而言，LiDAR 点云是最关键的 3D 传感信息之一。点云是一组三维坐标（有时附带反射强度、时间戳等）构成的稀疏点集，没有规则的栅格结构，给传统卷积带来了挑战。点云处理的目标，是从这些非结构化的点中提取有用的几何与语义信息，例如“这里是一辆车”“这里是路沿/地面”“这里是一栋建筑物”。
在点云分类与分割任务中，我们往往关注：某个点（或点簇）属于哪一类结构，如车、行人、地面、路沿、建筑、植被等，或者对场景做语义/实例分割。从建模方式看，可以粗略分为三类：
- 直接点云网络：PointNet / PointNet++、PointCNN、DGCNN 等直接在点集上定义“对点集排列不敏感”的运算，通过局部邻域聚合构建层级特征，适合中小规模点云的分类与分割。
- 体素与稀疏卷积：将点云栅格化为 3D 体素，再用稀疏 3D CNN（如 VoxelNet、MinkowskiNet）进行卷积，兼顾结构规整性与空间稀疏性，在自动驾驶 3D 检测中应用广泛。
- 投影与多视图：将点云投影到 BEV（鸟瞰图）、前视深度图或多视角视图，再用 2D CNN 提取特征，相对易于与成熟的 2D 检测网络结合。
在3D 目标检测中，目标不再是单纯地给点打标签，而是要预测 3D 边界框（位置、尺寸、朝向）及其类别，这是自动驾驶环境感知的核心。典型方法如 VoxelNet、SECOND、PointPillars 和 CenterPoint 等，它们通常将点云转换为体素或柱状表示，在 BEV 或 3D 空间上进行检测回归。CenterPoint 等方法通过“中心点检测”范式，直接在 BEV 上检测目标中心及其尺寸/方向，兼具精度和速度。随着深度学习与传感器硬件的演进，3D 检测已能在车规级芯片上实现实时推理，成为自动驾驶感知栈的基础模块之一。
3.1.2 多视角几何与三维重建：从照片到 Mesh
如果没有 LiDAR，是否仍能“看懂”3D？答案是可以的——多视角几何与三维重建依赖的是“多张照片 + 摄像机运动”。通过在不同视角拍摄同一场景，我们可以利用几何约束恢复相机位姿和空间结构，这就是经典的 SfM/MVS 管线。
SfM（Structure‑from‑Motion） 主要解决两个问题：
- 从多张成对或多视角图像中，估计每一张图像的相机外参（位置和朝向）；
- 在统一坐标系下恢复一组稀疏 3D 特征点。
典型工具如 COLMAP、OpenMVG，通过特征提取与匹配（SIFT/ORB 等）、增量或全局 BA（Bundle Adjustment），可以从无标定图像集合中自动恢复稀疏点云和相机位姿。 在此基础上，MVS（Multi‑View Stereo） 会利用多视角的光度一致性，生成稠密点云：对每个像素/视线进行深度估计，逐步填充场景的几何细节。
获得稠密点云后，下一步是 网格重建（Mesh Reconstruction） ：
- 通过 Poisson Surface Reconstruction、Marching Cubes 或基于学习的方法，将散乱的点云“包裹”成连续曲面，形成带拓扑结构的 Mesh。
- 后续通常还会进行孔洞填补、平滑、边界优化，并进行纹理贴图（Texture Mapping），得到可直接用于渲染和编辑的 3D 模型。
在产品形态上，这一整套管线已通过桌面软件、云服务和 SDK 的形式下沉。例如：手机上的 3D 扫描应用，会在后台调用类似 SfM/MVS 的流程，给用户“绕一圈拍照”或“扫一圈视频”之后自动输出一个可导入到游戏引擎的网格模型；数字孪生平台则在城市/园区尺度上，用航摄影像 + 街景数据跑大规模重建，生成可交互的 3D 场景。
3.1.3 神经辐射场与体渲染：NeRF、Gaussian 与新一代 3D 重建
传统的 SfM/MVS/网格重建，可以得到结构良好的显式几何，但在渲染质量、视角连续性和细节表现上仍有局限；而神经辐射场（NeRF）及其后续工作则以隐式场 + 体渲染的方式重新定义了 3D 重建和新视角合成。
在 NeRF 中，整个 3D 场景被建模为一个连续函数：
$$ F_\theta(\mathbf{x}, \mathbf{d}) = (\sigma, \mathbf{c}) $$
其中 $\mathbf{x}$ 表示三维空间中的点位置，$\mathbf{d}$ 表示观察方向，$\sigma$ 表示体密度，$\mathbf{c}$ 表示颜色，$\theta$ 为网络参数。
给定三维空间中的一个点位置 x 和观察方向 d，网络会输出该点对应的体密度 σ 与颜色 c。沿着相机视线方向对这个映射函数做体渲染积分运算，我们就能得到该相机位姿下的像素颜色；反过来，只要给定一组多视角照片及其相机参数，我们就能通过最小化渲染结果与真实图像的误差，求解出模型的参数 θ。待模型训练完成后，只需改变相机位姿，就能合成那些 “从未被真实拍摄过” 的新视角图像（Novel View Synthesis）。
传统 NeRF 训练和渲染速度都偏慢，后续如 Instant‑NGP 通过多分辨率哈希网格编码等手段，大幅加快了收敛与推理速度；Gaussian Splatting 则用 3D 高斯粒子替代表达场景，通过高效的光栅化策略，实现了高质量、实时的新视角渲染。与此同时，大量工作还围绕 NeRF/高斯做了可编辑、多模态、可组合等扩展，使其逐渐从研究原型走向工程体系。
在产品化层面，NeRF/高斯类技术已经嵌入到多种 3D AI 产品中：
- 手机/PC 端的“多视角视频 → 3D 场景”工具，底层往往基于神经场或高斯粒子完成重建和渲染；
- 游戏/影视资产管线中，利用神经场进行快速场景捕捉和光照还原，再导出为 Mesh + 纹理供传统 DCC 工具使用；
- 各大云厂商和内容平台推出的 3D AI 服务，如腾讯系的「混元 3D」、Tripo 等，通常支持“多视图照片/短视频 → 可编辑 3D 模型/场景”，在内部则综合运用神经辐射场、SDF/Gaussian 表示与后续显式重建，把高质量 3D 结果打包为对开发者友好的 API 或交互式产品。
3.2 3D 场景理解与定位（3D Scene Understanding & SLAM）
如果说 3D 感知与重建回答的是“这个世界长什么样”，那么 3D 场景理解与定位则进一步回答：“ 我在这个世界的哪里？这个世界中哪些地方可以走，哪些是障碍？ ” 对于扫地机器人、AGV 机器人、无人机、AR 导航和室内定位系统来说，能够在 3D 环境中自定位、自建图、自主规划路径，是生存的前提。
这部分工作主要围绕3D 语义理解与**SLAM（Simultaneous Localization and Mapping）**展开：前者在重建的 3D 场景中进行语义分割和可通行区域识别，后者则利用视觉/IMU/LiDAR 等传感器进行相机/机器人位姿估计与地图构建。在工程上，这一层通常以 SDK 或算法模块的形式嵌入到机器人底盘、无人机飞控或移动端 AR 引擎中。
- 场景
- 家用与服务机器人：扫地机器人、送餐/巡检机器人在室内环境中构建地图、识别房间类型和障碍物，实现自动规划清扫或巡逻路径。
- 仓储与物流：AGV/AMR 机器人在仓库中进行自主导航，识别货架、通道与禁入区域，完成搬运和盘点任务。
- 无人机与户外机器人：在室外环境中构建 3D 地图，避开建筑、树木、电线等障碍，执行巡检、测绘与安防任务。
- AR 导航与室内定位：手机/AR 眼镜通过 SLAM 获取相机位姿，并在语义地图上叠加导航箭头、房间信息和 POI，实现沉浸式导览与导航。
- 原理
- 3D 语义分割与场景理解：在点云或体素表示上进行语义分割，区分墙壁、地面、桌椅、货架、门窗等结构，同时识别可通行区域和障碍物，为导航和行为决策提供语义层信息。
- 位姿估计与 SLAM：通过 Visual SLAM（单目/双目 / RGB‑D）或 LiDAR‑SLAM，从连续传感数据中估计相机/机器人的 6D 位姿，处理回环检测与地图优化，必要时融合 IMU、轮速、GNSS 等多源信息提高鲁棒性。
- 地图构建与导航：在局部/全局地图上叠加几何和语义信息，形成 2D/3D/拓扑/语义地图，并在此基础上进行路径规划、避障和任务分配。
- 模型
- SLAM 系统：经典的特征点法 ORB‑SLAM 系列、直接法 DSO，以及融合惯导的 VINS‑Mono / VINS‑Fusion，通过前端特征跟踪 + 后端优化实现精确位姿估计与稠密/半稠密地图。LiDAR/视觉‑LiDAR 融合中常见 LIO‑SAM 等框架。
- 3D 语义分割网络：3D U‑Net、MinkowskiNet 等 3D CNN，以及基于点云的 PointNet++ / KPConv / SparseConv 系列，用于点云/体素的语义分割与实例分割。
- 多传感器融合定位：基于图优化或滤波（EKF/UKF）的方法，将视觉、IMU、LiDAR、里程计等多源信息在统一状态空间中融合，提升在恶劣光照、纹理缺失或动态环境中的定位稳定性。
整体上，3D 场景理解与定位构成了机器人“能动起来”的基础：既要在复杂三维世界中构建可靠的自我定位框架，又要让地图变得“有意义”，从而支持高层任务规划与人机交互。
3.2.1 3D 语义分割与可通行区域理解
在纯几何地图中，所有结构只是无差别的点/体素；而在真实应用中，我们关心的是：哪里是地面、哪里是墙、哪里有桌子或货架、哪里可以通行。3D 语义分割就是要为每一个点或体素赋予语义标签，将“纯几何”转化为“几何 + 语义”。
在室内/室外场景中，典型目标包括：
- 固定结构：墙、地面、天花板、楼梯、柱子、道路、路沿等；
- 家具与设施：桌椅、柜子、货架、门窗、扶手等；
- 可通行/不可通行区域：机器人可行走区域、需绕行的障碍物、禁入区域等。
建模上，3D 语义分割常采用：
- 体素/稀疏卷积方案：把点云体素化后，用 3D U‑Net、MinkowskiNet 等稀疏 CNN 学习体素级特征，兼顾局部细节和全局结构。
- 点云直接方案：PointNet++、KPConv 等点云网络，对局部邻域做特征聚合，实现点级别的语义预测。
在扫地机器人、AGV 机器人等应用中，语义分割的结果会被进一步抽象成 语义地图 ：例如把房间划分为卧室/客厅/厨房，把仓库内空间划分为货架区域/通道/禁行区。机器人不仅知道“哪里可以走”，还可以根据房间类型定制不同策略（如卧室避开地毯区域、仓库中优先覆盖某些货区）。
3.2.2 位姿估计、SLAM 与多传感器融合定位
SLAM（Simultaneous Localization and Mapping） 的目标是：在未知环境中，一边移动一边估计自身轨迹，同时构建环境地图。对于没有高精度外部定位（如 RTK‑GNSS）支持的室内环境来说，SLAM 是绝大多数机器人和 AR 引擎的首选方案。
在视觉 SLAM 中，以 ORB‑SLAM、DSO、VINS‑Mono/VINS‑Fusion 为代表的方法，通常分为几个关键模块：
- 前端：从连续图像中提取和跟踪关键点/图像块，估计相邻帧之间的相对位姿。
- 后端：在滑动窗口或全局图中进行 BA 或图优化，处理漂移、回环检测与重定位。
- 地图：根据位姿和深度信息构建稠密或半稠密地图，为后续导航或渲染提供基础。
纯视觉在纹理缺失、光照剧烈变化时容易失效，因此实践中一般会采用 多传感器融合定位 ：
- 视觉 + IMU：VINS‑Mono/VINS‑Fusion 等框架将 IMU 的高频短时精度与视觉的尺度和几何约束结合，大幅提高短时和急转弯场景的稳定性。
- LiDAR + IMU + 视觉：如 LIO‑SAM 等里程计框架在 LiDAR‑SLAM 中引入惯导与可选视觉信息，利用三者互补的特性实现鲁棒定位，在自动驾驶和高精度测绘中广泛使用。
在产品层面，这些方法通常被封装为机器人底盘控制器、无人机飞控、AR 引擎（如 ARKit/ARCore 中的 Visual‑Inertial SLAM）或室内定位 SDK 的一部分，对上层应用屏蔽了复杂的状态估计和图优化逻辑，让开发者可以直接拿到“实时位姿 + 地图”。
3.2.3 语义地图、导航与避障
有了稳定的位姿估计和几何/语义地图，下一步是让机器人“聪明地动起来”。这部分主要涉及 语义地图构建、路径规划和避障 。
- 语义地图构建 ：在几何地图上叠加语义信息（房间类型、POI、区域标签），形成适合高层决策的地图表征。例如：
- 家庭场景中，将地图划分为卧室、客厅、厨房、卫生间等区域；
- 仓储场景中，标注货架位置、装卸区、危险区域等；
- 大型商场/展馆中，标注店铺、服务台、洗手间等 POI，用于 AR 导航和导览。
- 路径规划与避障 ：在地图上构建栅格图或拓扑图，利用 A*、D* Lite、RRT 等规划算法为机器人找到从起点到目标点的可行路径；同时结合实时感知（前方障碍物、动态行人/车辆），进行局部重规划和避障，保证运行安全与效率。
- 导航行为与任务调度 ：在 AGV 机器人和无人机中，还会在导航之上叠加任务调度与多机协同模块：分配任务、避免拥堵、优化整体路径与能耗。
AR 导航与室内定位系统本质上也依赖类似的语义地图和路径规划，只不过“执行者”从机器人变成了人：系统通过 SLAM 获取用户设备的位姿，在语义地图上规划行走路径，再以增强现实的形式把路径可视化叠加到真实世界视图中。
3.3 3D 生成与编辑（3D Generation & Editing）
如果说 3D 感知和 SLAM 是从真实世界“采集并理解”几何，那么 3D 生成与编辑则是站在内容生产的角度： 如何用 AI 自动生产和改造 3D 资产 。这直接面向游戏、影视、数字人、虚拟空间、电商展示、3D 打印等巨大的内容需求。
最近两三年，随着 NeRF/Gaussian、SDF 表示、多模态扩散模型等技术的突破，3D 生成进入快速发展期：从文本、图像、视频一键生成 3D 模型或场景已经成为现实，各大云厂商和创业团队推出了如「混元 3D」、Tripo、DreamFusion / Magic3D 系列方法落地为在线工具，使 3D 生产逐渐向“人人可用”的方向演进。3D 生成与编辑大致可以拆成四类能力：文生 3D、图/视频生 3D、模型优化与编辑，以及绑定与动画。
- 场景
- 游戏 / 影视资产制作：为角色、道具、建筑、场景快速生成可用的 3D 模型，大幅降低美术工作量。
- 电商与产品展示：根据产品文案或照片自动生成 3D 展示模型，用于 3D 看样、AR 试摆、交互式广告。
- 数字人与虚拟内容：快速生成虚拟人、虚拟试衣模特、虚拟主播场景等 3D 资产，支持直播、短视频和互动应用。
- 3D 打印与个性化建模：从草图/照片/文本生成可打印模型，实现个性化礼品、原型设计与教育场景应用。
- 原理
- 文生 3D（Text‑to‑3D）：将文本描述编码为语义向量，再通过多阶段优化或扩散过程生成 3D 表示（NeRF/SDF/Gaussian/Mesh），通常借助强大的 2D 文生图模型做“评分器”或先验。
- 图 / 视频生 3D：利用单张或多张图像、多视角视频作为监督，结合 NeRF、SDF 或隐式/显式混合表示，重建出带几何和纹理的 3D 模型。
- 3D 模型优化与编辑：对已有模型进行重拓扑、简模、细节增强、LOD 生成、UV 展开和贴图生成，以及基于语言/图像的形变与风格化。
- 绑定与动画：为 3D 角色自动推断骨骼结构并完成 Rigging，支持骨骼动画和物理模拟（布料、软体、刚体），形成可驱动的动态资产。
- 模型
- 3D 生成基础表示：NeRF / Instant‑NGP、SDF（隐式表面）、Gaussian Splatting 以及 Mesh‑based 生成网络，构成 3D 数据的表达空间。
- Text‑to‑3D 方法：DreamFusion、Magic3D、Fantasia3D 等典型路线，通过“2D 文生图模型 + 3D 优化”或“3D 扩散模型”完成从文本到 3D 的端到端生成，为后来的混元 3D、Tripo 等产品奠定技术基础。
- 图/视频生 3D 模型：基于 NeRF/SDF/Gaussian 的重建与优化框架，从多视图一致性和单视图先验中恢复稳定的 3D 几何与纹理。
- 绑定与动画算法：自动骨骼提取、骨骼权重预测、基于深度学习的 Retargeting 与运动生成，为虚拟人/角色动画提供一键化工具。
在这一层，传统 3D DCC（Maya/Blender/3ds Max 等）与 AI 工具链逐步融合：许多 3D AI 服务以插件或云端接口的形式嵌入现有生产流程，让建模师/美术可以在人机协作中迅速迭代资产。
3.3.1 文生 3D 与场景草模
文生 3D（Text‑to‑3D） 的目标是：给出一句自然语言描述，例如“一个卡通风格的黄色小鸭玩具，带有蓝色围巾，适合儿童玩具展示”，系统自动生成一个可编辑的 3D 模型（Mesh/NeRF/SDF/Gaussian 等）。这是将大语言模型/多模态模型与 3D 表示结合的典型应用。
典型技术路径包括：
- 基于 2D 文生图模型的优化 （如 DreamFusion、Magic3D）：
- 使用强大的 Text‑to‑Image 模型（如扩散模型）作为“评估器”，给定 3D 表示在某一视角下渲染出的图像，评估它与文本描述的匹配程度。
- 通过梯度优化或扩散过程，迭代调整 3D 表示（NeRF/SDF/Mesh），使得从多个视角渲染出的图像都符合文本语义。
- 3D 扩散模型 / 直接生成 ：
- 将 3D 数据（点云、体素、隐式场参数、Gaussian 粒子等）作为扩散模型的生成目标，在大规模 3D 数据集上预训练；
- 通过文本条件控制，实现端到端的 Text‑to‑3D 采样。
在场景级别，场景草模能力允许用户用自然语言或粗略草图描述空间布局，例如“一个带落地窗的客厅，左边一张 L 型沙发，中间一张茶几，右侧有书架和电视柜”，系统自动搭建出一个几何和语义合理的 3D 布局草图。后续可以在 DCC 工具中细化模型与材质，或直接通过混元 3D、Tripo 等工具中的“场景生成”能力快速产出可用的场景原型。
当前，多家平台已经推出面向设计师和开发者的 Text‑to‑3D 产品：
- 「混元 3D」等将文生 3D、多视图生成与重建能力整合进统一界面，支持从文本快速生成角色、道具和场景再导出到游戏引擎；
- Tripo 类产品则强调“多模态输入 + 一键 3D 输出”，支持简单文本和参考图像混合，引导生成满足风格与结构需求的 3D 资产。
3.3.2 图 / 视频生 3D 与模型优化编辑
与纯文本相比，从图像或视频生成 3D 模型对几何约束更强，在视觉上一致性也更好。因此，大量 3D AI 产品支持 图生 3D / 视频生 3D ：
- 单张照片 → 粗 3D：利用单视图先验（如人脸、人体、常见物体类别的形状先验），推断大致的 3D 几何，生成可用于预览或简单交互的 3D 模型。
- 多张照片 / 短视频 → 高质量 3D：综合使用 NeRF/SDF/Gaussian 重建、多视角几何和后处理，将数十张照片或几秒钟视频转换为高保真的 3D 模型，适合游戏/影视资产或高质量电商展示。
生成出 3D 几何只是第一步，后续还需要大量模型优化与编辑工作：
- 重拓扑与简模：将隐式场或高多边形 Mesh 转换为结构规整、面数可控的拓扑，以便于绑定、动画和实时渲染。
- LOD 生成：自动生成多级细节模型（Level of Detail），在远处用低模、近处用高模，兼顾画质与性能。
- UV 展开与贴图生成：自动为模型展开 UV、生成或优化法线贴图、位移贴图、粗糙度/金属度贴图等 PBR 材质；有些模型还支持从文本或参考图自动生成风格化纹理。
- 几何与风格编辑：基于语言或示例图进行局部修改，如“让这个椅子腿变短一点”“把这栋楼改成赛博朋克风格”，底层通常通过形状潜空间操作或神经场编辑实现。
混元 3D、Tripo 等产品往往将上述流程打通：用户从照片/视频或简单文本出发，系统内部完成重建、重拓扑、贴图与导出，让非专业用户也能在几分钟内获得“即插即用”的 3D 模型，大幅缩短从概念到资产的时间。
3.3.3 绑定、动画与动态 3D 资产
静态模型只是内容的一半，“能动起来”的 3D 资产在游戏、影视、虚拟人和交互应用中更为关键。这涉及骨骼绑定（Rigging）、权重绘制、动画与物理模拟等环节，传统上都是高门槛的专业工作，如今也逐渐被 AI 工具辅助甚至半自动完成。
- 自动 Rigging ：给定一个角色 Mesh，系统自动推断骨骼层级结构（脊柱、四肢、手指等）和骨骼在模型中的位置，并预测每个顶点相对于各个骨骼的权重。近年来的深度学习方法可以在大规模带骨骼标注的角色数据集上学习这一映射，实现一键骨骼绑定。
- 动画与动作生成 ：在已有骨骼上叠加动作数据（Mocap 或 AI 生成），完成走路、跑步、表情、手势等动画；基于深度学习的动作生成与 Retargeting 可以将视频中的人体动作或其他角色的动作迁移到新角色上。
- 物理模拟 ：对布料、软体、刚体等进行物理模拟，使头发、衣服、旗帜、柔软物体的运动更自然。有些系统利用神经网络加速或近似物理，使实时引擎中的物理效果更逼真。
在产品与生态上，这些能力常常内嵌于：
- 游戏 / 影视资产工具链：为建模师提供一键 Rigging、自动权重分配和基础动作库，大幅减少重复劳动；
- 虚拟人 / 数字资产制作平台：从人物照片或扫描开始，经由 3D 重建 + 自动 Rigging + 动作驱动，输出可在直播、短视频、互动应用中驱动的虚拟人；
- 3D AI 平台（如混元 3D、Tripo 及同类产品）：在 3D 生成之后，进一步增加绑定与简单动画功能，让用户“生成的角色可以立刻动起来”，而不需要复杂的 DCC 工具操作。
随着 3D 生成与编辑技术的成熟，整个 3D 内容生产流程正在从“以专业 DCC 工具为中心”演化为“AI 驱动的人机协作”：AI 负责生成与大量基础工作，人类更多在风格定义、品控和关键设计节点上做决策。混元 3D、Tripo 等新一代 3D AI 产品正是这一趋势的集中体现，为上层的游戏、影视、AR/VR、数字孪生和虚拟人应用提供了更快、更易用的 3D 基础设施。