AI 原生开放教材

外观

Easy-Vibe（Datawhale：从零做出真实产品）课时教程·中英混排原文 ↗原件 ↓仓库 ↗

本节课你将学到 ​

  • AI 能力全景：从文本、图像、音频、视频、3D 到多模态、Agent、RAG、安全与平台工程的整体能力划分思路
  • 各能力对应的模型与产品：了解 Embedding、OCR、ASR、TTS、VLM、RAG 等关键能力背后的代表性模型与服务
  • 能力到场景的映射方法：掌握如何将“能力清单”转化为产品内容、搜索问答、智能客服、自动化运营等具体应用

完成本手册的学习后，你将对主流 AI 能力建立起入门级的系统化认知，不仅知道“市面上有哪些能力、常配哪些产品”，更能理解它们在整体架构中的位置和相互关系。知道在面对具体业务需求时，如何快速定位所需能力、做出有依据的选型，为构建 AI 能力体系打下坚实基础。

手册中涉及的模型参数 ​

在进入具体能力地图之前，先澄清一个经常被提到、但又有点抽象的概念：到底什么算大模型？什么算小模型？

从学术上看 ，大模型通常指参数量在几十亿、上百亿乃至万亿级别的通用模型，小模型则是针对特定任务或场景、参数量更小（几千万到几亿级）的专用模型。

从价格上看 ，如果一个模型的 API 调用非常便宜，比如按调用计费几厘钱、几分钱，或者只按每千 tokens 几厘到几分，而且没有特别强调通用大模型，那通常要么是典型的小模型（例如专门做 OCR、ASR、图片分类、内容审核的模型），要么是参数量较小的轻量版大模型（专门为了高并发、低成本做了压缩或蒸馏）。 如果单次调用价格明显偏高，比如一次调用就要几角甚至 1 元起步，那么大概率是大模型。

此外，如果产品文案里面会明确强调使用了大语言模型 LLM、通用大模型、多模态大模型，或提到端到端地完成从输入到输出的复杂任务（比如端到端对话机器人、端到端检索问答、端到端视频生成），那通常就可以把它视作是大模型。

相反，如果宣传重点在于某一个垂直能力，比如银行卡识别、发票识别、车牌识别、广告点击率预测、语音转写、内容安全审核，说明这个产品底层更可能是一个或一组小模型。

因此，在本文接下来的叙述中可以做个务实的约定：

  • 大模型更多指那类通用、可对话、可编程、往往价格略高的模型（包括它们的多模态版本，比如 GPT-4o、Gemini 1.5 Pro、Claude 3.5 Sonnet 等），它们能覆盖大部分通用文本、代码以及图像、音频、视频等多模态任务；
  • 小模型则指那些为某个特定任务精调或定制的模型，通常价格更便宜、性能更稳定可控，但适用范围更窄，需要你在系统里主动组合与编排。

这里不妨补充一个关键的行业变化：手册中提到的很多模型能力，在 2021 年之前其实都是由 “小模型” 来承接的。针对特定场景、特定数据训练专属模型，以此满足精准需求。而如今，绝大多数通用场景和任务已经可以直接调用大模型来解决 。

从精度与成本的极致追求来看，小模型的训练与应用依然有其不可替代的价值；但对于入门者而言，我们完全可以从学会找到并调用大模型 API 开始 ，再逐步深入高阶玩法。你只需要在成本、精度和延迟之间做权衡，再决定哪里要用通用大模型，哪里继续保留或引入专用小模型。

从一些常见产品认识常用的文本和多模态通用大模型：

  • OpenAI 系列：GPT-4、GPT-4.1、GPT-4o、GPT-5.1 等
  • Google 系列：Gemini 1.5 Pro、Gemini 1.5 Flash 等
  • Anthropic 系列：Claude 3.5 Sonnet、Claude 3.5 Haiku 等
  • 国内模型：通义千问 Qwen 系列、文心一言 ERNIE Bot 系列、GLM/智谱清言、腾讯混元、讯飞星火、月之暗面的 Kimi 背后的大模型、MiniMax MiniMax-M2.7 系列等

更偏视觉和视频方向的大模型和服务，包括：

  • 图像生成：DALL·E、Midjourney、Stable Diffusion、SDXL、Flux 等
  • 多模态视觉理解：GPT-4o、GPT-4.1 with Vision、Gemini 1.5（图文多模态）、Claude 3.5 Sonnet Vision、LLaVA 等
  • 视频生成：Sora、Kling、Runway Gen-2、Pika、Luma、Veo 等

语音和音频方向的大模型，包括：

  • 语音识别 ASR：Whisper 系列（Whisper、Whisper-large-v3 等）、Deepgram、各家云厂商的端到端 ASR 大模型（如讯飞、百度、火山、阿里等）
  • 语音多模态与语音对话：GPT-4o（端到端语音对话）、OpenAI Realtime、Gemini 1.5 的音频理解能力等
  • TTS / 音频与音乐生成：OpenAI TTS、ElevenLabs、Suno、Udio、MusicGen 等

3D / 空间方向的生成与理解模型，包括：

  • 文生 3D 和图生 3D：DreamFusion、Shap-E、GET3D、Zero-1-to-3、TripoSR 等
  • NeRF / 神经渲染家族：Instant-NGP、NeRF 系列、Gaussian Splatting 相关模型等