AI 原生开放教材

外观

Easy-Vibe（Datawhale：从零做出真实产品）课时教程·中英混排原文 ↗原件 ↓仓库 ↗

本節課你將學到 ​

  • AI 能力全景：從文本、圖像、音頻、視頻、3D 到多模態、Agent、RAG、安全與平臺工程的整體能力劃分思路
  • 各能力對應的模型與產品：瞭解 Embedding、OCR、ASR、TTS、VLM、RAG 等關鍵能力背後的代表性模型與服務
  • 能力到場景的映射方法：掌握如何將“能力清單”轉化為產品內容、搜索問答、智能客服、自動化運營等具體應用

完成本手冊的學習後，你將對主流 AI 能力建立起入門級的系統化認知，不僅知道“市面上有哪些能力、常配哪些產品”，更能理解它們在整體架構中的位置和相互關係。知道在面對具體業務需求時，如何快速定位所需能力、做出有依據的選型，為構建 AI 能力體系打下堅實基礎。

手冊中涉及的模型參數 ​

在進入具體能力地圖之前，先澄清一個經常被提到、但又有點抽象的概念：到底什麼算大模型？什麼算小模型？

從學術上看 ，大模型通常指參數量在幾十億、上百億乃至萬億級別的通用模型，小模型則是針對特定任務或場景、參數量更小（幾千萬到幾億級）的專用模型。

從價格上看 ，如果一個模型的 API 調用非常便宜，比如按調用計費幾釐錢、幾分錢，或者只按每千 tokens 幾釐到幾分，而且沒有特別強調通用大模型，那通常要麼是典型的小模型（例如專門做 OCR、ASR、圖片分類、內容審核的模型），要麼是參數量較小的輕量版大模型（專門為了高併發、低成本做了壓縮或蒸餾）。 如果單次調用價格明顯偏高，比如一次調用就要幾角甚至 1 元起步，那麼大概率是大模型。

此外，如果產品文案裡面會明確強調使用了大語言模型 LLM、通用大模型、多模態大模型，或提到端到端地完成從輸入到輸出的複雜任務（比如端到端對話機器人、端到端檢索問答、端到端視頻生成），那通常就可以把它視作是大模型。

相反，如果宣傳重點在於某一個垂直能力，比如銀行卡識別、發票識別、車牌識別、廣告點擊率預測、語音轉寫、內容安全審核，說明這個產品底層更可能是一個或一組小模型。

因此，在本文接下來的敘述中可以做個務實的約定：

  • 大模型更多指那類通用、可對話、可編程、往往價格略高的模型（包括它們的多模態版本，比如 GPT-4o、Gemini 1.5 Pro、Claude 3.5 Sonnet 等），它們能覆蓋大部分通用文本、代碼以及圖像、音頻、視頻等多模態任務；
  • 小模型則指那些為某個特定任務精調或定製的模型，通常價格更便宜、性能更穩定可控，但適用範圍更窄，需要你在系統裡主動組合與編排。

這裡不妨補充一個關鍵的行業變化：手冊中提到的很多模型能力，在 2021 年之前其實都是由 “小模型” 來承接的。針對特定場景、特定數據訓練專屬模型，以此滿足精準需求。而如今，絕大多數通用場景和任務已經可以直接調用大模型來解決 。

從精度與成本的極致追求來看，小模型的訓練與應用依然有其不可替代的價值；但對於入門者而言，我們完全可以從學會找到並調用大模型 API 開始 ，再逐步深入高階玩法。你只需要在成本、精度和延遲之間做權衡，再決定哪裡要用通用大模型，哪裡繼續保留或引入專用小模型。

從一些常見產品認識常用的文本和多模態通用大模型：

  • OpenAI 系列：GPT-4、GPT-4.1、GPT-4o、GPT-5.1 等
  • Google 系列：Gemini 1.5 Pro、Gemini 1.5 Flash 等
  • Anthropic 系列：Claude 3.5 Sonnet、Claude 3.5 Haiku 等
  • 國內模型：通義千問 Qwen 系列、文心一言 ERNIE Bot 系列、GLM/智譜清言、騰訊混元、訊飛星火、月之暗面的 Kimi 背後的大模型、MiniMax MiniMax-M2.7 系列等

更偏視覺和視頻方向的大模型和服務，包括：

  • 圖像生成：DALL·E、Midjourney、Stable Diffusion、SDXL、Flux 等
  • 多模態視覺理解：GPT-4o、GPT-4.1 with Vision、Gemini 1.5（圖文多模態）、Claude 3.5 Sonnet Vision、LLaVA 等
  • 視頻生成：Sora、Kling、Runway Gen-2、Pika、Luma、Veo 等

語音和音頻方向的大模型，包括：

  • 語音識別 ASR：Whisper 系列（Whisper、Whisper-large-v3 等）、Deepgram、各家雲廠商的端到端 ASR 大模型（如訊飛、百度、火山、阿里等）
  • 語音多模態與語音對話：GPT-4o（端到端語音對話）、OpenAI Realtime、Gemini 1.5 的音頻理解能力等
  • TTS / 音頻與音樂生成：OpenAI TTS、ElevenLabs、Suno、Udio、MusicGen 等

3D / 空間方向的生成與理解模型，包括：

  • 文生 3D 和圖生 3D：DreamFusion、Shap-E、GET3D、Zero-1-to-3、TripoSR 等
  • NeRF / 神經渲染家族：Instant-NGP、NeRF 系列、Gaussian Splatting 相關模型等