AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

推理平台经济学 —— Fireworks、Together、Baseten、Modal、Replicate、Anyscale ​

2026 年的推理市场已经不再是租 GPU 时间。它分化成三块：定制芯片（Groq、Cerebras、SambaNova）、GPU 平台（Baseten、Together、Fireworks、Modal）和 API 优先的市场（Replicate、DeepInfra）。Fireworks 在 2026 年 5 月 1 日把每 GPU 每小时的价格涨了 1 美元，而 40 亿美元估值、每天 10T+ token 的处理量告诉你：靠走量的模式行得通。Baseten 在 2026 年 1 月以 50 亿美元估值完成了 3 亿美元的 E 轮。竞争定位的规律很简单：Fireworks 优化延迟，Together 优化目录广度，Baseten 优化企业级打磨，Modal 优化 Python 原生开发体验，Replicate 优化多模态覆盖，Anyscale 优化分布式 Python。这一课给你一张能直接递给创始人的对比矩阵。

类型： Learn 语言： Python（标准库，一个玩具级的单次调用经济账对比器） 前置要求： 阶段 17 · 01（托管 LLM 平台）、阶段 17 · 04（推理服务引擎内部机制） 预计时间： ~60 分钟

学习目标 ​

  • 说出三个市场分段（定制芯片、GPU 平台、API 优先），并把每个厂商对应到一个分段。
  • 解释为什么"按 token"的 API 定价模式会向服务引擎的成本曲线压缩，而不是向硬件的成本曲线压缩。
  • 跨至少三家厂商算出单次请求的有效成本，并说明按分钟计费（Baseten、Modal）何时胜过按 token。
  • 对给定工作负载（serverless 突发型、稳定高吞吐型、微调变体型、多模态型）判断哪个平台是合适的默认选。

问题背景 ​

你评估完了托管的超大规模平台。你决定需要一个更窄、更快的供应商 —— Fireworks 拼延迟，Together 拼广度，Baseten 上一个微调过的自定义模型。现在你面前有六个真实选项，而定价页根本对不齐。Fireworks 标的是 $/M token；Baseten 标的是 $/分钟；Modal 标的是 $/秒；Replicate 标的是 $/次预测。不对工作负载建模，你根本没法把它们摆在一起正面比。

更糟的是，每张定价页背后的商业模式都不一样。Fireworks 在共享 GPU 上跑自家的定制引擎（FireAttention）；按 token 的费率反映的是他们的利用率曲线。Baseten 给你 Truss + 专属 GPU；按分钟反映的是独占性。Modal 是真正的 Python serverless —— 按秒计费，冷启动不到一秒。同样的产出（一段 LLM 回复），三套不同的成本函数。

这一课给这六家建模，并告诉你每一家何时胜出。

核心概念 ​

三个分段 ​

定制芯片 —— Groq（LPU）、Cerebras（WSE）、SambaNova（RDU）。在同一个模型上，decode 通常比基于 GPU 的集群快 5-10 倍。每 token 价格更高（Groq 在 2025 年底跑 Llama-70B 约 $0.99/M），但在延迟敏感的场景里无可匹敌。Groq 是语音 agent 和实时翻译的生产首选。

GPU 平台 —— Baseten、Together、Fireworks、Modal、Anyscale。跑在 NVIDIA（2026 年是 H100、H200、B200）上，有时也跑 AMD。这是介于"裸 GPU 租赁"（RunPod、Lambda）和"超大规模托管服务"（Bedrock）之间的经济层。

API 优先市场 —— Replicate、DeepInfra、OpenRouter、Fal。目录广、按次预测或按秒付费，强调"首次调用所需时间"。

Fireworks —— 延迟优化的 GPU 平台 ​

  • FireAttention 引擎（定制）；宣传在等效配置上延迟比 vLLM 低 4 倍。
  • 针对非交互工作负载的 batch 档位，约为 serverless 费率的 50%。
  • 微调模型按基础模型同样的费率服务 —— 这是相对那些为你的 LoRA 加价的供应商的真正差异点。
  • 2026 年中：从 5 月 1 日起按需 GPU 租赁涨 $1/小时。规模上量后批量价格可谈。
  • 财务信号：40 亿美元估值，每天处理 10T+ token。

Together —— 广度优化 ​

  • 200+ 模型，其中开源版本在上游发布后几天内就跟进。
  • 在等效 LLM 模型上比 Replicate 便宜 50-70% —— "AI Native Cloud"的定位就是走量和目录。
  • 推理 + 微调 + 训练在一个 API 里。

Baseten —— 企业级打磨优化 ​

  • Truss 框架：把依赖、密钥、服务配置打包进一份 manifest。
  • GPU 范围从 T4 到 B200。按分钟计费，冷启动缓解做得还算合理。
  • SOC 2 Type II、HIPAA-ready。常见的金融科技和医疗首选。
  • 50 亿美元估值，2026 年 1 月 E 轮（来自 CapitalG、IVP、NVIDIA 的 3 亿美元）。
  • 用纯 Python 写基础设施即代码。用 @modal.function(gpu="A100") 装饰一个函数，一条命令就部署。
  • 按秒计费。带预热时冷启动 2-4 秒；小模型 <1 秒。
  • 8700 万美元 B 轮，11 亿美元估值（2025）。在独立调研里开发者体验得分最高。

Replicate —— 多模态广度 ​

  • 按次预测付费。图像、视频、音频模型的默认平台。
  • 集成生态（Zapier、Vercel、CMS 插件）。
  • 在 LLM 按 token 费率上竞争力较弱，但在多模态多样性上胜出。

Anyscale —— Ray 原生 ​

  • 建在 Ray 之上；RayTurbo 是 Anyscale 自有的推理引擎（与 vLLM 竞争）。
  • 最适合分布式 Python 工作负载 —— 推理这一步只是更大图里的一个节点。
  • 托管的 Ray 集群；与 Ray AIR 和 Ray Serve 紧密集成。

按 token vs 按分钟 —— 各自何时胜出 ​

当工作负载对延迟不敏感且突发时，按 token 合理 —— 你只为用掉的付费。当利用率高且可预测时，按分钟合理 —— 一旦你把 GPU 喂满，按分钟就赢了。

粗略规则：对一块专属 GPU 持续利用率超过约 30% 的工作负载，按分钟（Baseten、Modal）开始胜过按 token（Fireworks、Together）。低于这个值，按 token 赢，因为你避开了为闲置付费。

定制引擎才是真正的护城河 ​

每个建在 vLLM 和 SGLang 之上的平台都声称有定制引擎。FireAttention、RayTurbo、Baseten 的推理栈。定制引擎的说法多少带营销色彩 —— 诚实的说法是：vLLM + SGLang 占了大约 80% 的生产开源推理，而平台层的差异化在于开发体验、归因和 SLA。

你该记住的数字 ​

  • Fireworks GPU 租赁：2026 年 5 月 1 日起涨 $1/小时。
  • Fireworks 宣称：等效配置上延迟比 vLLM 低 4 倍。
  • Together：在 LLM 上比 Replicate 便宜 50-70%。
  • Baseten 估值：50 亿美元（E 轮，2026 年 1 月，3 亿美元一轮）。
  • Modal 估值：11 亿美元（B 轮，2025）。
  • 持续利用率超过约 30% 时，按分钟胜过按 token。
figure
cost-per-token

实际使用 ​

code/main.py 在一个合成工作负载上跨定价模型对比这六家厂商。报告 $/天和有效 $/M token。跑一下，找出按 token 和按分钟之间的盈亏平衡点。

拿去用 ​

这一课产出 outputs/skill-inference-platform-picker.md。给定工作负载画像、SLA 和预算，挑出主推理平台并点名第二选择。

练习 ​

  1. 跑 code/main.py。对一块 H100 上的 70B 模型，持续利用率到多少时 Baseten（按分钟）才胜过 Fireworks（按 token）？自己推出这个交叉点，并和经验法则对比。
  2. 你的产品要服务图像生成 + 聊天 + 语音转文字。为每种模态挑平台，并说出把它们统一起来的 gateway 模式。
  3. Fireworks 把你主力模型的价格涨了 $1/小时。如果你 40% 的流量转到 batch 档位（打 5 折），给混合成本影响建模。
  4. 一个受监管客户要求 SOC 2 Type II + HIPAA + 专属 GPU。哪三个平台可行，哪一个在 FinOps 上胜出？
  5. 对比 Llama 3.1 70B 在 Fireworks serverless、Together 按需、Baseten 专属、Replicate API 上每 1,000 次预测的成本。在每天 10 次预测时哪个最便宜？每天 10,000 次时呢？

关键术语 ​

术语大家嘴上怎么说它实际是什么
定制芯片"非 GPU 的芯片"Groq LPU、Cerebras WSE、SambaNova RDU —— 为 decode 优化
FireAttention"Fireworks 引擎"定制的注意力 kernel；宣传延迟比 vLLM 低 4 倍
Truss"Baseten 的格式"模型打包 manifest；依赖 + 密钥 + 服务配置
按 token"API 定价"按消耗的 token 收费；不为闲置付费
按分钟"专属定价"按 GPU 的墙钟时间收费；高利用率时胜出
按次预测"Replicate 定价"按每次模型调用收费；图像/视频常用
RayTurbo"Anyscale 引擎"Ray 上的自有推理；在 Ray 集群上与 vLLM 竞争
Batch 档位"打 5 折"降价的非交互队列；Fireworks、OpenAI 常见
微调按基础费率"Fireworks LoRA"LoRA 服务的请求按基础模型的费率收费（差异点）

延伸阅读 ​