模型路由作为降本原语
一个动态的中介评估每个请求（任务类型、token 长度、嵌入相似度、置信度），把简单查询送给便宜模型，把复杂的升级到前沿模型。也叫模型级联（model cascading）。生产案例显示在等质量下跨美国/英国/欧盟部署降本 20-60%；高量 SaaS 上 30% 的路由效率提升变成六位数的年度节省。2026 年的背景是 LLM 推理价格每年降约 10 倍 —— 一个 GPT-4 级 token 从 2022 年底的 $20/M 降到 2026 年的约 $0.40/M。这降幅大部分来自更好的服务栈（阶段 17 · 04-09），不是硬件。路由是你在不让产品退化的前提下，把那次降价转化为利润的办法。失败模式是便宜模型漂移：路由把 40% 推给了更弱的模型，推理任务上质量掉了 3-5%，整整一个季度没人发现。用在线质量指标给路由做闸门，不只是离线 eval 集。
类型： Learn 语言： Python（标准库，一个玩具级级联路由器模拟器） 前置要求： 阶段 17 · 01（托管 LLM 平台）、阶段 17 · 19（AI 网关） 预计时间： ~60 分钟
学习目标
- 解释模型级联：便宜优先加置信度检查，低置信度时升级。
- 列举四个路由信号（任务分类、prompt 长度、与已知难题集的嵌入相似度、首遍的自置信度）。
- 在目标路由分流和质量损失容忍度下，算出预期混合成本。
- 说出那个抓住便宜模型蔓延的漂移监控指标（在线质量闸门）。
问题背景
你的服务在 GPT-5 上每月花 $80k。你的分析显示 70% 的查询是简单的："巴黎现在几点？""把这句话换个说法。"一个 Haiku 级模型以 3% 的成本完美处理这些。30% 需要 GPT-5 的推理 —— 代码、数学、多步规划。
如果你把那 70% 路由到便宜的、30% 到贵的，你的账单在同样的产品质量下降约 65%。这就是路由。诀窍在于建出这个中介而不让质量退化。
核心概念
四个路由信号
任务分类：简单/复杂/代码生成/数学/聊天。可以是基于规则的分类器、一个小 LLM（Haiku 级 $0.25/M），或与带标注桶的嵌入相似度。输出：路由 = 便宜 / 平衡 / 前沿。
prompt 长度：>4K token 的 prompt 常常需要前沿模型来保持连贯。<500 token 的通常不需要。
与已知难题集的嵌入相似度：如果查询接近（余弦 > 0.88）一个已知难题桶，直接升级到前沿。
首遍的自置信度：先送便宜的；如果模型的 log-prob 显示低置信度，或它拒答，或输出含糊措辞，就在前沿上重试。给约 10% 的流量加 P95 延迟，但在另外 90% 上省 50%+。
三种模式
预路由（前置分类器）：加约 5-10ms 延迟；整体最快。
级联（便宜优先，低置信度升级）：约 1.2x 中位延迟（便宜跑加验证），升级的约 2x。质量下限最好。
集成路由（对一个样本并行跑便宜和前沿，奖励模型挑选）：质量最高、成本最高；只用于关键的 A/B。
实现
AI 网关（阶段 17 · 19）暴露路由。LiteLLM 有带回退和成本路由的 router 配置。Portkey 有 guard + 路由。Kong AI Gateway 有基于插件的路由。OpenRouter 的模型市场暴露一个推荐 API。
开源：RouteLLM（LMSYS）、Not Diamond（商用）、Prompt Mule。
2026 年的价格曲线
| 模型级别 | 2022 年底 | 2026 | 变化 |
|---|---|---|---|
| GPT-4 级质量 | ~$20/M | ~$0.40/M | 便宜 50 倍 |
| 前沿（GPT-5、Claude 4） | — | ~$3-10/M | 新档位 |
大部分改进是服务效率 —— 阶段 17 · 04-09 里的核心课程变成了供应商侧的降本。路由让你在应用层捕获这些收益，而不必等你所有用户都迁到便宜档。
漂移才是真正的风险
你的路由把 40% 送给便宜模型。六个月里，任务分布变了（用户变得更老练，问更长的问题）。路由器没注意到，因为它的分类器是在第一季度数据上训练的。质量悄悄下降。没人抱怨得够大声。你是在一个落败的竞品基准里才发现的。
用在线质量指标给路由做闸门：
- 每条路由的用户点赞 / 点踩。
- 对每条路由一个留出样本（5%）上的自动 LLM 评判。
- 升级率：如果级联往上路由 >30%，便宜模型被过度路由了。
- 每条路由的拒答率。
你该记住的数字
- 2026 年等质量下的路由节省：案例显示 20-60%。
- LLM 价格降幅 2022-2026：聚合下来每年约 10 倍。
- GPT-4 级 2022 vs 2026：~$20/M → ~$0.40/M。
- 级联延迟影响：约 1.2x 中位，升级的约 2x（约 10% 流量）。
model-cascade-router实际使用
code/main.py 在一个混合工作负载上模拟预路由、级联和集成。报告混合成本、质量损失和升级率。
拿去用
这一课产出 outputs/skill-router-plan.md。给定工作负载和质量预算，挑一个路由模式和信号。
练习
- 跑
code/main.py。在多少准确率下限时级联胜过预路由？ - 你的用户基础是 30% 企业（复杂查询）、70% 免费档（简单）。设计路由分流。哪个在线指标给它做闸门？
- 一条路由质量掉 2% 但省 40%。这该上吗？取决于产品 —— 两边都论证。
- 用 OpenAI / Anthropic API 的 logprob 实现一个置信度检查。你从哪个阈值起步？
- 六个月里，升级率从 8% 爬到 22%。诊断三个原因，并给每个一个修法。
关键术语
| 术语 | 大家嘴上怎么说 | 它实际是什么 |
|---|---|---|
| 模型路由 | "成本中介" | 每个请求动态选模型 |
| 模型级联 | "便宜优先升级" | 跑便宜的，低置信度时回落到前沿 |
| 预路由 | "先分类" | 前置分类器；不重跑 |
| 集成路由 | "并行挑选" | 跑多个，奖励模型挑最好的 |
| 升级率 | "上路由 %" | 级联请求中升级了的比例 |
| RouteLLM | "LMSYS 路由器" | OSS 路由器库 |
| Not Diamond | "商用路由器" | SaaS 模型路由产品 |
| 漂移 | "便宜蔓延" | 路由器没注意到的分布偏移 |
| 在线质量闸门 | "实时检查" | 对实时流量采样的自动 LLM 评判 |