Q：怎么设计一个大模型网关系统？
来源：猎豹移动Agent全栈开发
新手答：”做个 API 代理，转发请求到不同模型就行。”
高手答：
大模型网关是 Agent 系统的基础设施层，核心职责：
- 统一接口：屏蔽不同模型厂商 API 差异（OpenAI/Anthropic/本地模型），对上层提供一致的 chat/completion 接口
- 路由策略：根据任务类型/成本/延迟要求，智能选择模型（复杂推理→大模型，简单分类→小模型）
- 限流与配额：按 team/user/app 维度的 token 预算控制、QPS 限流、优先级队列
- 缓存层：语义缓存（相似 prompt 复用历史结果）+ 精确缓存（相同 prompt hash）
- 可观测性：记录每次调用的 token 消耗、延迟、模型版本、是否降级
- 降级与容灾：主模型超时/报错时自动 fallback 到备用模型，保证服务可用性
- 安全审计：敏感词过滤、PII 脱敏、Prompt 注入检测
差距在哪：面试官期望你把网关当成一个完整的中间件来设计，而不是简单的 HTTP 代理。