O
Observability
- 分类: AI-native 开发
- 实际含义: 通过记录的输入、输出、状态转换、工具调用、耗时、成本、错误和评估信号来理解 AI 系统行为的能力。
- 为什么重要: AI 故障往往跨越模型、检索、工具和编排。要定位发生故障的边界,就需要能相互关联的证据。
- 实际使用: 在检索、模型调用、工具执行、审批和最终评分中记录同一个 trace ID,同时实施脱敏和访问控制。
- 常见混淆: Logging 用于收集事件;Observability 则让事件具备足够的结构和关联性,从而回答运维问题。
- 学习课程: Agent Observability Platforms
- 相关术语: Trace, Evaluation (Eval), Agent State, Time to First Token (TTFT)
Optimizer
- 分类: 数学与训练
- 常见说法: 用于更新权重的算法。
- 实际含义: 将梯度转换为参数更新的算法。普通随机梯度下降是简单基线;momentum、Adam 等 optimizer 会利用历史信息或自适应缩放来改变更新。每种选择的内存占用、稳定性和调优行为都不同。
- 常见混淆: optimizer 使用梯度;反向传播负责计算梯度。
- 相关术语: Adam (Optimizer), AdamW, Gradient, Learning Rate
Orchestration
- 分类: Agent 与工具
- 实际含义: 跨模型和工具步骤对工作进行排序、分支、委派、重试、暂停、恢复和终止的控制逻辑。
- 为什么重要: 可靠的 agent 行为依赖模型之外明确的工作流决策,尤其当任务存在依赖关系或会带来重要副作用时。
- 实际使用: 将稳定的步骤编码为工作流或状态机,把有边界的决策暴露给模型,并在外部写入前持久化状态转换。
- 常见混淆: Orchestration 不等同于自主性或多 agent 系统;单个 agent 也可以由确定性的工作流编排。
- 相关术语: Agent Harness, Planning, Delegation, Durable Execution
- 来源: Building Effective Agents
Overfitting
- 分类: 数学与训练
- 常见说法: 模型记住了训练数据。
- 实际含义: 一种泛化差距:模型在训练数据上的表现明显优于在有代表性的未见数据上的表现。记忆训练样本可能是成因之一,但可观测到的症状是泛化不佳。
- 实际使用: 对比训练集与留出集指标,检查子群体失效,并测试数据质量、正则化、早停或模型容量等改动。
- 相关术语: Underfitting, Dropout, Weight Decay, Eval Set