AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

S ​

Sandbox ​

  • 分类: Agent 与工具
  • 实际含义: 一种隔离的执行环境，限制 agent 访问文件、进程、网络目标、凭证和宿主机资源。
  • 为什么重要: 生成的代码和工具调用可能出错或带有恶意。隔离可限制其影响范围，也让可随时丢弃的验证成为可能。
  • 实际使用: 在临时容器中运行测试：基础镜像只读、工作区具有受限写入权限、不放生产密钥，并明确配置网络允许列表。
  • 常见混淆: Sandbox 能降低影响，却不能证明其中的代码正确或无害。
  • 学习课程: Production Agent Runtimes
  • 相关术语: Least Privilege, Approval Gate, Coding Agent, Guardrails

Saturation ​

  • 分类: 可靠性与运维
  • 实际含义: 受限资源或服务的容量被耗尽的程度，也包括无法及时开始执行的排队工作。
  • 为什么重要: 即使利用率看起来可以接受，内存、加速器槽位、队列深度或下游配额也可能已经限制有效吞吐量。
  • 实际使用: 找出每项关键资源，度量正在执行和等待执行的工作，将饱和度与尾延迟和错误关联起来，并在队列进入不稳定增长状态前告警。
  • 常见混淆: Saturation 不是一个通用百分比。瓶颈资源及其排队行为取决于工作负载和架构。
  • 相关术语: Observability, Autoscaling, Backpressure, Tail Latency
  • 来源: Google SRE: Monitoring Distributed Systems

Scope Contract ​

  • 分类: AI-native 开发
  • 实际含义: 一份具体约定，定义任务目标、允许和禁止触及的范围、预期产物、验证要求及停止条件。
  • 为什么重要: 它能避免 agent 把一个小修复扩大成难以审查的重构，也能防止在没有证据时宣称完成。
  • 实际使用: 明确只有 parser 模块及其测试可以修改，公共 API 必须保持兼容，且指定的测试套件必须通过。
  • 常见混淆: 任务描述说明你想要什么；scope contract 还会定义边界和证明要求。
  • 学习课程: Scope Contracts
  • 相关术语: Coding Agent, Patch, Verification Gate, Handoff

Self-Attention ​

  • 分类: 模型与推理
  • 常见说法: token 决定哪些其他 token 更重要。
  • 实际含义: 一种注意力机制，其中 query、key 和 value 都来自同一序列表示。经缩放的相似度分数会被归一化后用于组合 value，并受因果、填充、局部或其他 mask 约束。
  • 为什么重要: 它能构建与上下文相关的 token 表示，但允许的注意力模式取决于具体架构。
  • 常见混淆: 并非每个 token 都能始终注意到其他所有 token。因果模型和稀疏模型会有意限制连接。
  • 学习课程: Self-Attention from Scratch
  • 相关术语: Attention, Transformer, Context Window

Semantic Cache ​

  • 分类: AI-native 开发
  • 实际含义: 当新请求在选定表示和阈值下被判定为足够相似时，复用先前结果的缓存。
  • 为什么重要: 它可以为重复意图降低延迟和成本，但错误匹配可能返回过时或不适合当前用户的输出。
  • 实际使用: 按归一化意图缓存低风险 FAQ 答案，在 key 中包含租户和政策版本；对于个性化或时效性请求则绕过缓存。
  • 常见混淆: 语义相似不代表两个请求有相同的正确答案。Semantic cache 复用先前结果；prefix caching 复用精确 token 的 KV 状态；prompt caching 则遵循提供商或应用的适用规则。
  • 相关术语: Prompt Cache, Embedding, Cost per Successful Task, Grounding
  • 分类: 检索与生成
  • 常见说法: 按含义而非精确字词搜索。
  • 实际含义: 将 query 和候选项表示在 embedding 空间中，并使用向量相似度函数对候选项排序的检索方式。
  • 为什么重要: 它能检索同义改写和概念相关文本，但精确标识符和罕见字符串仍可能需要词法搜索。
  • 相关术语: Embedding, Hybrid Retrieval, Vector Database, Reranker

Separation of Duties ​

  • 分类: 安全与治理
  • 实际含义: 将相互冲突的职责或权限分配给独立角色，使单一主体无法在没有另一项授权决策的情况下完成高风险操作。
  • 为什么重要: 被攻陷的账号或出错的 agent 不应能对同一项重要变更提议、审批、执行并掩盖痕迹。
  • 实际使用: 将产物创建与发布审批分离，使用不同身份，在审计日志中保留两项决策，并定义事后审查的紧急访问机制。
  • 常见混淆: 职责分离针对的是冲突权限，不只是把工作分给多个共用相同凭证的人或 agent。
  • 相关术语: Approval Gate, Reviewer Agent, Audit Log, Least Privilege
  • 来源: NIST SP 800-53 Rev. 5

Service Level Indicator (SLI) ​

  • 分类: 可靠性与运维
  • 实际含义: 在明确、与用户相关的边界上度量服务行为的量化指标，例如成功请求占比或低于某个阈值的延迟比例。
  • 为什么重要: 只有明确观测行为、适格事件和测量位置，可靠性讨论才能落到可执行的层面。
  • 实际使用: 定义分子、分母、排除项、数据来源和聚合窗口，再验证该指标确实跟踪用户实际经历的结果。
  • 常见混淆: SLI 是度量本身；SLO 是在指定周期内施加于该度量的目标。
  • 相关术语: Service Level Objective (SLO), Availability, Tail Latency, Observability
  • 来源: Google SRE: Service Level Objectives

Service Level Objective (SLO) ​

  • 分类: 可靠性与运维
  • 实际含义: 针对服务级别指标，在规定的总体范围和测量窗口内设定的目标区间或阈值。
  • 为什么重要: 它将预期的用户结果转化为监控、容量、发布风险和事故决策的运行边界。
  • 实际使用: 选择用户真正关心的指标，根据产品需求而非当前表现设定目标，定义窗口和排除项，并附上 error budget 策略。
  • 常见混淆: SLO 是内部可靠性目标。具有合同效力的服务级别协议可能包含补救措施，也可能使用不同定义。
  • 学习课程: Inference Metrics and Goodput
  • 相关术语: Service Level Indicator (SLI), Error Budget, Availability, Goodput
  • 来源: Google SRE: Service Level Objectives

SFT (Supervised Fine-Tuning) ​

  • 分类: 数学与训练
  • 常见说法: 用示例输入和期望输出训练模型。
  • 实际含义: 在成对的输入与期望响应上微调预训练模型，让它在训练分布下学习所展示的行为。
  • 常见混淆: SFT 不仅能适配聊天行为；示例质量决定了哪些行为会被强化。
  • 相关术语: Fine-tuning, DPO (Direct Preference Optimization), RLHF (Reinforcement Learning from Human Feedback)

Shadow Traffic ​

  • 分类: 可靠性与运维
  • 实际含义: 将线上请求流量的一份副本发送给候选系统进行观察，同时候选系统的响应不进入主要用户响应路径。由于复制的请求仍会执行，其副作用必须隔离。
  • 为什么重要: 它让候选系统接触真实的输入形态和负载，同时限制对用户的影响，从而暴露合成测试未能发现的故障。
  • 实际使用: 删除或 token 化敏感字段，将工具和依赖指向 sandbox 或无操作目标，在能力边界阻止写入，保留请求关联，并避免 shadow 负载与用户流量竞争。
  • 常见混淆: 候选响应不进入主路径，并不意味着执行没有副作用。Canary release 的不同在于，它会让候选系统为受控比例的真实用户提供服务。
  • 学习课程: Shadow, Canary, and Progressive Delivery
  • 相关术语: Canary Release, Evaluation (Eval), Trace, Model Serving
  • 来源: Istio Traffic Mirroring

Shared Embedding Space ​

  • 分类: 多模态系统
  • 实际含义: 一种公共向量空间，不同模态的表示可以在其中使用同一个相似度函数进行比较。
  • 为什么重要: 它支持跨模态检索和匹配，例如根据文本查找图像，而无需让两个对象共享原始表示。
  • 实际使用: 有意识地训练配对样本和非配对负样本，在目标函数要求时归一化向量，评估两个检索方向，并检查子群体和语言表现。
  • 常见混淆: 共享向量维度并不会自动产生共享语义空间。训练目标和数据必须建立跨模态可比性。
  • 学习课程: CLIP Contrastive Pretraining
  • 相关术语: Embedding, Cosine Similarity, Modality Alignment, Semantic Search
  • 来源: Learning Transferable Visual Models From Natural Language Supervision

Softmax ​

  • 分类: 数学与训练
  • 常见说法: 将 logits 转换为归一化正值的函数。
  • 实际含义: 定义为 softmax(x_i) = exp(x_i) / sum(exp(x_j)) 的函数，实际实现会进行数值稳定化处理。其输出为正且总和为一，因此可以参数化一个类别分布。
  • 常见混淆: Softmax 的值并不天然就是关于现实世界正确性的校准概率。
  • 相关术语: Temperature, Cross-Entropy, Attention

Software Bill of Materials (SBOM) ​

  • 分类: 安全与治理
  • 别名: SBOM
  • 实际含义: 与某个产品或产物相关的软件组件及其关系的结构化清单，通常包含版本、供应商、许可证和标识符。
  • 为什么重要: 当软件发生变化或出现漏洞时，需要组件清单来评估受影响的依赖、许可证义务和供应链暴露面。
  • 实际使用: 在可信构建期间生成 SBOM，将其绑定到发布产物，在策略检查中验证，并在依赖或打包发生变化时更新。
  • 常见混淆: SBOM 是清单，并不能证明组件安全、许可证正确或实际存在，除非生成过程和来源可信。
  • 相关术语: Provenance Attestation, Reproducible Build, Data Provenance, Audit Log
  • 来源: SPDX 3.0.1 specification

Speculative Decoding ​

  • 分类: 模型与推理
  • 实际含义: 一种推理方法：成本更低的草稿过程先提出多个 token，目标模型再并行评分这些草稿位置。在精确采样变体中，接受和校正规则会保持目标模型的输出分布。
  • 为什么重要: 当草稿被接受时，它可以减少目标模型串行解码的工作量，无需改变目标模型已训练的权重。
  • 实际使用: 用真实 prompt 测量接受率和端到端延迟，计入草稿模型开销，并验证实现保持了预期的解码分布。
  • 常见混淆: Speculative decoding 不是普通的模型路由或未经验证的自动补全。精确变体通过接受和校正保留目标分布；近似变体可能为了速度牺牲该保证。
  • 相关术语: Autoregressive, KV Cache, Decoding Strategy, Tokens per Second (TPS)
  • 来源: Fast Inference from Transformers via Speculative Decoding

Stochastic Gradient Descent (SGD) ​

  • 分类: 数学与训练
  • 别名: SGD
  • 实际含义: 一类 optimizer：它使用从抽样样本或 minibatch 估计出的梯度更新参数，而不是使用完整训练数据集。
  • 为什么重要: 它是理解梯度噪声、momentum、batch 扩展，以及现代训练中自适应 optimizer 的基础。
  • 实际使用: 记录 batch 采样、learning rate、如有使用则记录 momentum 和调度策略；随后在相同更新次数或 token 预算下比较验证集表现。
  • 常见混淆: 在当前实践中，SGD 通常指 minibatch SGD，其有效学习率并不遵循唯一通用的 batch 扩展规则。
  • 相关术语: Gradient Descent, Batch Size, Learning Rate, Optimizer
  • 来源: Optimization Methods for Large-Scale Machine Learning; Accurate, Large Minibatch SGD

Stop Sequence ​

  • 分类: 模型与推理
  • 实际含义: 由应用指定的一段 token 或文本模式，当解码系统遇到它时，生成就会停止。
  • 为什么重要: Stop sequence 可以约束输出协议和多段生成，无需等待模型从语义上自行判断已经结束。
  • 实际使用: 选择无歧义的分隔符，测试 tokenization 和部分流式匹配，并且仍要实施输出长度和 schema 校验。
  • 常见混淆: Stop sequence 是机械性的解码条件，并不能证明答案完整，也不能证明 agent 目标已满足。
  • 相关术语: Decoding Strategy, Structured Output, Token, Termination Condition
  • 来源: Transformers text-generation documentation

Streaming ​

  • 分类: 模型与推理
  • 常见说法: 输出生成时就展示出来。
  • 实际含义: 在完整结果就绪之前持续交付增量响应事件。根据 API 的不同，流可能包含 token 文本、结构化增量、工具调用参数、用量元数据或状态事件。
  • 为什么重要: 它能提升感知响应速度，但不会缩短模型生成完整答案所需的实际时间。
  • 常见混淆: 网络传输方式、事件形状和分块边界由提供商决定，不能保证与单词或 token 对齐。
  • 学习课程: Production LLM Application
  • 相关术语: Time to First Token (TTFT), Autoregressive, Observability

Structured Output ​

  • 分类: Agent 与工具
  • 实际含义: 受机器可读 schema 约束或针对其验证的模型输出，使应用代码能够消费字段，而无需解析自由形式的散文。
  • 为什么重要: 它减少模型到软件边界的格式歧义，并支持字段级验证和重试。
  • 实际使用: 要求事故分诊结果包含允许的严重性枚举、证据数组和可为空的升级原因，然后拒绝所有未通过 schema 校验的响应。
  • 常见混淆: Schema 有效的输出仍可能包含错误值。结构不是事实验证。
  • 学习课程: Structured Outputs
  • 相关术语: Function Calling, Tool Contract, Verification Gate

Swarm ​

  • 分类: Agent 与工具
  • 常见说法: 许多 agent 在没有固定控制器的情况下协作。
  • 实际含义: 一种松散协调的多 agent 模式，其中局部的 agent 决策和消息交换共同产生系统级行为。该术语的用法不一致，因此必须明确实际拓扑、状态归属和终止规则。
  • 常见混淆: 有多个具名 agent，并不保证会有有用的专长分工或涌现式协作。
  • 相关术语: Agent, Reviewer Agent, Handoff, Agent State

System Prompt ​

  • 分类: Prompt 与上下文
  • 常见说法: 由开发者控制的模型交互指令。
  • 实际含义: 由提供商定义、由应用提供的指令消息或配置，用于在该提供商的指令层级中建立行为和约束。
  • 为什么重要: System instructions 能引导行为，但不能保证始终保密，也不应视为安全边界。
  • 常见混淆: 优先级规则、消息角色、持久性和可见性因 API 而异。应查阅当前提供商的契约。
  • 学习课程: Instructions as Executable Constraints
  • 相关术语: Prompt Engineering, Prompt Injection, Context Engineering, Guardrails