AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

T ​

Tail Latency ​

  • 分类: 可靠性与运维
  • 实际含义: 请求中最慢那一部分所经历的延迟，通常会在明确的工作负载和时间窗口下用高分位数来概括。
  • 为什么重要: 平均值看起来可能很健康，但排队、资源争用、重试或请求成本的波动，会让相当一部分用户等待得久得多。
  • 实际使用: 按路由和工作负载报告多个分位数；按已记录的规则将超时保留为删失观测或失败观测；并跨依赖链路追踪慢请求。
  • 常见混淆: Tail latency 不是单个最慢请求；脱离分位数、总体人群和测量边界，它没有意义。
  • 学习课程: Inference Metrics and Goodput
  • 相关术语: Time to First Token (TTFT), Time per Output Token (TPOT), Saturation, Goodput
  • 来源: The Tail at Scale

Temperature ​

  • 分类: 模型与推理
  • 常见说法: 控制创造力的设置。
  • 实际含义: 在形成概率分布前重新缩放 logits 的解码参数。较高的正值通常会让分布更平坦，较低的正值则会让分布更尖锐。
  • 为什么重要: Temperature 改变的是采样行为，而不是模型掌握的知识或事实准确性。
  • 常见混淆: 设置为零时通常会采用贪心解码，但具体行为和确定性取决于提供商、采样器、是否支持 seed，以及服务系统。
  • 相关术语: Softmax, Autoregressive, Token

Tensor ​

  • 分类: 数据与表示
  • 常见说法: 用于数值计算的多维数组。
  • 实际含义: 一种带有形状、数据类型和设备放置位置的类型化数组，框架用它表示输入、参数、激活值和梯度。自动微分元数据取决于框架和操作，并非每个 tensor 固有的属性。
  • 相关术语: Autograd, Parameter, Mixed Precision

Tensor Parallelism ​

  • 分类: 基础设施与服务
  • 实际含义: 将模型层内部的 tensor 运算划分到多个设备上，并在层计算期间通过集合通信合并部分结果。
  • 为什么重要: 它让单层可以利用多个设备的内存和算力，但当互连或划分方式不合适时，频繁通信可能占据主要开销。
  • 实际使用: 让划分维度匹配模型形状，基准测试集合通信流量，将 ranks 部署在高速互连上，并将分片布局随 checkpoint 和服务配置一同记录。
  • 常见混淆: Tensor parallelism 在层内部拆分工作；pipeline parallelism 则将不同层组放到不同设备上。
  • 学习课程: Scaling and Distributed Training
  • 相关术语: Tensor, Pipeline Parallelism, Expert Parallelism, Parameter
  • 来源: Megatron-LM

Termination Condition ​

  • 分类: Agent 与工具
  • 实际含义: 一条显式规则：当 agent 成功、失败、耗尽预算、到达安全边界或需要升级处理时，结束或暂停其运行。
  • 为什么重要: 没有 termination condition，agent 可能陷入循环、重复产生副作用、浪费预算，或在未完成目标时宣称已完成。
  • 实际使用: 在启动循环前定义成功证据、最大步数和成本、不可重试的错误，以及升级处理状态。
  • 常见混淆: Stop sequence 结束文本生成；termination condition 决定任务或工作流是否应停止。
  • 相关术语: Agent Harness, Token Budget, Verification Gate, Stop Sequence
  • 来源: AutoGen

Test Oracle ​

  • 分类: AI-native 开发
  • 实际含义: 用于判断观测到的程序行为是否正确的机制、规范、参考实现、不变量或人工判断。
  • 为什么重要: 仅生成测试输入还不够；自动验证需要一个独立依据来判定每项结果。
  • 实际使用: 优先使用可执行的不变量、参考实现、schema 和确定性的预期输出，然后记录哪些部分仍需人工判断。
  • 常见混淆: 编写代码的模型，即使被要求判断自己的输出是否正确，也不应被视为独立的 oracle。
  • 相关术语: Regression Test, Verification Gate, Eval Set, Human-in-the-Loop (HITL)
  • 来源: The Oracle Problem in Software Testing

Threat Model ​

  • 分类: 安全与治理
  • 实际含义: 一份文档化说明，涵盖受保护资产、信任边界、潜在对手、假定能力、攻击路径、影响及计划中的控制措施。
  • 为什么重要: 若不说明防御什么、针对谁、基于哪些假设，就无法评估安全控制措施。
  • 实际使用: 梳理数据和权限在模型、检索、工具、用户及外部服务之间的流动，再将可信的滥用路径转化为红队用例和缓解措施。
  • 常见混淆: Threat model 会优先处理可信的风险；它不是能证明系统安全，或预测未来所有攻击的检查清单。
  • 相关术语: Least Privilege, Prompt Injection, Sandbox, Red Teaming
  • 来源: NIST SP 800-154; NIST Generative AI Profile

Time per Output Token (TPOT) ​

  • 分类: 基础设施与服务
  • 实际含义: 对单个有 N > 1 个输出 token 的请求，首个 token 之后的平均间隔为：(t_N - t_1) / (N - 1)。系统分布再聚合这些逐请求平均值。
  • 为什么重要: 用户可能很快收到第一个 token，但后续答案流式输出很慢，因此仅看启动延迟无法描述生成的响应速度。
  • 实际使用: 分别计算每个请求的 TPOT，按输出长度和并发度报告请求间的分位数；不要汇总所有 token 间隔，也不要比较 tokenizer 或测量边界不同的系统。
  • 常见混淆: TPOT 是逐请求平均值。单个 inter-token latency 是连续两个 token 之间的一次间隔，而 time to first token 包含输出开始前的等待。
  • 学习课程: Inference Metrics and Goodput
  • 相关术语: Decode Phase, Time to First Token (TTFT), Streaming, Goodput
  • 来源: DistServe

Time to First Token (TTFT) ​

  • 分类: 模型与推理
  • 别名: TTFT
  • 实际含义: 在明确的测量边界下，从提交生成请求到客户端收到第一个输出 token 或内容事件所经过的时间。
  • 为什么重要: TTFT 强烈影响用户感受到的响应速度，并能暴露排队、prompt 处理、缓存或网络延迟。
  • 实际使用: 按模型、prompt 长度、区域和缓存状态记录客户端侧 TTFT，再将它与总完成时间分开分析。
  • 常见混淆: TTFT 不是 tokens per second。前者衡量启动延迟，后者衡量输出开始后的生成吞吐量。
  • 相关术语: Streaming, Prompt Cache, Observability, Token Budget

Token ​

  • 分类: 数据与表示
  • 常见说法: 模型输入或输出中大小相当于一个词的片段。
  • 实际含义: 模型特定 tokenizer 从文本、字节、图像、音频或其他输入表示中生成的整数标识符。一个 token 可以是完整词、词的一部分、标点、空白、字节序列或特殊控制符号。
  • 常见混淆: 字符与 token 的比例因语言、内容和 tokenizer 而异；应使用目标模型的 tokenizer 或提供商工具计数。
  • 学习课程: Tokenizers
  • 相关术语: Token Budget, Context Window, Autoregressive

Token Budget ​

  • 分类: Prompt 与上下文
  • 实际含义: 对 instructions、证据、历史记录、工具结果、reasoning 或工作空间及输出所分配的明确 token 容量。
  • 为什么重要: 每一个纳入的 token 都会争夺上下文容量、延迟和成本。预算迫使你优先保留高价值证据。
  • 实际使用: 预留输出容量，限制检索片段，将旧工具结果汇总进状态，并在达到模型上限前停止或压缩。
  • 常见混淆: Token budget 是规划约束，并不等同于模型的最大 context window。
  • 学习课程: Context Engineering
  • 相关术语: Context Window, Context Engineering, Progressive Disclosure, Cost per Successful Task

Tokenization ​

  • 分类: 数据与表示
  • 实际含义: 将输入表示转换为特定模型或 tokenizer 可接受的有序 token 标识符。
  • 为什么重要: Tokenization 决定序列长度、词表边界、成本核算、截断行为，以及文本或代码在 embedding 前的表示方式。
  • 实际使用: 使用目标模型的准确 tokenizer，将其与产物一同版本化，并测试多语言文本、代码、空白和特殊 token。
  • 常见混淆: Tokenization 不总是按词切分；两个模型也可能为相同输入分配不同的 token 数量和 ID。
  • 相关术语: Token, Vocabulary, Byte Pair Encoding (BPE), Embedding
  • 来源: Neural Machine Translation of Rare Words with Subword Units

Tokens per Second (TPS) ​

  • 分类: 基础设施与服务
  • 别名: TPS, output token throughput
  • 实际含义: 一项吞吐量度量，在明确的范围和工作负载下，报告服务系统单位时间生成多少输出 token。
  • 为什么重要: 它通过说明输出开始后生成推进的速度，以及服务在负载下的表现，补充了启动延迟指标。
  • 实际使用: 说明 TPS 是逐请求还是聚合指标，排除或明确标注 prefill，并报告 batch、并发度、序列长度、硬件和延迟分位数。
  • 常见混淆: TPS 不能直接比较 tokenizer、工作负载、质量设置或测量边界不同的系统。
  • 相关术语: Time to First Token (TTFT), Streaming, Prefill, Observability
  • 来源: Sarathi-Serve

Tool Contract ​

  • 分类: Agent 与工具
  • 实际含义: 工具边界的完整约定：用途、类型化输入、输出、验证、权限、副作用、错误、超时、幂等性，以及返回给调用方的证据。
  • 为什么重要: Schema 告诉模型有哪些字段；contract 则规定工具何时安全，以及系统必须如何处理失败。
  • 实际使用: 为文件写入工具定义允许的根目录、预期基准修订版、最大大小、dry-run 模式、明确的冲突错误和返回的 patch hash。
  • 常见混淆: JSON Schema 是 tool contract 的一部分，不是全部。
  • 学习课程: Tool Use and Function Calling
  • 相关术语: Function Calling, Structured Output, Least Privilege, Idempotency

Top-k Sampling ​

  • 分类: 模型与推理
  • 实际含义: 一种解码方法：将下一个 token 的分布限制在得分最高的 k 个候选项中，对其概率重新归一化，再从中采样。
  • 为什么重要: 它从采样中移除了低概率的长尾，同时保留固定的最大候选数量。
  • 实际使用: 将 k 与 temperature、top-p 和 stop 设置一同评估，并随生成结果记录完整的 sampler 配置。
  • 常见混淆: Top-k 使用固定候选数量；top-p 使用概率质量阈值，其候选数量会随每一步变化。
  • 相关术语: Nucleus Sampling (Top-p), Temperature, Decoding Strategy, Logits
  • 来源: The Curious Case of Neural Text Degeneration

Trace ​

  • 分类: AI-native 开发
  • 实际含义: 一份关联记录，覆盖一个请求或任务中的模型调用、检索、工具、状态转换、重试、审批和评估。
  • 为什么重要: 它可以让你重建多步骤工作流中时间、成本和故障是从何处进入的。
  • 实际使用: 在 agent harness 中传播同一个 trace identifier，并为每个模型和工具操作附加脱敏 span。
  • 常见混淆: Trace 应记录运行证据，而不是暴露隐藏的模型 reasoning、密钥或未脱敏的敏感内容。
  • 学习课程: OpenTelemetry GenAI Conventions
  • 来源: OpenTelemetry traces
  • 相关术语: Observability, Agent State, Time to First Token (TTFT), Evaluation (Eval)

Transfer Learning ​

  • 分类: 数学与训练
  • 常见说法: 为新任务复用预训练模型。
  • 实际含义: 从一个数据分布或目标上学得的表示或参数出发，再将其适配到另一个分布或目标。可迁移的组成部分及更新策略取决于架构和任务。
  • 常见混淆: Transfer 并不限于后面的层；当源任务和目标任务差异很大时，也不能保证迁移成功。
  • 相关术语: Fine-tuning, Feature, SFT (Supervised Fine-Tuning)

Transformer ​

  • 分类: 模型与推理
  • 常见说法: 许多现代语言模型背后的架构。
  • 实际含义: 一种由 attention、位置信息、前馈子层、残差连接和归一化构成的神经网络架构。encoder、decoder 和 encoder-decoder 变体使用不同的 mask 和信息流。
  • 为什么重要: 训练时可以并行处理许多序列位置，而自回归生成仍需逐步产生输出。
  • 常见混淆: Self-attention 并不意味着每个 transformer 都具有不受限制的全连接注意力。
  • 学习课程: Build a Full Transformer
  • 来源: Attention Is All You Need
  • 相关术语: Attention, Self-Attention, Encoder, Decoder

Trust Boundary ​

  • 分类: 安全与治理
  • 实际含义: 数据、instructions、身份或权限在具有不同信任假设的组件或主体之间跨越的接口。
  • 为什么重要: 在边界跨越处，系统必须验证身份、校验数据、约束权限，并决定哪些声明可以影响行动。
  • 实际使用: 围绕用户、模型上下文、检索来源、工具、网络和数据存储划出边界，再为每次跨越指定校验和授权。
  • 常见混淆: 网络边界只是 trust boundary 的一种。非受信任文档文本进入拥有特权的 agent 上下文，也是在跨越边界。
  • 学习课程: Jailbreak Taxonomy
  • 相关术语: Threat Model, Least Privilege, Sandbox, Indirect Prompt Injection
  • 来源: Microsoft Learn: Trust Boundary, the Trust Zone Change Element; OWASP Threat Modeling