AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

P ​

Paged KV Cache ​

  • 分类: 基础设施与服务
  • 实际含义: 一种 KV cache 内存管理器：它把注意力状态存入固定大小的块，并将逻辑序列位置映射到物理块，无需为每条序列分配一段连续内存。
  • 为什么重要: 可变的序列长度会导致内存碎片和不可预测的增长，因此基于块的分配可提高可用内存，并支持灵活共享。
  • 实际使用: 根据工作负载测量选择块大小，跟踪分配和驱逐，在请求之间隔离状态，并在内存压力下测试取消和前缀共享。
  • 常见混淆: Paged KV cache 管理运行时的注意力状态内存；它不会把模型参数移到磁盘，也不会扩展模型训练时的上下文长度上限。
  • 学习课程: vLLM Serving Internals
  • 相关术语: KV Cache, Prefix Caching, Context Window, Model Serving
  • 来源: Efficient Memory Management for Large Language Model Serving with PagedAttention

Parameter ​

  • 分类: 模型与推理
  • 常见说法: 用来描述模型大小的数值。
  • 实际含义: 训练过程中学习得到的值，通常是 weight、bias、embedding 元素或归一化参数。参数数量是衡量模型容量的一种指标，但不直接决定质量、内存占用或服务成本。
  • 常见混淆: 每个参数的内存占用取决于数值格式、量化元数据、分片、optimizer 状态、激活值和运行时开销。
  • 相关术语: Weight, MoE (Mixture of Experts), Quantization

Pass@k ​

  • 分类: 评估与安全
  • 实际含义: 在一组任务中，至少有一个 k 次采样候选通过既定正确性测试的任务所占比例。
  • 为什么重要: 对于代码生成等可由自动验证器检查每个候选的任务，它衡量多次采样尝试的价值。
  • 实际使用: 在固定配置下独立生成候选，对每个候选运行相同的隔离测试，并报告 k 值以及采样和估计器细节。
  • 常见混淆: Pass@k 不是单次尝试的准确率；更高的分数可能反映更大的尝试预算，而不是更好的首个答案。
  • 相关术语: Coding Agent, Regression Test, Eval Set, Test Oracle
  • 来源: Evaluating Large Language Models Trained on Code

Patch ​

  • 分类: AI-native 开发
  • 实际含义: 对一个或多个文件变更的可审查表示，通常以相对于已知基线版本的新增和删除来表达。
  • 为什么重要: Patch 为人和 agent 提供一个聚焦的产物，可在不接受整个工作目录的情况下检查、测试、应用或拒绝它。
  • 实际使用: 要求 coding agent 返回统一 diff，然后确认它只触及允许的文件，并能干净地应用到预期 commit。
  • 常见混淆: Patch 记录的是文件变更，不包含发布这些变更所需的推理、测试证据或审批。
  • 学习课程: Workbench for Real Repositories
  • 相关术语: Coding Agent, Worktree, Scope Contract, Regression Test

Patch Embedding ​

  • 分类: 多模态系统
  • 实际含义: 一种学习得到的投影，它将图像 patch 转换为固定宽度的向量，作为 transformer 输入序列中的一个元素。
  • 为什么重要: 它在空间图像网格与序列模型之间建立接口；patch 大小决定 token 数量和保留的局部细节。
  • 实际使用: 记录 patch 和图像尺寸，显式处理填充或缩放，加入位置信息，并衡量分辨率变化对准确率和 token 成本的影响。
  • 常见混淆: Patch embedding 是一个 patch 的向量表示，不是语义目标检测器，也不能保证 patch 边界与视觉实体相吻合。
  • 学习课程: Vision Transformer Patch Tokens
  • 相关术语: Vision Transformer (ViT), Image Token, Embedding, Token
  • 来源: An Image is Worth 16x16 Words

Perplexity ​

  • 分类: 模型与推理
  • 常见说法: 语言模型对一个数据集有多惊讶。
  • 实际含义: 在明确的 tokenization 和对数约定下，平均负对数似然的指数值。值越低，表示模型为被评估序列分配的概率越高。
  • 常见混淆: Perplexity 不能跨不同 tokenizer 或评估设置比较，也不直接衡量事实性或实用性。
  • 相关术语: Cross-Entropy, Token, Evaluation (Eval)

Pipeline Parallelism ​

  • 分类: 基础设施与服务
  • 实际含义: 将模型中连续的一组层划分到多个设备上，再让 microbatch 或请求像流水线一样穿过这些阶段。
  • 为什么重要: 它让模型能够超出单个设备的内存容量，但阶段不均衡、流水线气泡、激活值传输和故障协调都会影响实际性能。
  • 实际使用: 平衡各阶段成本，选择 microbatch 调度，测量空闲时间和互连流量，并为模型和 checkpoint 分区元数据维护版本。
  • 常见混淆: Pipeline parallelism 按深度划分层；tensor parallelism 则在单层内划分张量运算。
  • 学习课程: Scaling and Distributed Training
  • 相关术语: Tensor Parallelism, Expert Parallelism, Batch Size, Model Serving
  • 来源: GPipe

Planning ​

  • 分类: Agent 与工具
  • 实际含义: 构建、选择或修订一组行动及其依赖关系，以便从当前状态达到某个目标。
  • 为什么重要: 显式计划会在 agent 执行昂贵或不可逆操作之前，让假设和顺序变得可见。
  • 实际使用: 先要求给出简短且考虑依赖的计划，再根据可用工具和权限验证；当观察结果推翻某项假设时，重新规划。
  • 常见混淆: 生成的计划只是提案，并不能证明步骤可行、充分或安全。
  • 相关术语: Agent State, ReAct, Orchestration, Verification Gate
  • 来源: LLM+P

Postmortem ​

  • 分类: 可靠性与运维
  • 实际含义: 一份可长期留存的事故记录，说明影响、发现、响应、促成条件、恢复过程和有责任人的后续行动；它不以归咎替代分析。
  • 为什么重要: 已解决的故障仍是有价值的证据。记录系统条件和决策，能将单次事件转化为改进，从而减少复发并缩短响应时间。
  • 实际使用: 从 trace 和日志构建时间线，区分触发事件与促成条件，分配带日期的行动，并审查每项行动是否改变了相关控制措施。
  • 常见混淆: Postmortem 不是会议纪要，也不是寻找某个人的错误；它应产出可测试的系统改进。
  • 相关术语: Incident Response, Regression Test, Audit Log, Observability
  • 来源: Google SRE: Postmortem Culture

Precision & Recall ​

  • 分类: 评估与安全
  • 常见说法: 分类或检索质量的两个指标。
  • 实际含义: Precision 衡量被标记项目中有多少是正确的；recall 衡量有多少相关项目被找到了。对于同一个固定评分模型，改变决策阈值时，提高 recall 往往会降低 precision，反之亦然。更好的模型可以同时提高两者。F1 是它们的调和平均数。
  • 常见混淆: 合适的阈值和指标取决于每类错误的代价，以及目标类别的普遍程度。
  • 相关术语: Eval Set, Semantic Search, Guardrails

Prefill ​

  • 分类: 基础设施与服务
  • 别名: Prefill Phase
  • 实际含义: 推理的初始阶段：处理所有输入 token，生成其表示以及后续自回归生成所需的注意力状态。
  • 为什么重要: prompt 形态、排队和 cache 复用会影响 prefill 成本；prefill 与 decode 对计算资源的竞争方式也不同，因此它会显著影响启动延迟和服务调度。
  • 实际使用: 记录 prompt token 数量和 prefill 延迟，将排队时间与执行时间分开，对比缓存与未缓存前缀，并在活跃 decode 流量旁测试长 prompt。
  • 常见混淆: Prefill 是运行时处理 prompt 的阶段，不是生成的第一个 token 本身。首个 token 只会在 prefill 和所有排队完成后出现。
  • 学习课程: Disaggregated Prefill and Decode
  • 相关术语: Decode Phase, KV Cache, Time to First Token (TTFT), Chunked Prefill
  • 来源: Sarathi-Serve; DistServe

Prefix Caching ​

  • 分类: 基础设施与服务
  • 实际含义: 跨请求复用由相同且符合条件的 token 前缀产生的 KV-cache 块，让服务运行时跳过重复的前缀计算。
  • 为什么重要: 共享的系统指令、模板或文档可能消耗大量 prefill 工作，但仅当 token 序列和 cache 可用条件一致时，复用才有帮助。
  • 实际使用: 将稳定 token 放在请求特定内容之前，在 cache 标识中包含模型和 tokenizer 版本，隔离租户敏感状态，监控命中率，并将驱逐视为正常现象。
  • 常见混淆: Prefix caching 会复用精确 token 前缀的运行时注意力状态。Prompt caching 是更广义的提供商或应用契约；semantic caching 则为足够相似的请求复用先前结果。
  • 学习课程: Inference Optimization
  • 相关术语: Prompt Cache, Semantic Cache, KV Cache, Paged KV Cache
  • 来源: SGLang

Progressive Disclosure ​

  • 分类: AI-native 开发
  • 实际含义: 先向人或模型提供最少但有用的上下文，再在任务或证据需要时逐步揭示更深层细节。
  • 为什么重要: 它在保留可按需取得的权威细节的同时，限制上下文噪声和成本。
  • 实际使用: 先给 coding agent 仓库规则和地图；只有在它识别出相关模块后，才加载完整实现文件。
  • 常见混淆: Progressive disclosure 是分阶段获取细节，不是刻意隐瞒做决策所必需的信息。
  • 学习课程: Workbench for Real Repositories
  • 相关术语: Context Engineering, Repository Map, Token Budget, Handoff

Prompt Cache ​

  • 分类: Prompt 与上下文
  • 实际含义: 对相同或符合条件的 prompt 前缀复用提供商侧或应用侧的计算，从而让重复推理避免部分预处理工作。
  • 为什么重要: 当满足提供商的 cache 契约时，稳定的指令和大量共享文档可以在重复调用中降低成本或提升速度。
  • 实际使用: 将稳定的政策文本放在请求特定内容之前，监控 cache-hit 元数据；因可用条件和存活期因提供商而异，应把未命中视为正常现象。
  • 常见混淆: Prompt cache 是提供商或应用的复用契约，内部可能采用 prefix caching。Prefix caching 专指复用符合条件的精确 token KV 状态；semantic caching 则为足够相似的请求复用先前结果。
  • 学习课程: Prompt Caching
  • 相关术语: Semantic Cache, Prefix Caching, KV Cache, Time to First Token (TTFT)

Prompt Engineering ​

  • 分类: Prompt 与上下文
  • 常见说法: 通过措辞让模型遵从任务指令。
  • 实际含义: 设计面向模型的指令、示例、约束和输出要求，以改善其在已定义任务上的行为。
  • 常见混淆: prompt 措辞无法弥补缺失的证据、不安全的权限、糟糕的工具契约或缺少的评估。
  • 学习课程: Prompt Engineering
  • 相关术语: Context Engineering, Few-Shot, System Prompt, Structured Output

Prompt Injection ​

  • 分类: 评估与安全
  • 常见说法: 将模型引向错误方向的对抗性指令。
  • 实际含义: 一种攻击或失效模式：不可信内容影响模型，使其无视预期指令、暴露数据、滥用工具，或在用户目标之外采取行动。该内容可以直接来自用户，也可间接来自检索页面、文件、消息或工具输出。
  • 为什么重要: 模型通过同一个语言通道处理指令和数据，因此仅靠输入过滤无法可靠地区分每条恶意指令与合法内容。
  • 实际使用: 将外部内容视为不可信内容，使其与带有权威性的指令隔离，最小化工具权限，对重要写入要求审批，并验证输出和行动。
  • 常见混淆: Prompt injection 与 SQL injection 在技术机制上并不相同；更强的 system prompt 也不是完整防线。
  • 学习课程: Prompt Injection Defense
  • 来源: OWASP prompt injection guidance
  • 相关术语: Least Privilege, Sandbox, Approval Gate, Tool Contract

Prompt Sensitivity ​

  • 分类: Prompt 与上下文
  • 实际含义: 当 prompt 的措辞、顺序、格式或示例发生变化，但任务意图保持不变时，模型输出或测得性能随之产生的差异。
  • 为什么重要: 只在一种方便的表述下成功的系统，对真实用户可能并不可靠，也可能在评估中造成误导。
  • 实际使用: 创建语义等价的 prompt 变体，按案例测量方差，并将这些变体保留在回归测试中，而不是围绕一个 eval set 优化单个 prompt。
  • 常见混淆: Sensitivity 并不总是 prompt 的缺陷；它可能暴露歧义、模型鲁棒性不足、decoding 不稳定或评分规则不充分。
  • 相关术语: Prompt Engineering, Eval Set, Regression Test, Few-Shot
  • 来源: ProSA

Provenance Attestation ​

  • 分类: 安全与治理
  • 实际含义: 经认证、机器可读的元数据，将某个产物与关于其如何、何处、何时以及由哪些输入生成的声明绑定起来。
  • 为什么重要: 它让自动化政策和 reviewer 能验证供应链声明，而非信任一份未签名的构建说明。
  • 实际使用: 在构建系统中生成 attestation，将它绑定到产物摘要，用受控身份签名，并在发布前验证。
  • 常见混淆: 签名可识别证明者并保护完整性；它不能证明 attestation 中每项声明都为真。
  • 相关术语: Data Provenance, Reproducible Build, Audit Log, Verification Gate
  • 来源: SLSA Software Attestations

Purpose Limitation ​

  • 分类: 安全与治理
  • 实际含义: 对个人数据而言，只能为明确、具体的目的收集和使用数据；除非新的用途具备适当的相容或获授权依据。
  • 为什么重要: 在一个工作流中可接受的数据，若被悄然复用于模型训练、评估、个性化或无关分析，可能带来隐私和治理风险。
  • 实际使用: 为每个数据集记录用途，在访问前检查新流水线是否符合该用途，隔离不相容的使用，并在用途变化时要求有文档记录的决策。
  • 常见混淆: Purpose limitation 约束的是数据为何被使用；data minimization 约束的是该用途实际需要多少数据。
  • 相关术语: Data Minimization, Data Classification, AI Risk Assessment, Audit Log
  • 来源: General Data Protection Regulation, Article 5(1)(b)