D

Data Augmentation

• 分类: 数学与训练
• 常见说法: 扩充训练数据。
• 实际含义: 在不收集全新源数据的前提下，创建经变换的图像、扰动后的音频或改写后的文本等样本，以增加训练数据的多样性。只要变换没有破坏任务信号，它就能缓解过拟合。
• 常见混淆: 数据增强必须保留你希望模型学习的目标标签或行为。
• 相关术语: Overfitting, Epoch, Eval Set

Data Classification

• 分类: 安全与治理
• 实际含义: 按已记录的敏感性或影响等级为数据分类，使处理、访问、留存、共享和事件处置规则能反映数据泄露或丢失的后果。
• 为什么重要: 如果源文档、prompt、trace 和生成产物都被视为同等敏感，AI 流水线就无法采用与风险相称的控制措施。
• 实际使用: 在数据进入系统时分类，将标签贯穿派生产物；按类别限制可用工具和去向，并规定数据经转换或聚合后标签如何变化。
• 常见混淆: 数据分类描述的是保护要求，不等同于机器学习中的分类任务，也不表示数据本身准确无误。
• 相关术语: Data Minimization, Trust Boundary, Least Privilege, Audit Log
• 来源: NIST SP 1800-39 Initial Public Draft: Data Classification Practices; NIST FIPS 199: Federal Information and Information System Categorization

Data Deduplication

• 分类: 数据与表示
• 实际含义: 在一个或多个数据集中检测并移除完全重复和近似重复的样本。
• 为什么重要: 重复内容会扭曲训练分布、增加记忆化风险、泄露测试材料，并让评估结果看起来比实际更好。
• 实际使用: 规范化内容，结合精确哈希与相似度方法，人工审查临界聚类，并记录每个样本是由哪个版本和规则移除的。
• 常见混淆: 去重不是普通的数据清洗。两条不同记录可以合理地共享文本，两段改写文本也可能携带同一份泄露信息。
• 相关术语: Data Provenance, Benchmark Contamination, Dataset Split, Overfitting
• 来源: Deduplicating Training Data Makes Language Models Better

Data Exfiltration

• 分类: 安全与治理
• 实际含义: 未经授权，将受保护的数据从一个系统或信任区域传给无权接收它的人员、工具、服务或存储位置。
• 为什么重要: 即使原始数据存储仍完好，agent 也可能通过生成文本、工具参数、URL、日志或副作用暴露机密。
• 实际使用: 减少可读取的数据，维护允许的目的地列表，检查出站工具调用，脱敏敏感字段，并对跨越信任边界的异常传输发出告警。
• 常见混淆: 数据外泄关注的是未经授权的移动或披露。获授权组件的正常数据检索不属于外泄，尽管其后续使用仍可能构成外泄。
• 学习课程: EchoLeak and CVEs for AI
• 相关术语: Trust Boundary, Least Privilege, Indirect Prompt Injection, Audit Log
• 来源: NIST SP 800-53 Rev. 5: AC-4 Information Flow Enforcement

Data Leakage

• 分类: 数据与表示
• 实际含义: 在训练或特征构建中，无意使用了真实预测时不可获得的信息，或使用了本应留作独立评估边界的信息。
• 为什么重要: 信息泄漏会产生虚高指标；系统一旦面对真正未见过的输入，表现就会下滑。
• 实际使用: 在拟合预处理器之前划分数据，不让未来信息进入历史特征，并将测试标签和 benchmark 答案与 prompt 和调优循环隔离。
• 常见混淆: 泄漏不只发生在重复行。全局归一化统计量、时间戳、由目标派生的特征，以及反复根据测试结果修改 prompt，都可能泄漏信息。
• 相关术语: Dataset Split, Benchmark Contamination, Eval Set, Data Provenance
• 来源: scikit-learn: Data leakage

Data Lineage

• 分类: 安全与治理
• 实际含义: 记录数据产物如何经由来源、转换、连接、筛选、版本和下游用途而形成。
• 为什么重要: 当某个来源被修正、撤回或发现不安全时，lineage 能指出哪些数据集、嵌入（embedding）、评估和模型产物可能受影响。
• 实际使用: 为输入和输出分配稳定标识符，记录每次转换及其版本，保留父子关系，并验证受影响来源是否能追溯到每一个派生物。
• 常见混淆: Data provenance 广义地说明来源和保管链；lineage 更强调数据产物之间的转换路径和依赖关系。
• 相关术语: Data Provenance, Datasheet for Datasets, Audit Log, Content Provenance
• 来源: W3C PROV-O

Data Minimization

• 分类: 安全与治理
• 实际含义: 对个人数据而言，只收集、处理、暴露和留存为特定目的所必需的数据。团队也可以把同一原则用作敏感非个人数据的工程控制措施。
• 为什么重要: 每个被放入 prompt、trace、缓存或工具调用的非必要字段，都会增加隐私暴露面以及误用或失陷后的影响。
• 实际使用: 收集前先定义所需字段；尽早在边界处脱敏或聚合；设置留存期限；只有确认可选上下文能提升可量化的任务结果时才保留它。
• 常见混淆: 最小化不代表完全不保留数据，而是要求能针对既定目的说明每项数据、每种用途、每个接收方和每段留存期的必要性。
• 相关术语: Purpose Limitation, Data Classification, Least Privilege, Context Engineering
• 来源: General Data Protection Regulation, Article 5(1)(c)

Data Provenance

• 分类: 数据与表示
• 实际含义: 可追溯的信息，说明数据从何而来、由谁或什么进行了转换、使用了哪些版本，以及派生产物与来源之间的关系。
• 为什么重要: 要复现结果、遵守使用限制、调查污染，或在来源变化后移除受影响数据，都需要 provenance。
• 实际使用: 为数据集分配不可变版本，记录转换作业和来源标识符，并把 lineage 元数据带入嵌入（embedding）、eval 用例和模型产物。
• 常见混淆: 来源 URL 只是 provenance 的一部分；它并不说明采集时间、许可、筛选、转换或下游使用情况。
• 相关术语: Dataset Split, Data Deduplication, Provenance Attestation, Grounding
• 来源: W3C PROV Overview

Dataset Split

• 分类: 数据与表示
• 实际含义: 将样本以文档化方式划分为不同子集，分别用于拟合、开发决策和最终评估。
• 为什么重要: 这种隔离避免了用于选择系统的证据，同时又被当作该系统具备泛化能力的独立证明。
• 实际使用: 应按真实部署单位划分，例如用户、仓库、组织或时间，而不是随机切分彼此相关的行。
• 常见混淆: 随机划分不会自动带来独立性。近似重复项、未来观测值，或同一实体的记录都可能跨越边界。
• 相关术语: Eval Set, Overfitting, Data Leakage, Distribution Shift
• 来源: Datasheets for Datasets

Datasheet for Datasets

• 分类: 安全与治理
• 实际含义: 结构化的 dataset 文档，涵盖其动机、组成、采集过程、预处理、用途、分发、维护和已知局限。
• 为什么重要: dataset 可用不代表安全或适用。下游构建者需要了解其创建方式，以及其假设会在哪些地方失效。
• 实际使用: 将 datasheet 与已版本化的 dataset 一同发布，明确可答疑的负责人，记录被排除的人群和做过的转换，并在 dataset 变化时更新文档。
• 常见混淆: datasheet 记录的是证据和预期用途，不是许可证、质量保证，也不能替代针对具体部署场景的评估。
• 学习课程: Model, System, and Dataset Cards
• 相关术语: Data Lineage, Data Provenance, Model Card, Dataset Split
• 来源: Datasheets for Datasets

Deadline Propagation

• 分类: 可靠性与运维
• 实际含义: 将端到端请求剩余的时间预算传给下游调用，使每个依赖都知道原始请求还能等待多久才有意义。
• 为什么重要: 各自独立的超时设置可能超过用户的截止时间，让结果已无用的遗留工作继续占用容量。
• 实际使用: 在入口设置一个请求截止时间；每次下游调用扣除已耗时间；取消过期工作；记录是哪个边界耗尽了预算。
• 常见混淆: deadline 是绝对或剩余的完成边界。重试延迟决定何时再次开始尝试，且必须纳入同一预算。
• 相关术语: Retry with Backoff, Retry Budget, Tail Latency, Service Level Objective (SLO)
• 来源: gRPC Deadlines

Decode Phase

• 分类: 基础设施与服务
• 实际含义: 自回归推理在处理完输入前缀后，逐步生成新 token 的迭代阶段。
• 为什么重要: decode 与 prefill 在计算、内存和调度上的行为不同，单一的总延迟数字可能掩盖真正的服务瓶颈。
• 实际使用: 分别测量 token 间延迟和输出吞吐量，计入 KV-cache 占用，并测试活跃 decode 与新 prefill 共享容量的混合工作负载。
• 常见混淆: Decode phase 不是 encoder-decoder 模型里的 decoder 组件，它指的是运行时的生成阶段。
• 学习课程: Disaggregated Prefill and Decode
• 相关术语: Prefill, Autoregressive, KV Cache, Time per Output Token (TPOT)
• 来源: DistServe

Decoder

• 分类: 模型与推理
• 常见说法: 模型的输出端。
• 实际含义: 将一种表示映射为输出的组件。在 encoder-decoder transformer 中，decoder 使用带 mask 的 self-attention 和 cross-attention 生成输出；decoder-only language model 则通过单一的因果堆栈生成内容。
• 相关术语: Encoder, Transformer, Autoregressive

Decoding Strategy

• 分类: 模型与推理
• 实际含义: 将模型的下一个 token 分数序列转换为选定 token 和完整输出的算法。
• 为什么重要: 贪心选择、采样、截断和搜索，即使面对相同 logits，也会产生不同的质量、多样性、延迟和可复现性。
• 实际使用: 在 eval 配置中明确任务的 decoding 设置、停止规则和随机种子行为，才能公平比较结果。
• 常见混淆: Decoding 改变的是输出的选择方式，并不会改动模型已训练的参数，也不会注入新知识。
• 相关术语: Autoregressive, Temperature, Top-k Sampling, Nucleus Sampling (Top-p)
• 来源: The Curious Case of Neural Text Degeneration

Defense in Depth

• 分类: 安全与治理
• 实际含义: 在多个系统边界部署相互独立的预防、检测和纠正控制措施，使单一控制失效不会决定最终结果。
• 为什么重要: AI 系统将概率模型、不受信任的内容、工具和外部服务结合在一起，任何单一过滤器或 prompt 都不足以构成安全边界。
• 实际使用: 将指令控制与最小权限、sandbox、schema 校验、重要操作审批、监控和经过测试的恢复路径结合使用。
• 常见混淆: 控制措施更多不一定更好。各层应覆盖不同的失效模式，并保持可测试，而不是重复同一种假设。
• 相关术语: Guardrails, Sandbox, Least Privilege, Trust Boundary
• 来源: NIST Glossary: Defense in Depth

Delegation

• 分类: Agent 与工具
• 实际含义: 向另一名人员或 agent 分配边界明确的子任务，同时提供所需上下文、权限、输出契约和返回条件。
• 为什么重要: 明确的委托让团队能专业分工、并行工作，同时不丢失所有权、范围控制或整合结果的能力。
• 实际使用: 向 reviewer agent 提供确切的文件、评审标准、证据和截止时间，再要求其返回结论，而不是悄悄修改主要产物。
• 常见混淆: 给另一个 agent 发一条含糊消息不算可靠的委托。接收方需要范围契约和明确的回交方式。
• 相关术语: Scope Contract, Handoff, Reviewer Agent, Orchestration
• 来源: Building Effective Agents

Dense Retrieval

• 分类: 检索与生成
• 实际含义: 一种第一阶段检索方法：将 query 和候选项嵌入（embedding）为向量表示，再用相似度函数对候选项排序。
• 为什么重要: 它能检索几乎不共享原词的改写和语义匹配内容，补足 BM25 等词法方法。
• 实际使用: 为领域训练或选择 embedding 模型，为候选项建立向量索引，并在将结果接入生成前评估检索召回率。
• 常见混淆: Dense retrieval 不是 reranker。它负责搜索整个集合；reranker 则重新评分一个较小的候选集。
• 相关术语: Embedding, Semantic Search, BM25, Hybrid Retrieval
• 来源: Dense Passage Retrieval

Diffusion Model

• 分类: 模型与推理
• 常见说法: 从噪声生成图像的模型。
• 实际含义: 围绕渐进加噪过程和学习得到的逆过程训练的生成模型。采样通常从噪声开始，反复执行去噪步骤，有时在学习得到的潜在空间中进行。
• 常见混淆: Diffusion 是通用的生成式框架，并非只用于图像。
• 相关术语: Latent Space, VAE (Variational Autoencoder), Inference

Disaggregated Serving

• 分类: 基础设施与服务
• 实际含义: 一种服务架构：将 prefill 和 decode 运行在单独配置的工作进程池中，并在它们之间传递所需的 attention state。
• 为什么重要: Prefill 和 decode 对硬件的压力不同，因此独立的资源池可以针对各自瓶颈调整规模和调度，而不用在同一个队列中竞争。
• 实际使用: 测量 state transfer 成本，按兼容的模型版本路由请求，依据各自需求信号扩缩容，并测试阶段间的故障恢复。
• 常见混淆: Disaggregation 分离的是运行时阶段，不会把一个模型拆成同一阶段内的 tensor 或 pipeline-parallel 分片。
• 学习课程: Disaggregated Prefill and Decode
• 相关术语: Prefill, Decode Phase, Model Serving, Goodput
• 来源: DistServe

Distribution Shift

• 分类: 评估与安全
• 实际含义: 用于构建或评估系统的数据分布，与系统部署后实际遇到的数据分布之间的差异。
• 为什么重要: 即便模型通过了留出测试，当用户、任务、语言、工具或运行条件变化时仍可能失败。
• 实际使用: 定义预期的部署切片，按切片监测性能和输入特征，并将新的失败案例加入已版本化的 eval set。
• 常见混淆: Distribution shift 不一定是 model drift。模型可能没有变化，环境或用户群体却已经变了。
• 相关术语: Dataset Split, Eval Set, Overfitting, Model Card
• 来源: WILDS

DPO (Direct Preference Optimization)

• 分类: 数学与训练
• 常见说法: 不需要单独 reward model 阶段的偏好训练。
• 实际含义: 一种偏好优化目标，直接依据相对于参考 policy 的偏好与拒绝回答对来训练 policy。在这一阶段，它无需运行显式 reward model 和 reinforcement-learning 循环。
• 常见混淆: DPO 仍依赖偏好数据的质量和覆盖范围，并不会消除评估或 alignment 风险。
• 学习课程: Direct Preference Optimization
• 来源: Direct Preference Optimization paper
• 相关术语: RLHF (Reinforcement Learning from Human Feedback), SFT (Supervised Fine-Tuning), Alignment

Dropout

• 分类: 数学与训练
• 常见说法: 随机关闭一部分激活值。
• 实际含义: 训练期间，随机将一部分激活值设为零，促使网络不依赖单一激活路径。标准推理通常会关闭 dropout，不过 Monte Carlo dropout 会有意保持它开启，以估计不确定性。
• 相关术语: Overfitting, Weight Decay, Activation Function

Durable Execution

• 分类: Agent 与工具
• 实际含义: 以一种方式运行工作流，使其状态和已完成步骤能跨越进程崩溃、重启或长时间等待而保留下来，不会重复已确认的副作用。
• 为什么重要: Agent 任务常横跨模型调用、工具、审批和外部系统。短暂的进程不应成为唯一的进度记录。
• 实际使用: 持久化每次工作流状态转换，为外部写入使用幂等键，并在 worker 重启后从最新 checkpoint 恢复。
• 常见混淆: Durable execution 不会自动让每项操作都安全。副作用仍需要幂等性和补偿规则。
• 相关术语: Checkpoint, Agent State, Idempotency, Approval Gate

Dynamic Batching

• 分类: 基础设施与服务
• 实际含义: 一种运行时策略：根据兼容的形状、最大规模、优先级和允许的排队等待时间，从排队请求中组成推理 batch。
• 为什么重要: 将请求分组可提高硬件利用率，但在流量稀疏或请求差异很大时，等待凑 batch 反而会增加延迟。
• 实际使用: 根据测得的延迟目标设定排队等待和 batch 上限，分离不兼容的请求形状，并在接近真实到达率的条件下同时比较吞吐量和尾延迟。
• 常见混淆: Dynamic batching 从排队任务中组装 batch；Continuous batching 则在自回归生成已运行时改变 batch 成员。
• 学习课程: vLLM Serving Internals
• 相关术语: Admission Control, Continuous Batching, Saturation, Tail Latency
• 来源: NVIDIA Triton: Models and Schedulers