B

Backpressure

• 分类: AI-native 开发
• 实际含义: 一种流量控制机制：当下游组件无法以当前速率安全处理工作时，减缓或拒绝上游工作。
• 为什么重要: 没有 backpressure，排队的 agent 运行、工具调用或流式事件可能耗尽内存、超出速率限制，并放大重试。
• 实际使用: 当评估器队列达到上限时，暂停新的 agent 任务，或返回可重试响应，而不是无限制地接收工作。
• 常见混淆: Backpressure 在故障发生前保护容量；circuit breaker 则在故障表明依赖不健康后停止调用。
• 相关术语: Rate Limit, Retry with Backoff, Circuit Breaker

Backpropagation

• 分类: 数学与训练
• 常见说法: 神经网络如何学习。
• 实际含义: 高效应用链式法则，将导数从标量损失沿计算图反向传播的过程。它计算梯度；优化器再用这些梯度更新参数。
• 常见混淆: Backpropagation 负责计算梯度，并不选择更新规则或学习率。
• 名称由来: 导数信息从损失向前面的操作反向传递。
• 学习课程: Backpropagation from Scratch
• 相关术语: Autograd, Gradient, Optimizer

Batch Size

• 分类: 数学与训练
• 常见说法: 一次处理多少个样本。
• 实际含义: 在优化器更新前，其损失共同构成一次梯度估计的样本数量。更大的 batch 可提高硬件利用率并降低梯度噪声，但需要更多内存，也可能需要不同的学习率或调度策略。
• 常见混淆: 不存在通用的 batch size 范围或规则，认为每次增大 batch 都应以相同幅度提高学习率并不成立。
• 相关术语: Learning Rate, Gradient, Optimizer

Benchmark Contamination

• 分类: 评估与安全
• 实际含义: 评估样本与用于预训练、微调、prompt、选择或以其他方式改进被评估系统的数据之间发生重叠或信息泄漏。
• 为什么重要: 污染可能使 benchmark 分数反映的是既有暴露，而非对未见任务的泛化能力。
• 实际使用: 跟踪数据集来源，在训练数据源中搜索完全和近似重复项，保留私有测试用例，并用新编写的样本更新公开评估集。
• 常见混淆: 污染的范围不止于完全复制。改写文本、答案密钥、benchmark 元数据和重复的 prompt 调优也都可能泄漏评估信息。
• 相关术语: Data Leakage, Data Deduplication, Eval Set, Exact Match (EM)
• 来源: Investigating Data Contamination in Modern Benchmarks for Large Language Models

BM25

• 分类: 检索与生成
• 实际含义: 一种词法排序函数：根据查询词匹配为文档评分，同时考虑词语稀有度、重复出现次数和文档长度。
• 为什么重要: 它是很强的精确术语检索基线，且能为标识符、罕见词与领域短语补足 dense retrieval。
• 实际使用: 使用 BM25 和 dense search 检索候选项，合并二者排名，再评估合并结果，之后才考虑加入成本更高的 reranker。
• 常见混淆: BM25 不直接理解语义相似性，其分数在不同查询或索引配置之间也没有通用含义。
• 相关术语: Hybrid Retrieval, Dense Retrieval, Reranker, RAG (Retrieval-Augmented Generation)
• 来源: The Probabilistic Relevance Framework: BM25 and Beyond

Byte Pair Encoding (BPE)

• 分类: 数据与表示
• 实际含义: 一种子词分词方法，反复合并频繁相邻的单元，从训练文本构建固定词表。
• 为什么重要: 它在词表规模和把罕见词或未见词表示为更小单元的能力之间取得平衡。
• 实际使用: 只在获准的语料划分上训练分词器，将其合并规则与模型一同版本化，并检查它如何切分代码、多语言文本和空白字符。
• 常见混淆: BPE 是一种分词器家族，并不是对所有模型如何产生 token 的通用描述。
• 相关术语: Tokenization, Vocabulary, Token, Embedding
• 来源: Neural Machine Translation of Rare Words with Subword Units