L

Late Fusion

• 分类: 多模态系统
• 实际含义: 通过独立的 encoder 或预测器处理各模态，并在接近任务输出时合并其高层表示、评分或决策。
• 为什么重要: 独立分支可使用特定模态的架构并容忍缺失输入，但也可能错过更早融合才能捕获的细粒度交互。
• 实际使用: 校准每个分支，定义缺失模态如何影响合并，比较评分层和特征层组合，并将各分支单独作为消融实验进行评估。
• 常见混淆: Late fusion 描述的是合并发生的位置，不表示简单平均，也不保证各模态贡献相等。
• 学习课程: Cross-Attention Fusion
• 相关术语: Early Fusion, Multimodal Fusion, Modality, Evaluation (Eval)
• 来源: Multimodal Deep Learning; Multimodal Machine Learning: A Survey and Taxonomy

Latent Space

• 分类: 数据与表示
• 常见说法: 模型的隐藏表示空间。
• 实际含义: 一种学习得到的表示空间，其坐标编码对模型有用的因素。它可能比输入维度更低，但并非每种 latent representation 都要求压缩。
• 常见混淆: 邻近点是否有意义地相似，取决于模型和训练目标实际学到了什么。
• 相关术语: Embedding, VAE (Variational Autoencoder), Feature

Learning Rate

• 分类: 数学与训练
• 常见说法: 每次优化步长的大小。
• 实际含义: 优化器用来控制参数更新幅度的缩放系数。取值过大会让训练不稳定；取值过小则会使有用的进展慢到不切实际。
• 常见混淆: 实际更新还取决于优化器、调度策略、梯度规模、batch 和参数历史。
• 相关术语: Optimizer, Gradient Descent, Batch Size

Learning Rate Schedule

• 分类: 数学与训练
• 实际含义: 按步数、epoch、指标或预设曲线，随着训练进行而改变优化器学习率的策略。
• 为什么重要: 训练的不同阶段可能受益于不同的更新幅度，因此固定学习率可能在早期不稳定，或在后期造成浪费。
• 实际使用: 将调度策略与优化器配置一起版本化，记录每步的实际学习率，并在相同 token 或更新预算下比较不同调度策略。
• 常见混淆: Scheduler 控制的是学习率随时间的变化；它不决定优化器何时执行一步，也不保证收敛。
• 相关术语: Learning Rate, Warmup, Optimizer, Epoch
• 来源: SGDR; Attention Is All You Need

Least Privilege

• 分类: 评估与安全
• 实际含义: 仅为模型、agent、工具或用户授予当前任务所需的权限，并且只在需要期间授予。
• 为什么重要: 模型会犯错，也可能遵循恶意指令。收窄权限能降低单次失败可造成的损失。
• 实际使用: 给文档 agent 源文件的读权限和单个分支的写权限，但不给生产凭证或合并权限。
• 常见混淆: Authentication 证明身份；least privilege 限制该身份能做什么。
• 相关术语: Sandbox, Approval Gate, Prompt Injection, Tool Contract

LLM (Large Language Model)

• 分类: 模型与推理
• 常见说法: AI 应用的大脑。
• 实际含义: 容量足够大、训练覆盖广泛，能通过 prompting 或适配完成多种语言任务的 language model。当前大多数 LLM 使用 transformer 架构和序列预测目标，但规模阈值、数据来源和训练配方各不相同。
• 常见混淆: LLM 是模型组件；工具、检索、状态、政策和产品逻辑都位于其周边系统中。
• 相关术语: Transformer, Autoregressive, Agent Harness

LLM-as-a-Judge

• 分类: 评估与安全
• 实际含义: 使用 language model 按 rubric 对另一系统的输出进行评分、比较、分类或批评。
• 为什么重要: 对于清晰度或指令遵循这类难以写成精确匹配测试的质量，它可以扩展评估规模。
• 实际使用: 向独立的 evaluator model 提供任务、候选答案、参考证据和结构化 rubric，再用人工审查过的示例校准其评分。
• 常见混淆: Judge model 不是真值。它可能受顺序、篇幅、文风、prompt 措辞或模型共同失效模式影响而产生偏差。
• 学习课程: Eval-Driven Agent Development
• 相关术语: Evaluation (Eval), Eval Set, Verification Gate, Precision & Recall

Load Shedding

• 分类: 可靠性与运维
• 实际含义: 当需求超过可用于产出有效结果的容量时，在一个或多个过载边界有意拒绝、丢弃或取消选定工作。
• 为什么重要: 过载时若继续接受每个请求，排队会不断加剧，直到几乎所有请求都错过截止时间，恢复也会更困难。
• 实际使用: 尽早在已有充分信息的边界实施丢弃；尽量保留高优先级及已准入的工作；识别过载范围；只有在条件暂时存在且请求仍处于其重试预算内时，才将响应标为可重试。
• 常见混淆: Load shedding 不局限于已接收的工作。Admission control 专指接收前的关卡；rate limiting 即使在仍有容量时也可执行使用政策。
• 相关术语: Admission Control, Backpressure, Rate Limit, Graceful Degradation
• 来源: Google SRE: Handling Overload

Logits

• 分类: 模型与推理
• 实际含义: 模型为候选结果给出的未归一化数值分数，随后由归一化函数或 decoding 规则将其转换为选择结果。
• 为什么重要: Temperature、softmax、top-k 和 top-p 都直接作用于 logits 或由其派生，因此 logits 连接了模型计算与生成 token。
• 实际使用: 在 API 提供时检查 logits 或 log probabilities，在采样前应用 mask，并避免将原始数值大小理解为已校准的置信度。
• 常见混淆: Logits 不是概率；没有定义好的转换时，也不能跨无关位置、模型或任务进行比较。
• 相关术语: Softmax, Temperature, Token, Cross-Entropy
• 来源: Attention Is All You Need

LoRA (Low-Rank Adaptation)

• 分类: 数学与训练
• 常见说法: 参数高效的微调。
• 实际含义: 一种方法：保持基础权重冻结，仅为选定层学习低秩更新矩阵。相较全参数微调，它可减少可训练参数数量，并降低训练内存消耗。
• 常见混淆: 实际节省的内存和速度取决于秩、目标模块、优化器状态、激活值内存、量化和实现方式。
• 学习课程: Fine-Tuning and LoRA
• 来源: LoRA paper
• 相关术语: Fine-tuning, QLoRA, Parameter

Loss Function

• 分类: 数学与训练
• 常见说法: 衡量训练误差的数值。
• 实际含义: 将预测与目标（有时还包含正则化项）映射为优化过程尝试降低的值的目标函数。损失函数决定训练会直接奖励或惩罚哪些错误。
• 常见混淆: 较低的训练损失不保证在生产任务上产生有用、安全或可泛化的行为。
• 相关术语: Cross-Entropy, Gradient, Evaluation (Eval)

Lost in the Middle

• 分类: Prompt 与上下文
• 实际含义: 一种长上下文失效模式：模型表现会随证据位置而变化，当相关信息处于开头与结尾之间时可能退化。
• 为什么重要: 即使证据装得进上下文窗口，也不能保证模型会以同样的可靠性使用每个位置的信息。
• 实际使用: 测试多种证据位置，减少干扰项，把决策关键约束放在仍然显眼的位置，并根据来源核验答案。
• 常见混淆: 这是观察到的行为模式，不是对每个模型、任务或位置都同样适用的固定定律。
• 相关术语: Context Window, Context Engineering, Eval Set, Grounding
• 来源: Lost in the Middle