W

Warmup

• 分类: 数学与训练
• 实际含义: 训练开始时的一个阶段，学习率从较小的值逐步升至主调度计划的目标值。
• 为什么重要: 早期的梯度和优化器统计量可能不稳定，尤其在大 batch 或 transformer 训练中；骤然采用完整幅度的更新可能破坏优化过程。
• 实际使用: 用步数或已处理的 token 定义 warmup，记录实际曲线，并在批大小、优化器和总训练预算都明确的前提下调参。
• 常见混淆: Warmup 并非每个模型都需要，也不能让原本不合适的学习率变得安全。
• 相关术语: Learning Rate Schedule, Learning Rate, Batch Size, AdamW
• 来源: Accurate, Large Minibatch SGD

Weight

• 分类: 数学与训练
• 常见说法: 模型内部学到的一个数值。
• 实际含义: 模型变换中的一个可训练系数。权重通常组织为 tensor，优化过程通过调整它们来降低训练目标。
• 常见混淆: 并非所有 parameter 都称为 weight；bias、embedding 和 normalization scale 也都是 parameter。
• 相关术语: Parameter, Tensor, Optimizer

Weight Decay

• 分类: 数学与训练
• 常见说法: 在优化过程中缩小权重的正则化方法。
• 实际含义: 一种在训练期间减小选定 parameter 幅度的更新规则，常见做法是在梯度更新之外，以单独的收缩因子乘以权重。
• 为什么重要: 它可能提升泛化能力，但适用的系数和应排除的 parameter 组取决于模型、优化器、调度计划和数据。
• 常见混淆: 对某些简单优化器，解耦的 weight decay 等同于 L2 损失惩罚；但对 Adam 等自适应优化器通常并不等同。
• 相关术语: AdamW, Overfitting, Optimizer

Worktree

• 分类: AI-native 开发
• 实际含义: 在 Git 中，worktree 是附属于某个仓库及分支或 commit 的工作目录；它共享对象存储，但拥有各自检出的文件和 index。
• 为什么重要: 独立 worktree 让人和 agent 可以并行工作，无须反复切换或覆盖同一个检出目录。
• 实际使用: 为每个编码 agent 分配具名功能分支和准确的 worktree 路径，再通过正常的 Git 历史审查并集成补丁。
• 常见混淆: Worktree 隔离的是检出的文件，并不会隔离机器上的所有进程、端口、缓存、数据库或密钥。
• 学习课程: Workbench for Real Repositories
• 来源: git-worktree documentation
• 相关术语: Coding Agent, Patch, Scope Contract, Handoff