N

NaN (Not a Number)

• 分类: 数学与训练
• 常见说法: 数值计算失败的信号。
• 实际含义: 一种表示未定义或不可表示数值结果的浮点值。在训练中，NaN 可能来自无效运算、溢出、不稳定的 normalization、过大的更新，或更早出现的受损值。
• 实际使用: 找到第一个非有限 tensor，检查其输入，并在该运算附近添加断言或异常检测。
• 相关术语: Mixed Precision, Learning Rate, Gradient

Normalization

• 分类: 数学与训练
• 常见说法: 将数据缩放到标准范围。
• 实际含义: 一类变换，使用已定义的统计量来缩放或重新居中输入、activation 或 feature。Batch normalization 和 layer normalization 使用不同的轴，并且在训练和 inference 中行为不同。
• 常见混淆: Normalization 可以改善优化稳定性，但它并不总是允许使用更大的 learning rate，也不会改善每种架构。
• 相关术语: Tensor, Activation Function, Mixed Precision

Nucleus Sampling (Top-p)

• 分类: 模型与推理
• 别名: Top-p sampling
• 实际含义: 一种 decoding 方法，从累计概率达到所选阈值的最小 next-token 候选集合中采样。
• 为什么重要: 候选集合大小会随分布而变化：不确定性分散时保留更多选项，概率集中时保留更少选项。
• 实际使用: 在保持 temperature 和 stop 设置不变的情况下评估该阈值，并为每项结果记录完整的 decoding 配置。
• 常见混淆: Top-p 是概率质量阈值，而 top-k 始终保留固定最大数量的候选项。
• 相关术语: Top-k Sampling, Temperature, Decoding Strategy, Softmax
• 来源: The Curious Case of Neural Text Degeneration