K

Knowledge Distillation

• 分类: 数学与训练
• 实际含义: 训练 student model 复现更强 teacher 的特定行为或输出分布，通常同时使用常规目标标签。
• 为什么重要: 当直接服务 teacher 不现实或成本过高时，它可以把有用行为迁移到更小或更便宜的模型中。
• 实际使用: 定义 teacher 输出、temperature、student loss 和留出 eval set；再将 student 同 teacher 以及仅用标签的基线进行比较。
• 常见混淆: Distillation 迁移的是训练分布上的行为，不会复制 teacher 的每种能力、事实或安全属性。
• 相关术语: Fine-tuning, Loss Function, Logits, Quantization
• 来源: Distilling the Knowledge in a Neural Network

KV Cache

• 分类: 模型与推理
• 常见说法: 能加快 token 生成的缓存。
• 实际含义: 自回归生成中较早位置的 key 和 value tensor 的缓存。复用它们可避免在每个 decode 步骤中，为未变化的前缀重复计算 attention 投影。
• 为什么重要: 它会减少重复计算，但也会消耗随序列长度、层数、batch 和模型配置增长的内存。
• 常见混淆: KV cache 是一个序列的运行时 attention 状态。Prefix caching 会跨请求复用合格的 KV 状态；prompt caching 是更广义的提供商或应用复用契约。
• 学习课程: KV Cache and Flash Attention
• 相关术语: Attention, Autoregressive, Prefix Caching, Prompt Cache