Q

QLoRA

• 分类: 数学与训练
• 常见说法: 使用量化基座模型的 LoRA。
• 实际含义: 一种参数高效微调方法：将预训练基座模型以低比特量化表示冻结，仅在需要处以更高精度计算训练 LoRA adapter。
• 为什么重要: 它能减少适配大模型所需的内存，但节省幅度和质量取决于模型、rank、optimizer、序列长度、硬件和具体实现。
• 常见混淆: QLoRA 不保证特定的内存占用，也不保证与全量微调之间存在固定的质量差距。
• 学习课程: Fine-Tuning and LoRA
• 来源: QLoRA paper
• 相关术语: LoRA (Low-Rank Adaptation), Quantization, Fine-tuning

Quantization

• 分类: 模型与推理
• 常见说法: 用更少的 bit 存储或计算模型数值。
• 实际含义: 使用较低精度格式表示权重、激活值或 cache，以降低内存、带宽或计算成本。不同方法在校准、粒度、数据类型，以及转换发生在训练前、训练中还是训练后等方面各不相同。
• 常见混淆: 从一种标称 bit 宽度变为另一种，并不保证端到端内存或速度按相同比例变化；元数据、kernel、cache 和硬件支持同样会产生影响。
• 相关术语: QLoRA, Mixed Precision, Parameter