Q：训练后量化的完整流程是什么？粒度、校准方法和离群值如何共同影响精度？

来源：摩尔线程 AI Infra 二面、智谱 AI Infra 一面、百度 AI Infra 一面

新手答：“准备一批校准数据，统计最大最小值，再把 FP16 权重转成 INT8 或 INT4。”

高手答：

先确定量化对象和部署约束：只量化权重，还是同时量化激活、KV Cache；目标后端是否有对应 Kernel；允许多大精度回退。然后使用与线上分布一致、覆盖长短输入和困难样本的校准集采集张量统计，按 Per-Tensor、Per-Channel 或 Per-Group 选择缩放粒度，再决定对称/非对称量化、数据格式和舍入策略。

MinMax 实现简单，但单个离群值会拉大范围；Percentile 通过裁剪尾部换取主体分辨率；KL、MSE 等方法直接搜索量化前后分布或误差的折中。激活离群明显时，可采用通道级缩放、离群通道保留高精度或权重与激活重参数化。粒度越细通常误差越小，但 Scale 元数据、反量化和 Kernel 复杂度越高。

验收不能只看权重重构误差：需要逐层定位敏感模块，对困惑度、下游任务、安全集和长上下文分层回归，同时实测 TTFT、TPOT、吞吐、显存和成本。若后端没有高效低精度 Kernel，模型虽然更小，也可能因反量化或 Shape 不合适而更慢。

差距在哪：新手把 PTQ 当类型转换，高手把校准分布、粒度、离群值、Kernel 支持和端到端验收串成一条决策链。