4、大模型与训练基础术语

术语	一句话解释	解决的问题 / 易混点	建议先看
LLM	大语言模型	主要处理自然语言理解、生成、推理和代码任务	1-1
AIGC	人工智能生成内容	是结果视角，不等于底层一定只有 LLM	1-1
AGI	通用人工智能	更偏长期目标，不是当前项目里的落地技术名词	1-1
Token	模型处理文本的基本计量单位	不是字数，中文、英文、代码切分方式不同	1-1
上下文窗口	模型一次能看到的最大上下文范围	影响长文问答、多轮对话和 RAG 拼接能力	1-1
Transformer	现代大模型的重要架构基础	自注意力机制是关键，不等于所有 AI 模型都是 Transformer	1-1
MoE	混合专家模型	不是每次激活全部参数，而是按路由激活部分专家	1-1
预训练	用大规模通用语料训练基础能力	让模型先具备广泛语言和知识能力	1-1
续训	在已有基座上继续预训练	更偏补领域知识分布，成本通常比普通微调高	1-3
微调	用任务数据调整模型行为	更偏格式、风格、偏好和任务习惯	1-3
SFT	监督微调	用标注好的输入输出样本训练模型	1-1、1-3
RLHF / RLAIF	基于人类或 AI 反馈的对齐训练	让模型更符合偏好、安全规范和回答习惯	1-1
LoRA	低秩适配微调	用较低成本对模型做增量训练	1-3
QLoRA	量化版 LoRA	常用于显存更紧张的微调场景	1-3
灾难性遗忘	新训练后把原本会的能力冲掉	微调、续训都要警惕	1-3
幻觉	模型一本正经地说错话	RAG 能缓解，但不能保证彻底消除	1-1、19
推理	模型线上生成回答的阶段	和训练阶段不同，线上调用主要发生在推理阶段	11
Temperature	控制输出随机性的参数	越高通常越发散，越低通常越稳定，不是越低越好	11
Top P	基于概率质量的采样参数	和 Temperature 都会影响输出多样性	11