29 - 微调数据准备与对话模板
本章课程目标:
- 能分清 JSONL 的文件组织方式与 Alpaca、ShareGPT 的样本结构,找到任务、输入和参考答案。
- 能对照原文审核答案,处理格式、重复与标注分歧,并判断数据还缺少哪些场景。
- 能说明训练集、验证集和测试集的用途,完成清洗与固定划分,检查数据泄漏和处理报告。
- 能解释字段映射、对话模板和分词器各自的职责,分清训练与推理时提供的内容。
- 能整理后续训练所需的数据与配套记录,并说明自动检查和人工审核各完成了什么。
学习建议: 先按第 1~3 节用一条图书馆样本认清任务、文章和答案,审核内容并比较两种数据结构;再到第 5 节清洗、划分数据,最后理解第 6 节的输入转换。第 3.3 节工具调用与第 4 节文档问答为选读,按需要练习;第 6 节代码等第 31 章环境准备好后再运行。章末先独立作答,再逐题核对参考思路。