2、数据来源与质量要求
2.1 数据来源与获取方式
微调数据的内容和答案形式应符合目标任务。
| 数据来源 | 适合做什么 | 常见问题 |
|---|---|---|
| 公共数据 | 入门练习，或作为与任务匹配的训练数据 | 可能与自己的任务无关 |
| 真实业务数据 | 让模型适应真实业务场景 | 原始格式常常混乱，答案也未必统一 |
| 合成数据 | 补齐稀缺场景、扩充边界样本 | 生成得快，但仍然需要检查答案 |
例如，要做企业内部制度问答，通用对话数据可以帮助模型学习问答形式，但“公司年假有多少天”仍需以本公司的制度为准。准备这类任务的数据时，可以结合企业制度、已有问答、客服工单和人工核对的标准答案。
如果真实样本不足，也可以围绕任务规则生成模拟样本，再抽样检查答案是否正确、是否符合业务要求。
2.1.1 ModelScope 数据集查找
公共数据可以从 ModelScope（魔搭社区）的数据集页面查找。前面介绍的“模型库”用来找模型，“数据集”栏目则用来找训练或评测所需的数据，包含文本、图像、音频等类型。
如果已经知道数据集名称，可以在页面上方直接搜索；还没有具体目标时，可以先按左侧的任务分类浏览。例如，做对话或问答任务时，选择“文本”下的“智能对话”或“问答”，再从列表中查看相关数据集。
例如，打开 Alimeeting4MUG 数据集，可以看到它面向中文会议场景，包含关键词抽取、摘要等任务。页面提供“数据集介绍”“数据预览”和“数据集文件”三个入口：
| 页面入口 | 重点看什么 |
|---|---|
| 数据集介绍 | 数据从哪里来、使用什么语言、面向什么任务、怎样标注，以及使用许可是否符合自己的用途。 |
| 数据预览 | 直接查看几条输入和答案，判断文本内容、长度和答案形式是否合适。不是每个数据集都支持在线预览。 |
| 数据集文件 | 查看实际文件及其格式、大小，确认是否已有训练集、验证集或测试集，并按页面说明下载。 |
如果数据集没有在线预览，可以先阅读介绍页中的结构样例和加载说明，或下载少量数据检查，不必一开始就下载整套。下载后仍需清洗数据，并整理成后文介绍的 Alpaca 或 ShareGPT 等格式，才能接入本课程的训练流程。
2.1.2 常用数据准备工具
当你开始处理自己的文档时，可以了解下面三个数据准备工具：
| 工具 | 能帮我们做什么 | 什么时候值得了解 |
|---|---|---|
| Easy Dataset | 通过界面导入文档、拆分内容、生成和编辑问答数据 | 想先把一份文档整理成可检查的问答样本 |
| DataFlow | 把数据提取、转换、清洗、筛选和生成等步骤组织成处理流程 | 文档较多，希望批量执行一套数据处理规则 |
| GraphGen | 利用知识图谱中的实体及其关系，辅助生成训练数据 | 数据需要体现多个知识点之间的联系，可作为进阶工具了解 |
第 4 节的独立扩展用 Easy Dataset 完成“导入产品说明 → 生成问答 → 审核 → 导出”。DataFlow 和 GraphGen 可供批量处理与进阶练习时选用。
2.2 关键词标注的质量要求
怎样判断一份关键词答案能不能用？回到前面的教学文本：“市图书馆周末开设儿童阅读课，读者可通过公众号预约。”对照几种输出看看：
| 输出示例 | 检查结果 |
|---|---|
市图书馆;儿童阅读课;公众号预约 | 能概括主要对象、活动和参与方式，是本例的一份参考答案 |
图书馆;活动 | 没有说错，但过于笼统，丢掉了“儿童阅读课”这一主要信息 |
市图书馆;成人培训 | 格式没问题，但原文没有成人培训，内容不正确 |
关键词：市图书馆;儿童阅读课 | 内容与原文有关，但多出了任务不允许的前缀 |
检查一条样本时，可以按这个顺序来：先读原文，自己说出文章主要讲什么；再看参考答案是否抓住主题、有没有添加原文不支持的内容；最后检查分号、前缀和重复关键词。
这就是内容质量与格式质量的区别。分号、空项等问题可以交给脚本检查；关键词是否选得恰当，仍需要对照原文判断。专业文本中的名称拿不准时，应请熟悉该领域的人核对，不能只因为某个词看起来陌生就删掉。
关键词答案也不一定只有一种合理写法。例如，“公众号预约”可以看成一个参与方式，也可以拆成渠道与动作。但同一份数据中不能随意切换口径，下一节会约定本例采用哪种写法。
准备自己的数据时，先审核一小批，确认选词要求可执行，再扩大数量。如果某类文章经常漏掉主题，就补充这类文章及可靠答案；反复复制已经有的样本，并不能补上这个问题。
还要检查：样本是否覆盖实际会收到的文章。 假如训练材料全是图书馆活动通知，换成农业摘要后频繁漏掉品种名，首先要检查这类主题和名称是否得到充分示范。单纯增加更多活动通知，未必能解决问题。
<details> <summary>准备自己的数据时：用一张覆盖表决定补什么</summary>下面是一张可用于自己项目的覆盖检查表。同一篇文章可以同时属于“长文”“含专业名称”等多类，不必把它们当成互斥分类。
| 检查维度 | 从数据中找什么 | 对照答案看什么 |
|---|---|---|
| 文章主题 | 实际业务中常见的主题，以及较少见但需要支持的主题 | 是否抓住主要对象与事情 |
| 文本长度 | 短文、较长文章；长度按分词后的 token 数统计 | 关键内容是否落在截断位置之后，见第 30 章第 4 节 |
| 完整名称 | 地名、机构名、活动名、品种名等 | 是否保留影响含义的限定词 |
| 全称与缩写 | 同时包含全称和缩写、只包含缩写的文章 | 是否按同一套规则选词 |
| 文本噪声 | 多余空白、识别错误、残缺句子 | 能否依据现有文本确认答案；疑点是否单独记录 |
为每一类记下“训练样本数量、验证样本数量、已审核数量、主要错误”。发现验证中某类表现差，就回查训练侧是否缺少这类输入或存在答案冲突；从新的来源补充并审核，避免把验证题直接搬进训练集。各类是否都达标，应分别查看，整体平均分可能掩盖少数类别的问题。
需要多少条数据，没有适用于所有任务的固定答案。 本课的 1,600 条训练数据是练习规模。自己的任务应先让常见场景与关键边界有可靠示范，再根据验证结果决定补哪些数据、是否值得扩大训练。样本数量增加，不代表覆盖范围和答案质量一定同步提高。
空文本等不在当前练习范围内的输入，先按第 28 章任务约定确定处理方式。如果需要返回“无法抽取”等新状态，应统一修改任务规则和数据版本，避免同类输入对应相互矛盾的答案。
</details>下面先把输出规则写清楚。
2.3 关键词标注规则
这里的“标注”，指的是为一条输入确定参考答案；“标注规则”就是提前约定什么样的答案才算正确。清洗数据前，先把这套规则写清楚。关键词抽取至少要明确：
| 需要约定的内容 | 本课程当前规则 |
|---|---|
| 输出内容 | 一行，一个或多个能够概括主题的关键词 |
| 分隔方式 | 关键词之间使用英文分号 ; |
| 多余内容 | 不输出解释、序号、“关键词：”前缀或重复词 |
| 关键词数量 | 根据文本主题确定，不强行统一数量 |
不同文章包含的主题信息不同，不必为了统一成“3～5 个”，删掉必要的关键词或凑入无关词。业务确实需要限制数量时，应先制定规则，再按规则审核样本。
格式明确后，还要约定怎样选词。 下面这套口径用于新增标注和审核草案：从给定文本中选取能概括主题的信息，保留原文语言，不自行翻译或补充背景知识。它不是所有关键词任务唯一的规则；如果业务需要英文标签、固定分类词或固定数量，应先另行约定，再一致地准备数据。
先把选词判断落实到三件事：有原文依据，保留完整名称，覆盖文章主题。例如，“儿童阅读课”不能缩成泛泛的“活动”，“公众号预约”在本例作为一项参与方式整体保留。完整规则如下，审核遇到分歧时回来查。
<details> <summary>标注时查阅：完整选词规则与分歧处理</summary>| 容易分歧的地方 | 标注时怎样处理 | 例子 |
|---|---|---|
| 选原词还是自己概括 | 优先使用原文词语；可去掉虚词整理成短语，但不改变含义、不翻译、不补充事实 | “通过公众号预约”可整理为“公众号预约”；“儿童阅读课”不改成“亲子教育培训” |
| 哪些信息要选入 | 先保留文章主要讲的对象和事情，再选影响主题理解的方法、结果或参与方式；不是把所有名词都列一遍 | 本例保留图书馆、活动名称和预约方式；“周末”是否也要选，应按业务对时间信息的需要统一约定 |
| 保留完整名称还是缩短 | 保留影响含义的限定词，避免只留下过于宽泛的类别 | 本例选“儿童阅读课”，不缩成“阅读课”或“活动” |
| 一个短语要不要拆开 | 能共同表达一项关键信息的短语，优先整体保留，不为凑数量拆词 | 本例选“公众号预约”，不拆成“公众号;预约” |
| 全称、简称怎样统一 | 原文同时给出全称和简称时，默认选全称；只有简称时保留简称，不自行补全 | 原文写“高层体系结构（HLA）”时选“高层体系结构”；只写“HLA”时保留“HLA” |
| 两个近义词要不要都选 | 表达同一件事时保留一种写法；是否为同义词要结合原文判断 | 不把“儿童阅读课”和自己改写的“少儿阅读课程”同时列入答案 |
| 专业含义拿不准怎么办 | 保留原文和疑问，查来源或请领域人员确认；有未解决的内容疑点时，整条记录先不纳入新增训练数据 | 陌生简称不自行扩写，也不只因看不懂就删除 |
按这套口径，图书馆短文可以标为 市图书馆;儿童阅读课;公众号预约。图书馆;阅读课;公众号;预约 虽然也与原文有关，却缩短了名称、拆开了参与方式，不适合作为这套规则下的标准示范。若业务确实需要把“渠道”和“动作”分别提取，应先调整规则，再一致地标注同类样本。
先走完一个审核示范。 按“对照原文 → 判断问题 → 提出修改 → 保留待确认项”检查下面的地名。它来自验证集第 4 条，用于理解审核方法；修改建议先作为待审核草案。
示例一：名称被截短——“万安县”变成了“安县”。
第 4 条原文节选：
近年来，由于苗木的调运引种和生产上的疏忽，柑桔疮痂病在万安县发生危害有加重趋势
原参考答案中包含 安县。虽然这两个字能在原文中找到，但它们只是“万安县”的一部分。
| 审核步骤 | 本例记录 |
|---|---|
| 判断问题 | 地名被截短，丢掉了具体所指；关键词不能仅凭“能找到这几个字”就判为正确 |
| 提出修改 | 建议恢复为 万安县；按文章主题形成的整条草案为 柑桔疮痂病;万安县;果业生产 |
| 保留待确认项 | 是否同时收录“引种”等背景信息，需要统一选词范围；这不影响恢复完整地名的判断 |
这个示范检查的是参考答案本身。若答案由另一个模型起草，也要经过同样审核；下面两例用验证集第 6 条及已有模型回答练习，不需要先学会第 32 章的评分。
示例二：词都有依据，却漏掉了文章主题。
第 6 条原文的两段节选如下，保留原有文字和标点：
夏波蒂是加拿大福瑞克通农业试验站用"F58050"为 母本,"Bakeking"为父本经有性杂交育成
2003年由榆林市农科所弓1人我市试种,通过5年观察,该品种产量高,炸条品质和食用品质优良,适 宜在我市北部风沙滩水地区推广栽培,现将种植表现及栽·培技术简介如下:
一份已保存的模型回答是：
F58050;Bakeking| 审核步骤 | 本例记录 |
|---|---|
| 判断问题 | 两个词确实在原文中，但都在说明亲本来源。只列它们，无法概括“夏波蒂的种植表现”这一主题 |
| 提出修改 | 应先保留主品种与种植表现。建议草案为 夏波蒂;榆林市;种植表现;推广栽培;炸条品质;食用品质 |
| 保留待确认项 | 是否收录亲本信息需按业务需要约定；原参考中的“马铃薯”未在给定文本直接出现，须查来源确认。原文“弓1人”“栽·培”等疑似文字识别问题也单独记录 |
这里没有断言“马铃薯”一定错误，而是把“当前文本能确认什么”和“还需要查什么”分开。有原文依据，是选词的必要检查，但还要看有没有抓住主题。
示例三：格式正确，却多出了没有依据的词。
还是第 6 条原文，另一份已保存的回答是：
F58050;Bakeking;F68050| 审核步骤 | 本例记录 |
|---|---|
| 判断问题 | 一行、英文分号、无重复，形式上没有问题；但原文写的是 F58050，没有 F68050，而且仍漏掉“夏波蒂” |
| 提出修改 | 若把它作为新标注的草稿，应排除无依据的 F68050，再按示例二补足主题；只删掉这个词，答案仍不完整 |
| 保留待确认项 | 不能猜测 F68050 是另一个有效编号。若认为输入有错，应查原始资料；确认前不把这份草稿作为训练示范 |
审核训练草稿时可以提出修改；评估模型时必须保留它原来的回答。 例如，不能先替模型删除 F68050，再把修改后的文本拿去评分。
自己审核时，也为每条样本留下“原始答案、建议答案、原文依据、待确认项”。能确定的修改和需要继续查证的疑点分别记录，确认完成后再纳入新增数据。
课程练习数据主要经过格式和重复检查，部分参考标注仍有内容疑点，不能把它们全部视为已人工审核的标准答案。上面的修改建议也需要确认后才能用于新数据。第 32 章的示例分数以随附参考文件为准；第 4.1 节会区分格式是否合格、是否命中参考答案、内容是否合理。
<details> <summary>练习：两个人怎样按同一套规则审核</summary>从准备新增的材料中选一小批文章，例如先用 5 条练习。两人分别阅读原文、写出关键词，暂时不看对方答案，再比较完整名称、短语拆分、选词范围和无依据内容。
如果一人写 公众号预约，另一人写 公众号;预约，先回到本节约定，说明为什么此处整体保留；不要只投票决定。遇到规则没有覆盖的情况，补充规则和例子，再用修订后的规则重新检查这批文章。专业事实拿不准时，继续保留待确认项。
记录“样本编号、两份答案、分歧原因、最终处理、规则版本”即可。这一步叫作标注校准，目的是让不同人对规则形成一致理解。一个人学习时，可以先独立作答，再按规则复查；这种自查不能代替独立复核。
</details>