附录 C 数据集详情
C.1 分布外文本分类数据集
- SciCite 是由 [^13] 提出的 3 分类引用意图分类基准测试。每个样本由科学论文中的引用上下文组成，按引用的修辞功能进行标注，如背景、方法或结果。该任务测试模型能否从局部科学上下文中推断一篇论文引用另一篇论文的原因。
- FiNER-139 是由 [^28] 提出的金融数字实体识别基准测试。它由金融文件中的词级标注组成，包含 139 种细粒度 XBRL 实体类型，使其比标准的句子级分类任务具有更高的细粒度。该基准测试测试模型能否从上下文中识别和分类金融数字实体。
- Amazon Reviews 是由 [^21] 提出的多语言 Amazon 评论语料库的英语部分。在我们的设置中，它被用作 5 分类评分预测任务，标签对应评论的星级评分。该基准测试评估从产品评论文本进行通用领域情感和评分预测的能力。
- Financial PhraseBank 是由 [^31] 提出的 3 分类金融情感基准测试。它由金融新闻和相关经济文本中的句子组成，按市场情感标注为正面、中性或负面。该任务评估金融领域的特定领域情感分类能力。
- GoEmotions 是由 [^14] 提出的细粒度情绪分类基准测试。它包含以 27 个情绪类别加一个中性类别标注的英语 Reddit 评论，通常被视为 28 分类任务。该基准测试测试超越粗粒度正面-负面情感的细腻情感识别能力。
- Banking77 是由 [^10] 提出的细粒度意图分类基准测试。它包含标注有 77 种意图的在线银行用户话语，涵盖广泛的客户服务请求。该任务评估具有大标签空间的单领域意图检测能力。
- AG News 是通常与 [^59] 的文本分类设置相关联的 4 分类新闻主题分类基准测试。样本以世界、体育、商业和科技等宽泛新闻类别标注。它是主题分类的标准通用领域基准测试。
- SciTail 是一个科学领域的文本蕴含基准测试，其任务是在科学推理场景中预测前提句是否蕴含假设句 [^23]。
- TweetEval (Hate) 是由 [^6] 提出的 TweetEval 基准测试中的仇恨言论子集。它是一个二分类推文分类任务，用于在统一的社交媒体评估套件中检测仇恨与非仇恨内容。该基准测试测试在嘈杂的短文本社交媒体中进行稳健分类的能力。
C.2 数学检索语料库
Table 10 列出了第 4.2 节中使用的检索语料库所包含的数据集。原始数据源包含的问题数量多于最终语料库；在合并前进行了若干筛选步骤。NuminaMath-1.5 被筛选至竞赛数学子集（AMC/AIME、奥林匹克参考题、数论、不等式及相关来源），丢弃了质量较低的网络爬取条目。OpenMathReasoning 进行了每题保留一个解答的去重（保留在独立验证器上通过率最高的解答），并在去重前移除了源匹配任何评估基准测试系列（IMO、AIME、HMMT、SMT、USAMO、Putnam）的问题。随后对整个语料库相对于所有评估基准测试和 Harness 搜索中使用的搜索集进行了数据去污染（decontamination），使用精确前缀匹配和模糊 Jaccard 相似度（阈值 0.8）；任何在两种标准下匹配评估问题的语料库问题均被丢弃。OpenMathReasoning 和 DeepMath 的解答被截断至 5,000 个字符以限制检索上下文长度。在运行时，选定的 Harness 进一步将检索限制为解答非空且短于 4,000 个字符的条目。检索到的解答在插入提示时再次被截断至 3,000 个字符。对于几何路由，Harness 还从难度大于 6 的 NuminaMath 问题中构建了一个单独的高难度参考索引。
| 数据集 | 问题数 | 解答长度 | 证明 |
|---|---|---|---|
| OpenMathReasoning | 281,743 | 5,000 ^†^ | 34% |
| DeepMath-103K | 103,021 | 5,000 ^†^ | 0% |
| NuminaMath-1.5 | 129,520 | 1,376 | 13% |
| PolyMath | 11,083 | 363 | 0% |
| Omni-MATH | 4,289 | 829 | 0% |
| FineProofs-SFT | 4,275 | 3,977 | 100% |
| AIME 1983–2024 | 933 | — | 0% |
| Putnam-AXIOM | 492 | 888 | 100% |
| 合计 | 535,356 | 5,000 ^†^ | 22% |
^†^ 截断至 5,000 个字符；实际解答更长。
Table 10：数学检索语料库中的数据集（共 535K 个问题）。解答长度为解答的中位数字符长度。证明表示数据集是否包含证明类问题（按答案或问题类型字段判断）。
C.3 数学 IMO 级别测试集
正文将结果聚合为从 IMO-AnswerBench、IMO-ProofBench、ArXivMath 2025 年 12 月和 ArXivMath 2026 年 1 月中抽取的 200 道 IMO 级别问题。200 道问题的评估集由 IMO-AnswerBench 的 100 道分层子集以及其他三个基准测试的所有问题组成。按基准测试分项汇报是有用的，因为这四个数据集混合了答案型、证明型和研究型问题，在正文中为简洁起见被汇总在一起。如果包含此表，本节应分别报告五个留出模型上 Base 和 Meta-Harness 在各基准测试上的结果。
| 数据集 | 问题数 |
|---|---|
| IMO-AnswerBench | 100 |
| IMO-ProofBench | 60 |
| ArXivMath Dec. 2025 | 17 |
| ArXivMath Jan. 2026 | 23 |
| 合计 | 200 |
Table 11：200 道 IMO 级别评估集的分项构成。