AIME数据生成与评估综合报告

1. 基本信息

• 生成时间: 2025-10-11 12:43:22
• 生成题目数量: 30
• 参考AIME年份: 2025
• 生成数据路径: data_generation/generated_data/aime_generated_20251011_042741.json

2. 数据生成统计

主题分布

主题	数量	占比
Number Theory	9	30.0%
Geometry	9	30.0%
Algebra	8	26.7%
Probability	2	6.7%
Combinatorics	2	6.7%

3. LLM Judge评估结果

总体评分:

• 平均总分: 3.32/5.0
• 通过率: 40.00%
• 优秀率: 10.00%

各维度评分:

维度	平均分
正确性	3.27/5.0
清晰度	3.40/5.0
难度匹配	3.27/5.0
完整性	3.33/5.0

4. Win Rate评估结果

胜率统计:

• Win Rate: 25.00%
• Loss Rate: 65.00%
• Tie Rate: 10.00%

对比次数:

• 总对比次数: 20 次
• 胜出次数: 5 次
• 失败次数: 13 次
• 平局次数: 2 次

5. 综合结论

⚠️ 结论: 生成数据质量需要改进，与AIME真题仍有差距。

整体指标:

• LLM Judge得分: 3.32/5.0
• Win Rate: 25.00%

6. 改进建议

• ⚠️ 需要重新设计生成提示词
• ⚠️ 考虑使用更强的生成模型
• ⚠️ 增加人工审核环节

7. 下一步行动

1. 人工验证: 运行人工验证界面，对生成的题目进行人工审核

   python data_generation/human_verification_ui.py data_generation/generated_data/aime_generated_20251011_042741.json

2. 质量筛选: 根据评估结果筛选高质量题目

3. 迭代优化: 根据评估反馈优化生成策略

---

报告生成时间: 2025-10-11 12:43:22