GAIA评估结果提交指南
📊 评估结果摘要
- 模型名称: TestAgent
- 评估级别: 1
- 总样本数: 2
- 精确匹配数: 0
- 精确匹配率: 0.00%
📁 提交文件
结果文件: gaia_level1_result_20251011_015731.jsonl
此文件包含:
- 每个任务的task_id
- 模型的答案(model_answer)
- 推理轨迹(reasoning_trace)
🚀 如何提交到GAIA排行榜
步骤1: 访问GAIA排行榜
打开浏览器,访问:
https://huggingface.co/spaces/gaia-benchmark/leaderboard步骤2: 准备提交信息
在提交表单中填写以下信息:
- Model Name(模型名称):
TestAgent - Model Family(模型家族): 例如
GPT,Claude,Qwen等 - Model Type(模型类型):
Open-source(开源)Proprietary(专有)
- Results File(结果文件): 上传
gaia_level1_result_20251011_015731.jsonl
步骤3: 上传结果文件
- 点击 "Choose File" 按钮
- 选择文件:
D:\code\multiAgentBok\HL-MAS\jjyaoao分支的hello-agents\hello-agents\docs\chapter12\HelloAgents\evaluation_results\gaia_official\gaia_level1_result_20251011_015731.jsonl - 确认文件格式为
.jsonl
步骤4: 提交
- 检查所有信息是否正确
- 点击 "Submit" 按钮
- 等待评估结果(通常需要几分钟)
📋 结果文件格式说明
GAIA要求的JSONL格式(每行一个JSON对象):
json
\{"task_id": "xxx", "model_answer": "答案", "reasoning_trace": "推理过程"\}字段说明:
task_id: 任务ID(与GAIA数据集对应)model_answer: 模型的最终答案reasoning_trace: 模型的推理过程(可选)
⚠️ 注意事项
答案格式:
- 数字:不使用逗号分隔符,不使用单位符号
- 字符串:不使用冠词,使用小写
- 列表:逗号分隔,按字母顺序排列
文件大小:
- 确保文件不超过10MB
- 如果文件过大,考虑移除reasoning_trace
提交频率:
- 建议先在小样本上测试
- 确认结果正确后再提交完整评估