Q:Agent 动作空间过大导致探索低效时,如何裁剪和分层?
来源:阿里千问 C 端算法实习一面(2026-08-10)
新手答:“减少工具数量,或者让模型先做工具检索。”
高手答:先按任务阶段、权限和前置条件形成动态可行动作集,再用分层策略让高层选择子目标、低层选择具体工具;同义动作合并为参数化能力,非法和无效动作由环境 mask。训练时采用课程学习,从短链和小动作集逐步扩展,并监控有效动作率、探索熵、无效调用和各阶段成功率。裁剪不能删除恢复动作,否则策略一旦偏离就无法回到有效状态。
差距在哪:新手只缩工具列表,高手同时设计层级策略、环境约束和训练分布。