Agent 评测体系
Q：如何量化评估一个上线的 Agent 好坏？除了准确率。
来源：腾讯 Agent 岗终面
新手答：“看任务成功率和用户满意度。”
高手答：
我们有一个三维看板：
- 效能维度：任务完成率、平均完成步数、单任务平均耗时与 Token 成本
- 质量维度：结果准确率（人工抽检）、用户满意度（评分）、一次解决率
- 鲁棒性维度：异常处理成功率、自修复触发率、平均无故障运行时间
最关键的是，每次失败都必须能归因到具体模块（是意图理解、规划、工具调用还是记忆的问题），并流入优化队列，驱动系统迭代。
差距在哪：新手的答案只有两个指标，且都是结果指标——只知道“好不好”，不知道“哪里不好”。高手的三维看板覆盖效能、质量、鲁棒性三个维度，更关键的是有失败归因机制——这才是驱动系统持续改进的关键。面试官考的是“你有没有运营线上系统的经验”。
Q：在你看来，当前阻碍 Agent 大规模落地的最大挑战是什么？
来源：腾讯 Agent 岗终面
新手答：“成本高，效果不稳定。”
高手答：
是**“可控性”与“能力”的权衡困境**。
要它强大，就得给它灵活性和自主权，但这就引入了不可控风险。锁死它的行为，又容易把它变成流程固定的“智障脚本”。
我们的实践是：在核心业务逻辑层用状态机保证主干流程正确，在具体的“思考”环节给予模型在安全沙盒内的最大自由。同时，投入重兵建设评估、监控、干预体系，用大量测试用例和线上监控，像训警犬一样，明确告诉模型什么能做、什么绝不能做，逐步对齐。
差距在哪：新手的回答是事实陈述——“成本高、效果不稳定”谁都知道。高手把问题抽象成了一个设计权衡（可控性 vs 能力），并给出了自己的解法。面试官问这种开放题，考的不是“正确答案”（没有正确答案），而是“你对这个领域的思考深度”和“你有没有自己的方法论”。
Q：你觉得 Agent 在线上最难监控的指标是什么？
来源：腾讯大模型应用开发二面
新手答：“延迟和成功率。”
高手答：
最难监控的其实不是延迟和成功率，这些都很容易打点。最难的是**“表面成功但实际决策错误”**——比如工具调用全成功，答案也返回了，但它选错了工具、用了次优证据，或者本来该追问却没追问。这类问题不会直接反映在现有监控指标上。
所以 Agent 监控不能只有系统指标，还要有决策质量指标：
系统指标（容易）：延迟、成功率、错误率
决策指标（困难）：工具选择正确率、重复动作率、无效步数占比、
需要追问却未追问的比例、最终答案证据覆盖率这些指标更难建，但如果没有，线上看起来一切正常，用户体验却会持续变差。
差距在哪：新手只关注系统指标——延迟和成功率容易打点但不够。高手指出了真正的难点是“决策质量指标”——表面成功但实际决策错误的情况在传统监控里看不到。面试官考的是你有没有 Agent 系统运营的实战经验，以及对“决策质量 vs 系统质量”的区分能力。
Q：如何对 Agent 记忆系统的效果进行量化评估？
来源：后端 AI 八股 / Memory 系统
新手答：“看记忆召回率。”
高手答：
记忆系统的评估分离线评估和在线评估两大类：
离线评估（上线前，用标注数据集打分）：
| 指标 | 说明 |
|---|---|
| Precision / Recall | 检索结果的精确率和召回率 |
| ROUGE / F1 | 用记忆生成的答案与标准答案的文本重叠度 |
| 排序质量（MRR / NDCG） | 最相关的记忆是不是排在最前面 |
| 记忆利用率 | 被检索到的记忆有多少真正影响了模型输出 |
| 生成一致性 | 模型的回答和被引用记忆是否一致（有没有检索到了但忽略） |
| 错误记忆使用率 | 基于过期或错误记忆生成回答的比例 |
在线评估（上线后，用真实流量监控）：
| 指标 | 说明 |
|---|---|
| Task Success Rate | 有记忆参与的任务完成率 vs 无记忆的对照组 |
| User Engagement | 用户是否感知到 Agent “记得”之前的交互——用对话轮数、回访率衡量 |
| Negative Feedback Rate | 因记忆错误导致的用户负反馈比例 |
| 记忆命中率 | 多少比例的对话轮次用到了记忆 |
| A/B 测试 | 有记忆 vs 无记忆的回答质量对比 |
最容易被忽视的是离线指标好但在线效果差的情况——检索 Recall 很高，但模型可能检索到了正确记忆却完全忽略它，这在离线 Recall 上看不出来，只有在线的 Task Success Rate 和 Negative Feedback Rate 才能暴露。
差距在哪：新手只看检索维度。高手把评估拆成离线（Precision/Recall/ROUGE）和在线（Task Success Rate/Engagement/Negative Feedback）两大类，且指出”离线指标好不等于在线效果好”这个容易被忽视的盲区。面试官考的是你有没有端到端评估记忆系统的方法论。