AI 原生开放教材

外观

AI 工程从零到一（中文）源码研读·中文原文 ↗原件 ↓仓库 ↗

基准：WebArena 与 OSWorld ​

WebArena 测网页 agent 在四个自托管应用上的能力。OSWorld 测桌面 agent 在 Ubuntu、Windows、macOS 上的能力。发布时（2023–2024）两者都显示出顶尖 agent 与人类之间的巨大差距。差距在缩小；失败模式没变。

类型： Learn 语言： Python（标准库） 前置要求： 阶段 14 · 19（SWE-bench、GAIA） 预计时间： ~60 分钟

学习目标 ​

  • 描述 WebArena 的四个自托管应用，以及为什么基于执行的评估重要。
  • 解释 OSWorld 为什么用真实 OS 截图而非无障碍 API。
  • 说出 OSWorld 的两个主要失败模式：GUI 锚定和操作性知识。
  • 总结 OSWorld-G 和 OSWorld-Human 在基础基准之上加了什么。

问题背景 ​

通才 agent 能调工具。它们能驱动浏览器、跨 20 次点击完成一次购物结账吗？它们能只用键盘鼠标配置一台 Linux 机器吗？这些是 WebArena 和 OSWorld 回答的问题。

核心概念 ​

WebArena（Zhou 等人，ICLR 2024） ​

  • 812 个长跨度任务，横跨四个自托管 web 应用：一个购物站、一个论坛、一个类 GitLab 的开发工具、一个商业 CMS。
  • 外加工具：地图、计算器、便笺。
  • 评估是基于执行的，通过 gym API —— 订单下了吗、issue 关了吗、CMS 页面更新了吗？
  • 发布时：最佳 GPT-4 agent 成功率 14.41%，人类 78.24%。

自托管的框定很重要 —— 这个基准不会因为目标应用被钉死且可复现而抖动。

扩展 ​

  • VisualWebArena —— 视觉锚定任务，成功取决于解读图像（截图作为一等观察）。
  • TheAgentCompany（2024 年 12 月）—— 加了终端 + 编码；更像一个真实的远程办公环境。

OSWorld（Xie 等人，NeurIPS 2024） ​

  • 369 个真实计算机任务，横跨 Ubuntu、Windows、macOS。
  • 对真实应用的自由形式键鼠控制。
  • 以 1920×1080 截图作为观察。
  • 发布时：最佳模型 12.24%，人类 72.36%。

主要失败模式 ​

  1. GUI 锚定。 像素 → 元素的映射。模型很难在 1920×1080 里可靠地定位 UI 元素。
  2. 操作性知识。 哪个菜单里有那个设置、哪个键盘快捷键、哪个偏好面板。人类用多年攒出来的知识长尾。

后续工作 ​

  • OSWorld-G —— 564 样本的锚定套件 + Jedi 训练集。把锚定从规划里分解出来，让你能分别度量。
  • OSWorld-Human —— 人工策划的黄金动作轨迹。显示顶尖 agent 用的步数是必要步数的 1.4-2.7 倍（轨迹效率差距）。

为什么这重要 ​

Claude computer use、OpenAI CUA、Gemini 2.5 Computer Use（第 21 课）全都在由 WebArena 和 OSWorld 塑形的工作负载上训练。基准是目标；生产模型是交付出来的答案。

基准测试在哪里会出错 ​

  • 只看截图的评估。 OSWorld 是截图驱动的；在 OSWorld 上评估一个用 DOM 或无障碍 API 的 agent 会错过锚定挑战。
  • 忽略轨迹长度。 只给成功率打分会错过 OSWorld-Human 揭示的 1.4-2.7 倍步数低效。
  • 过时的自托管应用。 WebArena 的应用钉死了特定版本；更新而不重新策划会破坏可比性。
figure
ae-agent-human-gap

动手构建 ​

code/main.py 实现一个玩具网页 agent harness：

  • 一个极简「购物应用」状态机：list_items、add_to_cart、checkout。
  • 3 个任务的黄金轨迹。
  • 一个脚本化 agent，尝试每个任务。
  • 基于执行的评估器（状态检查）和轨迹效率指标（步数 vs 黄金）。

运行它：

python3 code/main.py

输出：每任务成功率和轨迹效率，镜像 OSWorld-Human 的方法论。

实际使用 ​

  • WebArena Verified 自托管在一个内部集群上做持续评估。
  • OSWorld 在一支 VM 队列里做桌面 agent。
  • computer-use agent（第 21 课）—— Claude、OpenAI CUA、Gemini —— 全都在这类工作负载上训练。
  • 你自己的产品流程 —— 为你的 top 20 任务捕获黄金轨迹；每周拿 agent 对着它们跑。

拿去用 ​

outputs/skill-web-desktop-harness.md 构建一个网页/桌面 agent harness，带基于执行的评估和轨迹效率指标。

练习 ​

  1. 用第二个应用（一个论坛）扩展玩具 harness。写 3 个任务外加黄金轨迹。
  2. 加每任务的轨迹效率报告。在你的玩具上，agent 是黄金的 1 倍、2 倍还是 3 倍？
  3. 实现一个「干扰项」工具 —— 黄金轨迹从不使用的那种。脚本化 agent 会被诱惑吗？
  4. 读 OSWorld-G。你会怎么在自己的评估里把锚定失败和规划失败分开？
  5. 读 WebArena 的应用 README。当你升级某个钉死的应用版本时，什么会崩？

关键术语 ​

术语大家怎么说它实际是什么
WebArena「网页 agent 基准」跨 4 个自托管应用的 812 个任务；gym 式评估
VisualWebArena「视觉版 WebArena」视觉锚定的 WebArena；截图就是观察
OSWorld「桌面 agent 基准」真实 Ubuntu/Windows/macOS 上的 369 个任务
GUI grounding「像素到元素的映射」模型在 1920x1080 里定位 UI 元素
Operational knowledge「OS 门道」哪个菜单、哪个快捷键、哪个偏好面板
OSWorld-G「锚定套件」564 个纯锚定样本 + 训练集
OSWorld-Human「黄金轨迹」人工专家动作序列，用来度量效率
Trajectory efficiency「相对黄金的步数」agent 步数除以人类最小步数

延伸阅读 ​