OSWorld-Verified Q2 benchmarks:GUI、web、CLI 与混合 Agent 的领先者正在分化

OSWorld-Verified Q2 benchmarks:GUI、web、CLI 与混合 Agent 的领先者正在分化

一、为什么 OSWorld 突然成了所有 Agent 厂商的必争之地

2025 年下半年起,头部 AI 公司不再满足于"Agent 能对话"这种演示性指标,转而要求 Agent 在真实操作系统、真实网页、真实命令行里完成真实任务。能跑这种基准的环境不多,OSWorld 是其中最被认可的一个。

OSWorld 由香港大学、Salesforce Research、卡内基梅隆大学、滑铁卢大学于 2024 年共同发布,核心是一个可扩展的真实计算机环境,支持 Ubuntu、Windows、macOS,自带 369 个真实任务(8 个 Google Drive 任务需手工配,可排除后跑 361 个)。每个任务有确定的初始状态、确定的可执行化评估脚本,任务涵盖任意应用——web 浏览器、文件管理器、邮件客户端、代码编辑器、办公套件。

2025 年 7 月 28 日,OSWorld 升级为 OSWorld-Verified:修复社区报告的样例问题、新增 AWS 支持把评测时间压到 1 小时以内、更新了榜单结果。

2026 年 6 月 26 日,OSWorld 2.0 发布,成为最新版本。

这不是一个"内部玩具",参与修订与评测的机构包括:MoonShot AI(Kimi)、Human Data、OpenAI、ByteDance Seed TARS、Anthropic、Simular、HKU Data Intelligence Lab——头部 AI 公司和顶级研究机构全部在跟进。

二、OSWorld 怎么评估 Agent

OSWorld 把任务按两种维度分类:

输入模态:Screenshot(纯截图)、A11y tree(无障碍树)、Screenshot+A11y tree(组合)、Set-of-Mark(在截图上做元素标记)。

任务域:Web(浏览器任务)、Desktop GUI(系统 GUI 任务)、OS 文件 I/O、跨应用工作流。

评估方式不是"模型自己说完成了",而是执行一个确定的脚本验证结果。比如"把系统时间从 24 小时制改成 12 小时制",评估脚本会读系统配置文件确认时间格式真的改了。

人类基线:72.36%(369 任务里人类能完成的比例)。

2024 年最佳模型:12.24%。

两年时间差已经把 Agent 水平从 12% 拉到 80%+ 区间。进步的速度,超出了 2024 年所有研究者的预期。

三、GUI Agent:字节 Mano 与 Coasty 改写上限

GUI 类 Agent 的核心是"在操作系统里直接操作 GUI 元素"——点按钮、拖窗口、改系统设置。

字节 Seed TARS 团队的 Mano 在 2025 年 9 月发布技术报告(arXiv:2509.17336),是 GUI 类的代表:

• 基于多模态基础模型,在 web + 计算机系统数据上预训练
• 三阶段训练:监督微调 → 离线强化学习 → 在线强化学习
• 配套验证模块做错误恢复
• 在 Mind2Web 和 OSWorld 上都达到 SOTA(2025 年 9 月时点)

Mano 把"GUI Agent 不只是看屏幕"这件事说明白了:它需要的是多步决策能力 + 错误恢复能力 + 视觉与文本双模态融合,而不是单纯的截图识别。

Coasty 在 2026 年 2 月宣布在 OSWorld 创下 82% 的成绩(Show HN 帖),这意味着相对人类 72.36% 的基线,GUI Agent 已经首次超过人类平均水平。这是分水岭式的成绩。

需要注意的是,Coasty 是商业产品,82% 数字是自我报告,官方榜单需要提交到 OSWorld 团队复评。但即便打折扣,GUI Agent 在 18 个月内从 12.24% 拉到 80% 区间,这件事本身是真实的。

四、Web Agent:TinyFish、Operator、Claude Computer Use 的三角对比

Web 类 Agent 的核心战场在浏览器里完成任务——订机票、填表、查信息、操作企业内部 SaaS。最被引用的基准是 Mind2Web:300 个任务,136 个真实网站,三个难度等级,有"easy / hard"的分层对比。

TinyFish 在 2026 年 2 月公开了完整 Mind2Web 跑分,数据对比清晰:

• TinyFish 在 easy 任务表现接近满分,在 hard 任务拿到 82%
• OpenAI Operator 在 hard 任务只拿到 43%
• Claude Computer Use 和 Browser Use 也在榜单上,具体数字由各自团队公布

82% vs 43% 的差距不是"模型聪明不聪明"的差距,而是架构选择的差距。TinyFish 公开文档里说得很直接:

"Benchmarks aren't the goal. They rarely translate to real-world performance. The constraints aren't realistic. What matters is whether it can solve your problem faster, cheaper, and at scale."

意思是:大多数 Agent 在 Mind2Web 上"刷分"靠的是钻 benchmark 自身的空子(任务结构、约束条件),不是真正的泛化能力。TinyFish 把 300 个任务的全部执行轨迹公开,允许任何团队复现、检验,这是对自身工程能力的自信。

五、CLI Agent:被低估的战场

相比 GUI 和 web,CLI(Command Line Interface)Agent 的讨论度低很多,但工程意义最大:

• DevOps / SRE / 数据工程的核心操作都是 CLI:ssh、kubectl、terraform、psql、git
• GUI Agent 在命令行场景下基本失效——终端是纯文本界面,截图模型根本看不见
• CLI Agent 通常是 LLM 直接生成命令 + 解析输出,不需要多模态

目前没有像 OSWorld、Mind2Web 这样统一的 CLI Agent 基准,但各家厂商的工具能力在公开评测里逐步显现:

• Claude Code:Anthropic 在 2024 年 10 月发布的 SWE-bench Verified 升级版 Claude 3.5 Sonnet,从 33.4% 拉到 49.0%,这是软件工程基准
• GPT 家族:OpenAI 在 codex CLI 上投入持续,具体基准分散在多个评测集
• 开源:Aider、Continue.dev、Cody 等开源项目在 HumanEval、SWE-bench 上各自有成绩

CLI Agent 的核心难题不是"会敲命令",而是:

• 错误恢复:一条命令失败时,Agent 要能读懂错误信息,自动调整重试
• 权限管理:很多 CLI 命令是不可逆的(rm -rf、chmod 777、删表)
• 环境感知:同一命令在不同 OS / shell / 配置文件下行为不同

这些难题决定了 CLI Agent 真正进入企业生产的时间表,会比 GUI 和 web 晚。

六、混合 Agent:头部厂商的真正押注

纯 GUI、纯 web、纯 CLI Agent 都有天花板。真正领先的产品都在做混合架构:让 Agent 同时具备视觉、文本、API 三种能力,根据任务类型动态选择执行通道。

Coasty 的产品文档里有一句话直接点出:

"Hand Coasty the whole task, or take any layer back: the plan, the machine, the loop itself. Nothing is rewritten when you change your mind, because every level shares the same keys, the same actions, and the same model underneath."

这种"全栈式"设计意味着 Agent 不再分 GUI/web/CLI,而是对任务而言,任何能完成任务的接口都可以用。这是未来 12 个月的明确方向。

另一面,Anthropic 的 Claude in Chrome + Claude Code 双线也是混合思路的体现:浏览器扩展负责 GUI/web,命令行工具负责 CLI/工程任务,两者共用底层模型。

七、Q2 benchmark 透露的真实信号

把 GUI / web / CLI 三个领域的 Q2 2026 数据放在一起看,可以读出几个信号:

信号一:GUI 已过人类基线,web 在追赶,CLI 仍落后

• GUI(OSWorld):Coasty 82% > 人类 72.36%
• Web(Mind2Web hard):TinyFish 82%,Operator 43%,差距仍大
• CLI(SWE-bench Verified):Claude 3.5 Sonnet 49.0%,距人类高水平(通常 90%+)差几倍

Q2 数据揭示的真实格局是:GUI 已经"可生产",web 还在"工程化",CLI 仍是"研究阶段"。

信号二:Agent 不再是单一模型,而是模型 + 训练框架 + 工具链

Mano 的三阶段训练(监督微调 → 离线 RL → 在线 RL)说明,光靠基础模型升级不够,必须配套模拟环境 + 强化学习 + 验证模块。这意味着 Agent 厂商的竞争不再是"哪个基础模型更强",而是"哪个训练框架 + 工具链更完整"。

信号三:可复现性成为分水岭

TinyFish 把 300 个 Mind2Web 任务的全部轨迹公开。Coasty 把评测入口开放给社区。OSWorld-Verified 要求提交到官方团队复评。这说明:Agent 行业的可信度建立方式,正在从"我说我做了"变成"任何人都能复现"。

八、对企业选型的现实意义

短期(6–12 个月):

• GUI Agent 已可承担"在企业内网操作 ERP/CRM/财务系统"的试点,优先级最高
• Web Agent 适合"替代 RPA 在网页里填表"的场景,但要选 TinyFish 这种公开轨迹可复现的供应商
• CLI Agent 暂不要直接推到生产,留给工程团队内部使用

中期(1–2 年):

• 关注头部厂商是否推出"混合 Agent"统一接口——Coasty 的产品思路是方向
• 关注 OSWorld 2.0 / Mind2Web 升级版基准的发布节奏,基准升级通常意味着能力升级
• 内部系统的"Agent 可操作性"要纳入选型指标——保留 GUI、开放 API、CLI 友好,三者都要做

长期(3 年+):

• 当 GUI / web / CLI 三类 Agent 的基准都超过人类基线时,Agent 行业会进入"基础设施"阶段——届时不再有"Agent 公司"的概念,只剩"用 Agent 的公司"
• Agent 与 Agent 之间的协作(多 Agent 系统)会成为新前沿,OSWorld 已经在 2026 年开始探索多 Agent 评测

九、回到题目:GUI、web、CLI 与混合 Agent 的领先者正在分化

这不只是分数差异,而是工程哲学的分化:

• GUI Agent 押注"像素即一切":用截图、视觉模型、强化学习把操作精度拉满
• Web Agent 押注"任务即一切":用浏览器 DOM、API 调用、提示工程把任务完成率拉满
• CLI Agent 押注"代码即一切":用基础模型的代码能力、错误恢复、工具链把工程能力拉满
• 混合 Agent 押注"组合即一切":把上面三类能力在一个统一框架下组合,根据任务选通道

四类 Agent 在 Q2 2026 的不同分数,反映的是这四种押注的成熟度差异。真正决定企业能不能用 Agent 的,不是哪家分数最高,而是哪家的押注最贴合你的真实业务场景。

GUI Agent 领先,但只对企业内网系统有用。Web Agent 仍有空间,但对企业 SaaS 集成是关键。CLI Agent 不起眼,但对工程团队是刚需。混合 Agent 是未来,但现在成熟度不够。

选 Agent 不是选最强的,是选最匹配的。OSWorld-Verified、Mind2Web 这些基准,只是帮你看清各家在哪个方向押注。