把 AI Agent 放进真实的科研工作流里做端到端评测,而不是用选择题或者教科书练习题去考它——这件事终于有了第一个严肃的、由科研工作者自己定标尺的基准。2026 年 8 月 27 日,Stanford 团队联合 Terminal-Bench 维护组发布了 Terminal-Bench-Science 0.1,把 70 个来自一线科研工作流的真实任务打包,开放给所有主流 Agent 跑同一轮评测
把 AI Agent 放进真实的科研工作流里做端到端评测,而不是用选择题或者教科书练习题去考它——这件事终于有了第一个严肃的、由科研工作者自己定标尺的基准。2026 年 8 月 27 日,Stanford 团队联合 Terminal-Bench 维护组发布了 Terminal-Bench-Science 0.1,把 70 个来自一线科研工作流的真实任务打包,开放给所有主流 Agent 跑同一轮评测。结果让人意外又在意料之中:目前最强的 Claude Opus 5 + Claude Code,70 个任务里也只能完整解决 30.0%。剩下 70% 的任务,前沿模型集体翻车。这条基线,第一次让"AI 能不能当科研助手"这个问题有了可被反复验证、可被持续追踪的硬指标。
一、为什么这件事非做不可
过去两年,Agent 评测的重心几乎全在"软件工程"——SWE-Bench、Terminal-Bench 3.0、Cua-Bench 等等,跑的都是写代码、修 bug、操作终端这一类工作流。这条赛道的进步是真实的:从最初 Claude/GPT 在 SWE-Bench 上不到 30% 的解决率,到如今 Terminal-Bench 3.0 上头部模型过半数,Agent 在"编程这件事"上的能力已经被反复验证。
但科研场景的能力差距(AI for scientific research)一直是个黑盒。市面上能拿到的评测要么是 GPQA 那种选择题,要么是 MMLU 那种学科知识题,要么是 HumanEval 那种编程题——全部是"标准化练习",不是"研究者在做的事"。一个 Agent 能不能在研究者已有的数据上跑统计推断?能不能复现一篇论文里的数值模拟?能不能根据光谱数据反推材料结构?能不能处理一组电生理信号做去噪和特征提取?这些问题,过去没有一个公开的、可复现的评测框架能给出可比的数字。
这就是 Terminal-Bench-Science 想填的洞。它做的是一件挺基本但很少有人做对的事:让真正的科研工作者定义"什么任务算 Agent 应该解决的",而不是让模型厂商自己出题自己评分。
二、70 个任务,5 个学科,920 → 70 的筛选漏斗
Terminal-Bench-Science 0.1 的规模很克制:首批放出 70 个任务,跨生命科学、物理科学、地球科学、数学科学、工程科学五个领域。每个任务都是一个完整的科研工作流——数据分析、统计推断、数值模拟、优化、定理证明、图像重建、信号处理、反问题求解、传感器标定、模型拟合、分类、科学机器学习。不是某一题的子步骤,是"我在这篇论文里做完整个分析"这种规模的任务。
这 70 个不是凑出来的。提交端一共收到了 920 个任务提案,经社区讨论后 464 个进入实现阶段,实际开了 386 个 pull request,最终只有 70 个被合并进 0.1 版本。漏斗的每一层都在做一件事:确保任务本身在科学上有意义、对前沿 Agent 是真的难、可被客观验证。"对前沿 Agent 难"这一关的判定尤其严格——任务的"对与错"必须有可重复执行的测试,而不是靠专家肉眼打分。
整个贡献者池跨 22 个国家、376 位研究者,从提案、评审到 PR 全流程在 GitHub 上公开进行。所有任务都通过了"领域评审 + 技术评审 + 质量门槛"三重签收。这种流程设计的目的只有一个:不让模型厂商、平台方、数据供应商任意一方单独定义"AI 在科研上的能力"这杆秤。
三、评测结果:前沿模型的科研能力差距是结构性的
0.1 版本对 9 个主流模型系统跑了完整评测,每个模型在每个任务上独立跑 3 轮取平均。结果如下:
- Claude Opus 5 + Claude Code:30.0% 解决率(第一)
- GPT-5.6 Sol + Codex:22.4%
- Claude Fable 5 + Claude Code:21.4%
- Claude Opus 4.8:10.5%
- GPT-5.6 Terra、Kimi K3、Grok 4.6:均低于 10%
- GLM 5.3(开源最强):8.1%
- GPT-5.6 Luna:3.3%(末位)
30% 已经是当前的天花板,头部三家之外的所有模型都在 10% 量级,头部和次头部之间直接差了 8 个百分点。这种结构性的能力分布,和 Terminal-Bench 3.0(纯软件工程任务)的格局高度相似——模型之间在科研场景下"分层"和在工程场景下"分层"的形态基本一致,但绝对数字被有意压低了一档。Terminal-Bench-Science 在任务设计上明确"校准到对最新前沿模型有挑战",所以每个模型在 Terminal-Bench-Science 上的解决率比 Terminal-Bench 3.0 低超过 10 个百分点。
按学科拆开看,前沿模型之间的相对位置在多数学科里保持稳定——Anthropic 和 OpenAI 系模型占据每个学科的前两名,工程科学是个例外,Grok 4.6 在更低成本和更少 token 下追平了 GPT-5.6 Sol 的第二名(14.8%)。数学学科里 Claude Fable 5(33.3%)反超 Claude Opus 5,与 GPT-5.6 Sol(31.4%)占据前两名。
四、不只是"准不准",还要看"贵不贵"和"烧多少 token"
解决率只是科学 Agent 评测的一面。另一个同等重要的维度是成本——同样的 70 个任务,跑下来花多少钱、花多少 token,直接决定了科研机构能不能在日常研究里用得起这个 Agent。
Terminal-Bench-Science 把这两个维度都画成了 Pareto 前沿:
- 成本维度:GPT-5.6 Luna、Kimi K3、GPT-5.6 Terra 占据低成本一端;GPT-5.6 Sol 和 Claude Opus 5 占据高解决率一端,Opus 5 的总评估成本约 $7.0k。GPT-5.6 Sol 用 $4.2k 就达到了 Claude Fable 5 $14.2k 同样的解决率水平。
- Token 维度:Claude Fable 5 用 6.4B token 追平了 GPT-5.6 Sol 的 8.4B token。Kimi K3 锚定低 token 一端,Claude Opus 5 锚定高解决率一端。
只有两个系统同时出现在成本和 token 的两条 Pareto 前沿上——Kimi K3 和 Claude Opus 5。一个是"花钱少能干活"的代表,一个是"愿意花钱能干得最好"的代表。对科研场景的实际选择来说,这两个 Pareto 维度往往比绝对解决率更重要:一个研究组在评估"我能不能让 Agent 帮我做日常的数据预处理"时,真正关心的是单位科研产出的 token 成本,而不是榜单上的名次。
五、Terminal-Bench 4.0:这次的"父平台"同步做了哪些工程改进
Terminal-Bench-Science 不是凭空出来的,它建立在 Terminal-Bench 这个父平台之上,而 Terminal-Bench 4.0(2025 年 9 月 28 日发布)同期做了一轮重要的工程校准,直接决定了 0.1 这次评测的数字能不能拿来横向比较。
第一件事是资源校准。每个 Agent 任务跑在沙盒环境里,涉及 CPU 时间、内存、磁盘 I/O、外部网络调用。同一份任务在 8 小时超时下和 1 小时超时下,Agent 的表现可以差出几个百分点。TB 4.0 用了 Anthropic 在《Quantifying infrastructure noise in agentic coding evals》里描述的方法:先给任务分配大量资源余量,看它在"宽松环境"下的真实解决率,再回退到一个对结果无显著影响但成本可接受的紧设置。最终所有任务统一设到 8 小时 agent 超时。
第二件事是剔除饱和任务。一批任务的最新一代模型已经 5/5 全部解决,这种任务不再能区分模型,留下来只会让评分平均化。TB 4.0 移除了 8 个任务(2 个饱和、2 个被模型一致拒绝、2 个有公开解法、2 个存在未解决的质量/平台兼容问题),同时修复了 19 个任务(更新指令、环境、验证脚本,解决脆弱性或描述不当)。每一项变更都在 GitHub 的 v4.0 milestone 上公开,有 issue、有 PR、有评审记录。
第三件事是语义化版本。TB 4.0 是大版本而不是 3.1,原因有两个:Agent 环境的资源设置是 breaking change;任务集合的组成也变了——这两个变化都要求所有模型重新跑一遍完整的 leaderboard 评估。"连续基准"(continuous benchmarks)这个概念是 Terminal-Bench 团队近期明确提出的:基准不是一个发完就忘的论文,而是一个需要持续维护、修剪、补新的工程系统。这点和 SWE-Bench 那种"我发一版,然后一年没人维护"的传统基准形成鲜明对比。
六、对科研工作者的实际意义:哪些工作流已经被 Agent 接管
回到最有现实意义的那个问题:Terminal-Bench-Science 0.1 这 70 个任务的覆盖面,正好对应了科研工作者日常 70%-80% 的"重复性数字劳动"。具体说,有这么几类:
数据预处理与统计推断:传感器校准、信号去噪、特征提取、缺失值处理、统计显著性检验、参数估计的不确定性量化——这是几乎所有实验学科都要做的事。Agent 在这部分的解决率目前最高。
数值模拟与优化:有限元、流体、分子动力学、强化学习环境里的策略搜索、组合优化——这些任务的代码量大、调参逻辑多,是 Agent 最有发挥空间的部分,但也最容易在参数边界上翻车。
反问题与图像重建:从观测数据反推物理量(医学成像、遥感、地震学)、从低分辨率重建高分辨率、从压缩信号恢复原始信号——这类任务对数学严谨性要求很高,Agent 经常在边界条件、约束设置上出错。
定理证明与符号计算:形式化证明、符号积分、解析解推导——这是数学科学学科里 Agent 表现最好的子领域,Claude Fable 5 在数学学科拿到 33.3% 的解决率,反超 Opus 5。
科学机器学习:PINN(物理信息神经网络)、神经算子、混合物理-数据模型——这是新交叉方向,任务相对少,模型表现分化大。
注意,这些任务覆盖的恰恰是研究者"愿意让 Agent 接手"的部分——技术上要求高、耗时严重、但不需要研究者本人去做科学判断的部分。研究者的注意力应该留在定义研究问题、形成假设、解读和验证结果、传播发现这四件事上。Terminal-Bench-Science 想做的就是给 Agent 在这件事上的能力画一条基线,让大家能追踪进展、识别边界、做采购决策。
七、对企业级 AI 落地的隐含信号
Terminal-Bench-Science 的信号,值得企业 IT 和 AI 落地团队记下来:
第一,"通用 Agent"在垂直领域的能力分层是结构性的。30% 和 10% 之间不是"再训练一下就追平"的差距,而是模型架构、训练数据、工具能力三个维度叠加产生的稳定分层。企业选 Agent 供应商时,看榜单绝对数字之外,更要分维度看——你的任务属于哪一类(数据预处理 / 模拟 / 反问题 / 证明)?在那一类的细分上,哪个模型最靠前?
第二,Pareto 比排名更值得看。解决率 30% 的 Opus 5 跑一次 70 任务花 $7.0k;21.4% 的 Claude Fable 5 跑一次花 $14.2k;22.4% 的 GPT-5.6 Sol 只花 $4.2k。如果你的场景对解决率没那么敏感(比如批量数据预处理,80% 正确率够用),那 Sol 的成本结构比 Opus 5 划算得多。别买榜单,买性价比。
第三,科研场景的评测方法论可借鉴到企业内部**。Terminal-Bench-Science 的设计哲学——让领域专家定义任务、用可重复执行的测试评分、漏斗式筛选、连续维护——可以直接套用到企业的"AI 落地能力评估"上。你企业内部每一个 Agent 落地点(财务对账、营销文案、客服分类)都应该有自己的 Terminal-Bench-XXX,而不是靠领导拍脑袋决定"AI 能不能做这件事"。
第四,开源模型在科研场景的差距更明显。GLM 5.3 是开源最强,只有 8.1%。这意味着如果企业有数据合规要求必须用开源模型,科研场景类的工作流目前还不能直接用,需要相当多的领域微调和工具链定制。
八、这条路接下来怎么走
Terminal-Bench-Science 团队在公告里把未来的方向讲得很清楚:这条基准是"连续的",不是发一版就完。具体承诺了三件事:
第一,定期发新版本,吸纳新任务、移除饱和任务、修复有问题的任务。模式与 Terminal-Bench 4.0 同步——资源校准、任务修剪、可重复验证,所有变更在 GitHub 上走 PR 流程,公开可审计。
第二,鼓励科研工作者继续提交任务提案。GitHub issue + Discord #tb-science 频道是当前的提交通道。任务被接受后会进入"领域评审 + 技术评审 + 质量门槛"三道关,和 0.1 的 920 → 70 漏斗保持一致。
第三,把评测覆盖扩展到更多科研工作流。0.1 已经在五个学科里选了 70 个有代表性的工作流,后续会进入材料发现、合成生物学、气候建模、药物设计等更细分的子领域。
对企业来说,这是一个值得长期跟的评测——不是看它的绝对数字,而是看它怎么定义"AI 在严肃场景下的能力边界",以及这个边界以什么速率在移动。
结语
Terminal-Bench-Science 0.1 是科研 AI 评测这件事的第一块公开的硬地板。它把"AI 能不能当科研助手"从一句口号,变成了 70 个任务、9 个模型、376 位贡献者、3 轮重复实验的可被反复验证的数据。30% 的当前天花板不丢人——它说明这个领域还有巨大的空间,也说明前沿模型还没到能替代研究者的程度。
对企业 AI 落地而言,Terminal-Bench-Science 的方法论比它的具体数字更重要:让领域专家定义任务、用可重复测试评分、连续维护不腐烂。把这条思路搬进企业内部,任何一个 Agent 落地点都能做成自己的垂直评测,让"AI 能不能做这件事"这个问题在每一次新版本发布时都有一个清楚、可比较、可追溯的答案。