2026 年下半年 Coding Agent 工具链工程正在从"经验主义"过渡到"实证基线",这件事在过去三个月被几篇独立研究和产品披露联合推动。9 月 4 日 AgentConnect 在 Hacker News 发布《Grep beats LSP? Why coding agents ignore your fancier tools》(97 分首页关注,24 条讨论),通过 3 个 Clau
2026 年下半年 Coding Agent 工具链工程正在从"经验主义"过渡到"实证基线",这件事在过去三个月被几篇独立研究和产品披露联合推动。9 月 4 日 AgentConnect 在 Hacker News 发布《Grep beats LSP? Why coding agents ignore your fancier tools》(97 分首页关注,24 条讨论),通过 3 个 Claude 模型(Opus 4.8、Sonnet 4.6、Haiku 4.5)在多个 Python / TypeScript repo 上的实证对照,证明 grep 在 simple code-location tasks 上被选中的频率是 94-100%,即使 LSP 同时可用。6 月 5 日 HN 上的《Bad MCP design costs your agent 5x more tokens》(17 分)给出另一条独立证据——两个功能相同的 MCP Server(MCP-A vs MCP-B),Pass Rate 都是 36/40(90%),但 Total input tokens 差 4.98 倍(MCP-A 637k vs MCP-B 3.17M)。两件事合起来,把一个长期被开发者忽视但对企业 Agent 落地极其关键的事实摆到桌面上——Agent 工具的选择和设计决定 token 消耗和 success rate,而 Coding Agent 选什么工具这件事是可以通过大规模实测建模和预测的。Armature 团队近期披露的横向对比研究把这件事推到下一个阶段——他们用 17,000 任务在多个模型上做了系统性的工具选择分析,把"Agent 用什么工具"从直觉变成了可量化的工程基线。
一、Coding Agent 工具选择为什么不是 trivial
很多 AI 工程师的直觉是"模型会自动选最好的工具",但 AgentConnect 的实证数据彻底否定了这条假设。在 simple code-location tasks 上,三个 Claude 模型在 grep 和 LSP 都可用时,选 LSP-backed semantic navigation 的频率只有 0-6%——模型几乎总是用 grep。即使实验者 forcing semantic-first,success 从 100%(grep)掉到 89%(LSP)。
这条发现的反直觉性来自两个被忽视的维度。第一个维度是 interface familiarity——模型在预训练和 post-training 数据里见过大量 grep 调用,对 grep output 形态(path:line:content)非常熟悉;LSP-backed navigation 的 output 形态相对陌生,模型在 trajectory 里学会了特定 action pattern,把这些 pattern 套到 LSP 上会失败。第二个维度是 interface design——LSP 工具最初只返回 location,强迫 Agent 再开文件才能看到 code;grep 直接返回 matching line 加 source context。返回 source text 的格式让 Agent 一次拿到下一步需要的信息,不需要额外 read。
Armature 团队的横向对比研究把这条观察推到了更系统的层面。他们用 17,000 任务覆盖 simple localization、reference-completeness、multi-file rename、codebase noise 四类任务,在三个 Claude 模型上做系统性对比,得出一个被反复验证的结论——模型 × harness 的组合决定 effective capability,工具选择和接口设计是这个乘积里独立可调的工程变量。
二、Armature 的三 Agent 横向对比核心发现
Armature 横向对比研究披露的几个核心数字值得专门讨论。第一,简单定位任务上,所有模型选 grep 的频率都超过 90%,LSP 的加入没有显著改变行为模式——模型坚持熟悉的路径,即使更精确的工具就在手边。第二,reference-completeness 任务上,模型选 LSP 上升到 45-57%,但精度提升只有 0.24,recall 几乎不变——剩余的限制来自 agent 工作得有多彻底,不是 retrieval precision。第三,codebase noise 是真正的预测因子,clean TypeScript repo 上 LSP 没有 F1 增益还要多花 16% tokens,noisy TypeScript repo 上 F1 改善 0.246,tokens 反而少 12%。第四,response 格式的微小调整就能带来巨大差异——LSP + location 15.2 follow-up reads,LSP + inline context(±2 行 source)3.2 reads,pass@1 从 0.67 涨到 0.83。
这些数字背后有一个统一的规律——agent capability = model × harness,benchmark 数字不能预测自定义 harness 里的真实表现。Armature 的研究方法学是把这个公式推到极致——不是测单个模型在单个工具上的表现,而是测多模型 × 多工具 × 多任务 × 多 codebase noise 的四维 distribution,从中提取可重复的 engineering principles。
三、为什么 Bad MCP Design 5x Tokens 是必然结果
如果 Armature 的研究证明了"模型不选最优工具",Bad MCP design 的研究就解释了"工具设计错误会让 token 暴涨 5 倍"。两个研究合起来形成完整的因果链——模型坚持熟悉路径,但如果熟悉路径的工具是设计糟糕的,token 消耗就被锁死在糟糕的水平上。
Bad MCP 实验的关键数据是:MCP-A Tool Description Length 11,464 字符,MCP-B 3,682 字符(更短但更糟);MCP-A Total input tokens 637,244,MCP-B 3,174,329(差 4.98 倍);MCP-A Total Agent steps 122,MCP-B 157(差 29%);MCP-A Total time 597s,MCP-B 676s(差 13%)。Pass Rate 一样,但 token 差 5 倍。
两条 root cause 被点出。第一条,query tool design 糟糕——MCP-B 的 search_tool 只返回 id/title/url,但其他 CRUD 操作需要 project_id,所以 Agent 必须再调 get_task_by_id。第二条,unprocessed API output——MCP-B 的 create_task 直接 dump 整个 API response 到 Agent context,600+ 字符对当前 task 毫无意义。
这两条 root cause 的工程含义极其具体——开发者写 tool 时直接转 API response,不思考 Agent 的下一步需要什么。Pass Rate 一样是因为两个 MCP 都能完成任务,但 token 消耗完全不在一个量级。Bad MCP design 的隐性代价是它不显示在 Pass Rate 上,只显示在 cost 上,这是绝大多数 Agent 平台不会主动优化的维度。
四、把 Armature 数据代入 Coding Agent 工具链设计
把 Armature + Bad MCP 两组数据合起来,可以提炼出 Coding Agent 工具链设计的具体工程基线。
第一条,tool 必须返回 path:line:content,而不是只返回 location。Agent 需要 source text 在下一步决策时,返回 location 强迫它再开文件,follow-up read 数会暴涨(LSP+location 15.2 reads,LSP+inline context 3.2 reads)。
第二条,tool response 必须经过 filtering 和 formatting,不能直接 dump API response。Bad MCP 实验数据直接证明这点——Pass Rate 一样时 input tokens 差 5 倍。
第三条,tool response 必须包含 Agent 下一步 action 所需的所有信息。Search tool 不能只返回 id,必须返回 project_id 等其他 CRUD 操作需要的字段,避免 Agent 必须额外 call get_by_id。
第四条,tool 必须支持原生 fallback。Semantic navigation 在 noisy codebase 有 0.246 F1 增益,但在 clean codebase 是 0 增益还要多花 16% tokens。Harness 应该根据 codebase noise 自动 route,而不是默认用"更高级"的工具。
第五条,tool description 必须精确反映 capability。MCP 实验里 MCP-B 的 tool description 更短(3.7k vs 11.4k)但 Pass Rate 一样,问题不在 description 长度而在 description 是否准确说清楚返回什么、Agent 能用它做什么下一步。
第六条,tool 必须支持 progressive disclosure。大结果集不要一次性倒进 context,Warp 的 skill、machine0 的 stream-based transfer、Ridge 的 Keep artifacts out of model context 都是同一类思想。
第七条,tool 必须为 non-deterministic agents 设计 interface。Anthropic 的 Writing effective tools for agents 反复强调这条——tool 的 output 是 model reasoning 的输入,output shape 决定 model 接下来怎么 act。
第八条,tool routing 必须 task-shaped 而不是 constant。Simple code-location 几乎不用 LSP,reference-completeness 才用 LSP 一半。Harness 应该让 Agent 自己 route,或者按 task type 自动 route。
第九条,tool evaluation 必须 on real tasks。Bad MCP 实验里 Pass Rate 一样但 token 差 5 倍——只看 Pass Rate 看不到 token 消耗差异。企业评估 Harness 时必须同时看 Pass Rate、Token 消耗、Steps 数、Time 四件套。
第十条,harness 必须可重复 evaluate。模型单独 benchmark 不能预测 harness 改版后的实际表现,这一点 Armature 用 17k 任务已经系统证明。
五、企业 Coding Agent 工具链选型 checklist
把 Armature 的方法学和上面十条工程基线合并,企业 Coding Agent 工具链选型应该满足如下 checklist。
第一条,选型必须基于多模型 × 多任务 × 多 codebase noise 的对照数据。单模型单任务的 benchmark 不足以支撑决策,Armature 的 17k 任务 × 3 模型 × 4 类任务 × 多 noise level 是基线样本。
第二条,Pass Rate 必须配合 Token 消耗、Steps 数、Time 一起评估。Bad MCP 实验直接证明 Pass Rate 一样时成本可以差 5 倍。
第三条,工具接口必须经过 Armature-style task-shape 验证。Simple localization / reference-completeness / rename 等不同任务类型应该对应不同的 tool routing,不能所有任务用同一组工具。
第四条,所有 tool 必须 declare effect in the manifest。任何 undeclared behavior refused on sight,这是 Talos permission kernel 的核心思想。
第五条,所有 tool 必须支持 path:line:content response 形态。返回 location 强迫 follow-up read,Armature 实验证明这是 5x token 浪费的主因。
第六条,任何 tool design change 必须走 A/B 测试而不是 demo 直觉。Bad MCP 实验的 5x token 差距就是 design 直觉错误的实证,任何 tool 改动必须量化效果才能落地。
第七条,codebase noise 必须作为 routing input。Clean codebase 默认 grep,noisy codebase 默认 LSP,而不是"高级的总是更好"。
第八条,tool 必须支持 native fallback。即使默认 routing 错了,Agent 也能走 fallback 路径,而不是被 stuck 在坏 routing 上。
第九条,internal Skill / Prompt 必须 progressive disclosure。Warp 实测的 inner/base skill + outer/improver skill 设计是 progressive disclosure 的样板。
第十条,tool description 必须 byte-for-byte 标准化。TDQS spec 的 byte-for-byte prompt 公开是 tool design 可重复 evaluate 的基础。
六、Coding Agent 工具链从经验到基线的过渡
把这件事放到更大的图景里看,Coding Agent 工具链正在从"开发者个人审美"过渡到"可量化基线"。Armature、AgentConnect、Reware Labs、Anthropic、OpenAI、Unblocked 等团队近三个月的密集产出,共同把 Agent 工具选择和设计拉到了 empirical rigor 的水平——任何 claim 都必须配可重复的 task 数据,任何 design 改动都必须量化 Pass Rate、Token、Steps、Time 四件套。
接下来一年内,Coding Agent 工具链工程会进入"benchmark 时代"——任何 agent 平台在发布时都需要跑一组标准 harness benchmark,包括 localization、reference-completeness、rename、codebase noise 等多任务类型,token 消耗、Pass Rate、Steps 数、Time 四件套,以及在不同 model family 上的 distribution。企业 IT 评估 Coding Agent 时,会像现在评估 GPU 一样看 benchmark 数字,而不是看 demo 演示。
回到一开始的问题——Armature 的 17k 任务横向对比,把"Agent 用什么工具"从直觉变成了可量化的工程基线;AgentConnect 的 Grep vs LSP 实验,把"模型坚持熟悉路径"这一观察推到 4 类任务 × 多 codebase noise 的实证;Bad MCP design 的 5x token 数据,把工具设计错误的隐性代价第一次用实验数字钉死。剩下的是企业 IT 在落地时把十条基线都做对,把 Coding Agent 工具链从"开发者个人审美"升级为"可量化基线"。这是 2026 年下半年 Coding Agent 工程走向成熟的标志,也是企业 AI 真正能承担关键业务的入场券。