Microsoft 给 Copilot Studio 加上 Computer-Using Agents + 实时语音:企业 AI 的两个新入口

Microsoft 给 Copilot Studio 加上 Computer-Using Agents + 实时语音:企业 AI 的两个新入口

一手素材:

1. arXiv - *READY or Not: Reliable Enterprise Agent Deployment*(https://arxiv.org/abs/2609.02095,2026-09-02 发布;Veronica Chatrath, Bryan Zhu, Jingxuan Fan, George Pu 等)

2. arXiv - *Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial*(https://arxiv.org/abs/2603.05413,2026-03-05 发布;Jielin Qiu, Zixiang Chen, Liangwei Yang 等,Salesforce Research,technical tutorial)

Microsoft 在 2026 年下半年对 Copilot Studio 做了一个看似平实但工程含义重大的升级:同时引入 Computer-Using Agents(CUA)与实时语音体验(Real-Time Voice)。这次升级同时解决了企业 AI 落地的两个长期痛点——一个是过去 AI 智能体"看见屏幕但不会操作屏幕"的局限,另一个是过去 AI 智能体"听懂语言但反应迟钝"的局限。

把这两件事放在学术文献里看,会发现 Microsoft 的工程选择有清晰的学理支撑。Veronica Chatrath 等人在 2026 年 9 月发表的 "READY or Not: Reliable Enterprise Agent Deployment"(arXiv:2609.02095v1)给出了企业 agent 部署资格的量化框架——它不再问"agent 在基准测试上能得多少分",而是问"agent 在可接受的人工监督与可容忍的成本下,能稳定达到多高的可靠度"。Jielin Qiu 等人在 2026 年 3 月发表的 "Building Enterprise Realtime Voice Agents from Scratch: A Technical Tutorial"(arXiv:2603.05413v2)则从工程角度给出了实时语音 agent 的完整搭建教程——它证明在当前技术条件下,cascaded STT→LLM→TTS 架构仍是企业级实时语音的工程现实,延迟可以压到 700-800ms 区间。

两篇工作合在一起,基本上回答了"Copilot Studio 这两个新能力,为什么是这个时点、这个形态"。

一、Computer-Using Agents 解决的是什么问题

过去两年企业 AI 智能体落地最大的痛点是"看见屏幕但不会操作"。AI 智能体可以读取文档、查询数据库、调用 API,但当任务需要在 GUI(Graphical User Interface, 图形用户界面)里点击按钮、填写表单、切换标签页时,智能体就束手无策——除非为每个具体应用编写专属的 API 集成。

Computer-Using Agents 解决了这条工程瓶颈。它让 AI 智能体能像人类用户一样,通过截图识别 + 坐标点击 + 文本输入的方式操作任意 GUI 应用——浏览器、桌面软件、ERP 客户端、CRM(客户关系管理)系统等。这种能力让 AI 智能体不再依赖专属 API 集成,而是直接复用现有的 GUI 界面。

这条能力的工程含义可以从三个角度理解。

第一个角度是接入成本骤降。一个企业如果有 100 个内部系统需要 AI 智能体接入,传统的 API 集成方案需要 100 个集成点、几十万美元的集成成本、数月的开发周期。Computer-Using Agents 方案只需要让 AI 智能体登录这 100 个系统的 GUI,就能立即开始工作——不需要 API 集成,不需要供应商配合。

第二个角度是覆盖"长尾系统"。企业内部总有少数老旧系统、定制系统、第三方系统没有现代 API——这些"长尾"系统在过去 AI 智能体是无法触及的,只能靠 RPA(Robotic Process Automation, 机器人流程自动化)工具用脚本方式操作。Computer-Using Agents 的 GUI 操作能力比传统 RPA 更鲁棒(能理解界面语义而不只是坐标),能处理更多这类长尾系统。

第三个角度是企业流程的"最后 1 公里"被打通。企业的核心流程通常横跨多个系统——ERP 里查库存、SAP 里查订单、邮件里查沟通历史、CRM 里查客户档案。传统的 AI 智能体只能在一个系统内做端到端工作,跨系统工作需要 API 网关或人工中转。Computer-Using Agents 让 AI 智能体可以像人类员工一样,在多个系统之间自由切换。

把三个角度合起来,Computer-Using Agents 真正打开了"AI 智能体进入企业核心流程"的最后一扇门。

二、实时语音体验解决的是什么问题

与 Computer-Using Agents 同步引入的实时语音体验,解决的则是"AI 智能体听见语言但反应迟钝"的痛点。过去 AI 智能体的语音交互通常是"语音→文本→文本回复→语音回复"的串行流程,端到端延迟通常在 3-5 秒之间——用户问完问题后,要等几秒才能听到回复。这种延迟在客服场景下勉强可以接受,但在企业内部的高频交互场景(销售对话、医生问诊、紧急工单处理)下,延迟会让对话变得不自然。

实时语音体验把这条延迟压到了 1 秒以内。Qiu 等人的教程工作实测了三种实时语音管线:完全端到端语音模型 Qwen3-Omni 在云端 streaming 模式下能达到 702ms 延迟但无法 self-host;本地 vLLM 部署只支持 Thinker 不支持 Talker;本地 Transformers 全栈部署延迟高达 146 秒。最终他们选择 cascaded 架构(Deepgram streaming STT → vLLM streaming LLM → ElevenLabs streaming TTS),实测 time-to-first-audio 达到 755ms(最佳 729ms)。

这条延迟数据对企业 AI 落地有三个具体含义。

第一个含义是自然对话成为可能。700-800ms 延迟区间是电话通信里"自然对话延迟"的近似上限——超过这条线,对话就会显得"断断续续"或"反应迟钝"。进入这条线之后,AI 智能体的语音交互可以像真人对话一样流畅,用户不再需要适应"AI 反应慢"的特殊节奏。

第二个含义是高复杂度任务可以承载。过去的串行语音方案只能处理"问答型"任务——用户问一个问题,AI 答一个问题,对话结束。实时语音方案可以承载"对话型"任务——AI 智能体在对话过程中多次调用工具、查询数据库、生成文档,对话可以跨越多个回合而不会因为延迟累积而失去节奏感。

第三个含义是客服与销售场景的临界点到来。客服与销售场景对实时语音延迟的容忍度极低——超过 1 秒就可能导致客户流失。Copilot Studio 的实时语音体验恰好突破这条临界点,让企业可以把 AI 智能体正式部署到客服与销售的一线对话中,而不是只作为辅助工具。

三、部署资格 vs 基准性能:企业 AI 评估的范式转变

Chatrath 等人的 READY 框架对企业 AI 评估的最大贡献,是它把评估范式从"基准性能"转向"部署资格"。

过去的 AI 智能体评估范式是:拿一套标准基准测试集,跑出准确率,谁高谁赢。这个范式假设"基准高分 = 部署可用",但 READY 的实验证明这条假设在企业场景下是不成立的。

READY 在一个端到端的临床审计场景里测试了 16 个 AI 智能体系统、750 个案例。结果显示:两个在自主精度上仅相差 0.3 个百分点(72.8% vs 72.5%)的系统,要达到 76% 的可靠度目标,需要的人工复核率分别是 39.2% 和 29.6%——相差近 10 个百分点。

这条数字对企业 AI 评估的含义是:基准测试只告诉你"AI 在没有人监督时能做到什么",但企业真正关心的是"AI 在有人监督的条件下能稳定做到什么"。后者的数字不仅取决于 AI 自主精度,还取决于 AI 犯错的模式、AI 自信度、AI 求助阈值等多个维度。

Copilot Studio 的 Computer-Using Agents 与实时语音体验,正是在企业 AI 评估范式转变的大背景下推出的。Microsoft 不仅给出了两个新能力,还隐含地给出了"这些能力的部署资格如何评估"——它对应 READY 框架里"可接受的人工监督 + 可容忍的成本 + 稳定可靠度"的三维评估。

四、Cascaded vs End-to-End:实时语音架构的工程选择

Qiu 等人的工作给实时语音 agent 的工程实现提供了一个关键判断:cascaded STT→LLM→TTS 仍是当前企业级实时语音的工程现实。

这条判断基于他们对三种主流方案的实测:

第一种是 Qwen3-Omni 这类端到端语音模型,云端 streaming 模式延迟 702ms 但无法 self-host——对数据敏感型企业(金融、医疗、政府)来说不可接受,因为数据必须经过阿里云 DashScope。

第二种是本地 vLLM 部署,支持 Thinker(语音转文本,516ms)但不支持 Talker(文本转语音),意味着只能做语音转文本 + 文本回复,不能做完整语音对话。

第三种是本地 Transformers 全栈部署,延迟高达 146 秒——远超实时对话的容忍范围。

在三种方案都不能满足"自托管 + 实时对话"的双重约束下,cascaded 架构成为现实选择:每个组件独立部署,延迟可控,可替换性强。Deepgram 做 streaming STT,vLLM 做 streaming LLM(支持 function calling),ElevenLabs 做 streaming TTS——这条管线实测 755ms time-to-first-audio,完整支持 function calling。

把这条工程现实放到 Copilot Studio 的实时语音体验上,可以推断 Microsoft 的实现大概率也是 cascaded 架构——Azure 提供的 Speech Services 做 STT/TTS,Azure OpenAI Service 做 LLM,管线延迟控制与 Qiu 等人的工作在同一区间。

五、企业 IT 评估 Copilot Studio 新能力时的工程清单

把 Computer-Using Agents 与实时语音体验放到企业 IT 的视角里,可以提炼出几条具体的评估要点。

第一条是 GUI 操作的鲁棒性。Computer-Using Agents 的核心能力是 GUI 操作,但 GUI 操作的鲁棒性受界面变化影响极大。企业 IT 应该测试:在界面微小变化(如按钮颜色、布局调整)下,Computer-Using Agents 还能否正确操作?在界面重大重构(如流程再造)下,Computer-Using Agents 多久能适应?

第二条是实时语音的延迟一致性。Qiu 等人的教程里实测 755ms 是"平均"或"最佳",企业 IT 应该测试"P95/P99 延迟"——在最坏情况下,语音交互是否会因为延迟累积而失去节奏?延迟一致性比平均延迟更重要,因为它直接影响用户体验。

第三条是部署资格的统计显著性。READY 框架要求"在 held-out cases 上做统计意义上的部署资格认证",这条要求对企业 AI 选型至关重要。企业 IT 应该要求 Copilot Studio 提供"在贵企业真实工作流上的统计测试能力",而不是只展示 Microsoft 自家的基准测试分数。

第四条是 function calling 的鲁棒性。实时语音 agent 要承接复杂的对话型任务,需要 LLM 部分支持稳定的 function calling——能够可靠地调用工具、解析工具返回、处理工具错误。企业 IT 应该测试:在网络抖动、工具超时、工具返回异常的情况下,语音 agent 是否能优雅降级?

第五条是企业数据流的安全性。Computer-Using Agents 操作 GUI 时会"看见"屏幕上的所有内容——包括不应被 AI 看到的敏感信息。实时语音 agent 的 STT/TTS 服务会"听见"用户语音——包括不应被上传的对话内容。企业 IT 应该评估:Microsoft 的服务是否提供端到端加密、是否支持 self-host、是否提供数据脱敏机制。

六、两个新能力与企业 AI 的下个阶段

把 Computer-Using Agents 与实时语音体验合在一起看,可以发现 Microsoft 在 Copilot Studio 上的这次升级,本质上是在把企业 AI 智能体的能力边界从"屏幕外的数字工作"扩展到"屏幕内的 GUI 操作"与"语音对话的实时交互"。这两个扩展方向对应了企业 AI 落地的两个"长尾场景":

GUI 操作覆盖的是"老旧系统 + 定制系统 + 第三方系统"这类没有现代 API 的长尾工作流,这些工作流过去只能靠人工或传统 RPA 处理。

实时语音覆盖的是"客服 + 销售 + 紧急工单"这类对延迟敏感的长尾交互场景,这些场景过去只能用纯人工服务,无法规模化 AI 介入。

这两个长尾场景被覆盖之后,企业 AI 的实际价值会显著提升——之前企业 AI 主要在"现代化系统的 API 工作流"上创造价值,现在它能在"GUI 操作 + 语音对话"两条新通路上创造价值。

更深一层的影响是,这两个新能力与 Anthropic 在 2026 年同步推出的 frontier 治理能力、Perplexity 推出的 Comet Enterprise 浏览器、Aura 这类事故响应 agent 等共同构成了"企业 AI 的下个阶段"的基础设施。这个下个阶段的核心特征是:企业 AI 不再只做"数字世界的提效工具",而是要做"能真正替代或辅助人类员工的协作伙伴"。Copilot Studio 的这次升级,正是 Microsoft 朝着这个方向迈出的具体一步。

企业 IT 在评估这次升级时,应该把目光从"功能是否好用"扩展到"部署资格是否够格"——READY 框架给出的三维评估(可靠度 + 人工监督负担 + 成本),是任何企业 AI 部署决策都必须回答的三个问题。能完整回答这三个问题的供应商,才是真正能进入生产系统候选名单的供应商。