重庆这两年被问到最多的一句话,来自园区管委会、区属国企、金融机构和规模民企的信息中心:"我们想上一套 AI,但资料不能出去。"这句话背后是三条硬约束:内部制度、合同、项目资料不能出内网;信息系统要过等级保护测评与安全审查;关键软硬件要在国产化目录里选。这三条决定了公有云 API 那套"注册账号、传文档、拿结果"的做法,在这里根本走不通。 于是出现了一个非常常见的失败剧本:批了预算,买了服务器和显卡
重庆这两年被问到最多的一句话,来自园区管委会、区属国企、金融机构和规模民企的信息中心:"我们想上一套 AI,但资料不能出去。"这句话背后是三条硬约束:内部制度、合同、项目资料不能出内网;信息系统要过等级保护测评与安全审查;关键软硬件要在国产化目录里选。这三条决定了公有云 API 那套"注册账号、传文档、拿结果"的做法,在这里根本走不通。
于是出现了一个非常常见的失败剧本:批了预算,买了服务器和显卡,装了个开源大模型,半年后设备在机房里安静运行,只有信息中心自己试过几次。问题从来不在算力,在于一开始没把"这东西替谁干什么活"定下来。这篇文章按我们做私有化交付的实际顺序讲一遍:怎么定场景、算力怎么选、知识库智能体怎么做得能用、以及验收该盯哪几个数。
一、先选场景,再选算力:三个能量化的入口
私有化项目最怕的立项理由是"别人都有了我们也要有"。能活着走过三年的项目,起点都是一个具体的、每天重复发生的动作。按经验,下面三类最容易出效果:
- 制度与业务口径问答。人事制度、财务报销规则、招采流程、安全规范、技术标准,员工问一次要翻三份文件、问两个人。这类场景的收益好量化:一次查询的平均耗时、答复准确率、人工答复工单减少量。
- 材料核验与文书辅助。公文格式与要素校验、合同关键条款比对、投标响应与招标要求的逐条核对、会议纪要与待办事项生成。这是最"不性感但省人"的一类,一份材料的校验由 40 分钟压到 5 分钟,月底集中处理时能明显感受出来。
- 跨系统查询与填报。把 OA、项目系统、财务系统里的数据用一句话查出来,把重复的表单填写自动完成。这一类要接接口,难度和收益都最高,建议放在第二阶段。
立项会上必须回答三个问题:谁每天用、用多少次、错了谁负责。答不出这三个,再多算力都是仓库里的固定资产。
二、算力与模型:别为"最大参数"多付一倍钱
选型的第一原则是"按场景配模型",不是"按宣传配"。实际交付里的判断路径大致是这样:
先定推理规模。以知识库问答为主的场景,主流开源中等参数模型配合良好检索,效果已经足够;真正需要大参数的是复杂长文档推理与代码生成类任务。盲目上顶配,显存与并发预算立刻失控。
再按并发估算力。并发估算比想象中简单:峰值同时提问人数 × 平均生成长度,决定了需要的显存与吞吐。百人级日常问答,单台多卡服务器就可以起步;全公司范围、并且要处理长文档批量解析,才需要考虑推理集群。用量化与推理框架优化,往往比加卡便宜得多。
第三是配套件。推理服务框架、向量检索、Embedding 模型、OCR 与版面解析(政务和工程单位的资料大量是扫描件、盖章件、双栏表格,解析能力不足会直接导致检索命中错段落)、以及模型网关(统一鉴权、限流、审计)。很多项目卡在最后一环——没有网关,权限、留痕、切换模型都无处落地。
国产化要求要提前问清。是要求芯片层面的国产化,还是只需要软件栈可替代,两者的预算和性能预期完全不同。这一点在方案阶段就必须确认,否则到采购环节推翻重来。
还有一条经常被忽略的:成渝地区作为全国一体化算力网络的国家枢纽节点之一,本地有可用的算力与 IDC 资源,部分单位会考虑"专属算力托管"这种折中方案——数据不出重庆行政区域、但也不必自建机房。这种路径在合规边界清晰的前提下能省下一大笔一次性投入,值得在立项时和完全自建放在同一张表上对比。
三、知识库智能体:能不能用,全在这五件事上
一、文档治理在模型之前
同一份制度有三个版本、废止文件还在共享盘里躺着,再好的检索也会给出过期答案。上线前必须做四件事:唯一权威版本、废止归档、元数据打标(部门、密级、生效日期、适用范围)、长文按条切分。我们见过太多项目跳过这一步,三个月后因为"答错了旧政策"被业务部门集体弃用。
二、检索先过权限,再谈相似度
密级与部门权限必须在召回阶段生效,而不是在生成完之后做屏蔽。人没权看的文件,系统压根不该把它交给模型——这是私有化问答系统的生命线,也是最容易被漏掉的一层。上线前要做一次越权测试:用低权限账号去问高密级内容,标准答案是"完全检索不到",不是"检索到但拒绝回答"。
三、每条回答必须带出处
答案格式固定成"结论 + 依据条款原文 + 文件名与页码 + 生效日期"。给不出依据就明确拒答并转人工。这一条不妥协:内部办公场景里,一次"看起来对的编造"造成的信任损失,需要半年才能补回来。拒答率不是缺陷,是指标——早期允许一定的拒答率,用拒答清单反向补文档。
四、幻觉要按天抽检,而不是靠感觉
建立抽检机制:每天随机抽取若干条问答,由业务部门判"对/错/无法确认",记录成表。周会上只看两个数——错误率和其中"有出处但错"的比例(这类最危险,因为看起来最可信)。模型输出的温度、检索阈值参数,都靠这张表调,而不是靠 demo 时的印象。
五、把答案变成动作,才算智能体
问答只是入口。真正省人的是后续动作:核验材料是否齐备、生成待办并写进 OA、把咨询结果分类落到工单、发现制度即将到期主动提醒。每一次跨系统写入都留下完整调用记录——谁问了什么、命中哪些文件、调了哪个接口、系统返回什么、有没有落库。这类留痕在内部审查和等保复测时,是能直接拿出来给评审看的东西。
四、验收指标与三年账
不建议用"系统运行正常"来验收。可照抄的指标表:
- 带出处回答比例:目标 100%,给不出依据一律走拒答与转人工;
- 抽检事实准确率:按业务部门判定,稳定不低于 95%,重点看"看似可信的错误"的下降趋势;
- 权限越界次数:0 容忍,上线前和每季度各做一次越权测试并归档;
- 响应时延:首字时间控制在体感一两秒内,批量文档解析走异步队列不占交互资源;
- 周活人数与人均提问数:判断是不是真在用,这是最诚实的指标;
- 人工替代工时:把答复工单量、材料校验耗时的变化折成工时,作为续费与扩容依据。
成本账要算三年:一次性是服务器与显卡、实施与联调、安全测评与整改;持续支出是运维人力(私有化的隐性大头,机器要有人管、模型要有人换、知识库要有人更新)、电力与机房、以及年度支持服务。很多单位的预算表只写了第一项,导致第二年没人维护,系统自然荒废。反过来说,如果年咨询量本来不大、数据敏感度也没到不可出内网的程度,公有云按调用计费反而更划算——这一句是我们真实给客户的建议,不会因为卖私有化就反过来讲。
五、七个真实的坑
坑一:先买硬件后找场景。设备到货后找不到能落地的用途,是私有化项目最常见的死法。
坑二:把"私有化"当目的。客户真正要的是少加班、少出错,不是"在我们机房里"。方案评审时把部署方式和业务收益分开谈。
坑三:安全与合规评审最后才介入。等保要求、生成式人工智能服务的相关管理规定、对外提供服务与内部办公系统的边界差异,应该在设计阶段就让安全部门签字,否则做完再返工代价极高。
坑四:扫描件解析能力被低估。盖章页、双栏、表格、竖排,解析错就检索错。上线前拿真实档案做一轮解析测试,不要相信厂商拿干净 PDF 做的演示。
坑五:知识库没人更新。制度改了没同步进库,系统开始给过期答案。必须指定内容责任人并写进部门职责,这是运营问题不是技术问题。
坑六:只做一个入口不做集成。员工要在多个系统之间来回切,再聪明也不省事。入口统一到 OA 或者企业微信里,才有人用。
坑七:忽视人员更替。项目靠某一个信息中心骨干推动,他调岗后系统失养。交付时同步做运维培训与文档移交,把责任落到岗位而不是个人。
重庆的园区、区属国企和规模民企接下来几年要面对的,是"人工智能+"行动把智能体应用普及率写进了明确目标(2026 年全市新一代智能终端与智能体应用普及率超过 70%,2027 年突破 80%,并配套 15 项扶持措施)。指标会一层层传导到单位,但真正能交差的不是买了什么设备,而是有几个岗位确实因此少加了班、少出了错。把这件事的顺序摆正,私有化项目才不至于变成机房里那台安静运转的服务器。