文章 / 创意应用

Writing

创意应用|先把验收立起来,再放两千个智能体

2026-10-11创意应用企业治理建筑施工

目录 展开 / 收起
  1. 四类“对等性”,把“验收”从感觉变成可跑的检查
  2. 第二个例子:先用已知答案校准,再去找未知的
  3. 迁移到施工企业:判定“一致”这件事,本身就该是一个可版本化的产物
  4. 来源与说明

一个已经跑了八万亿 token、被下载三十多万次的编程智能体,要整体从 TypeScript 重写成 Rust。这件事通常的排期是以季度计的:先分层、再逐模块迁移、每一步配人工回归,光是确认新旧两版行为一致就要耗掉大半人力。Prime Intellect 给出的实际做法是两周,指挥了 2000 多个智能体,跑在 1 万多个沙箱上,用掉 2000 亿以上 token,模型来自自家的 GLM-5.3 端点。真正值得看的不是这个规模,而是团队把人的工作挪到了哪里——官方博客里那句话写得很直白:目标是让智能体尽可能自主完成重写,因此人需要做的,是建立一套恰当的验证机制,好让大规模自主部署成为可能。

换句话说,人没有去审那几千次改动,人去写了判定“改得对不对”的那套东西。

四类“对等性”,把“验收”从感觉变成可跑的检查

Prime Intellect 的做法是给每一种“新旧一致”都配一个可客观衡量的检查,四个方向各管一段。

界面这一层叫 TUI 对等:一套差分测试把 TypeScript 和 Rust 两个二进制并排跑同一个脚本化的模型,然后逐帧比对两者渲染出的终端画面,覆盖启动、斜杠菜单、工具调用、上下文压缩、智能体视图、会话恢复、子智能体和崩溃恢复这些用户流程。外壳这一层叫 Harness 对等:同样的运行把两边的会话记录和各自发给模型服务商的请求也拿来比对,保证同样的输入能产出同样的会话。协议这一层把守护进程协议里的每种消息类型与 TypeScript 实现逐条对照,确保对外接口一致。剩下界面覆盖不到的部分叫功能对等:智能体把 TypeScript 版的组件逐个审计一遍,把每个组件判成已匹配、部分匹配或缺失。

这四条一起,才让“自主”有了着力点。有了客观检查,智能体能自己量出进度、在合并前抓住回归,于是团队把人工审评压了下来。博客也写明了另一半:这些检查只覆盖它们真正跑到的行为,剩下的缺陷和行为差异主要是靠内部使用暴露的,后续补功能、修可靠性、磨界面的工作又做了几周,智能体仍然在写和测试这些改动,而人留在回路里负责发现问题、指明方向、复核全部结果。

工程结果本身也值得记一笔:冷启动到可输入的延迟快 14.18 倍,热启动快 13.34 倍,大会话下的进程树内存小 4.76 倍,安装体积小 2.89 倍,视图切换快 6.09 倍。团队说多数收益来自三类改动——把工作从启动和渲染路径上挪走、把轮询换成事件驱动等待、大会话加载完立刻释放内存。硬件上并没有堆机器:两台 8 核按需 CPU 节点,各自支撑 100 个以上并发子智能体及其内核,编译、类型检查和差分这类重活外包给沙箱以拉高并行度。

对照
人逐条审改动
人先把验收写出来
人的位置:改动发生之后,逐条看
改动发生之前,先把判定标准写成可跑的检查
规模上限:受限于评审人数与注意力
受限于能否把"一致"定义清楚
失败发现:靠人看出不对,或上线后暴露
智能体在合并前自己抓到回归
遗留部分:评审覆盖了才知道有错
检查只覆盖它跑到的行为,其余靠实际使用暴露
人的回路:审批每一次提交
发现问题、指明方向、复核全部结果

第二个例子:先用已知答案校准,再去找未知的

同一周还有一个规模小得多、但把同一件事说得更透的案例。软件工程师 Jesse Waites 受历史学家 Benjamin Breen 用 AI 在荷兰东印度公司档案里找到一份 1615 年渡渡鸟目击记录的启发,把自己家里那套小算力铺开,去翻同一批档案。GLOBALISE 项目把公司的手写页面转成了可检索文本,他面对的是 435 万页、570 万个段落。老式拼写和识别错误让关键词检索靠不住,比如“犀牛”在 17 世纪的荷兰语记录里有多种写法,于是他把 570 万个段落转成了按语义检索的表示,一次检索可能返回上万条,再让一个便宜的小模型先筛,筛过的才交给更强的模型去翻译、提取日期和地点,最后由智能体打开原始页面的扫描件做核对。这套流程用 12 小时跑完,他自己估算按每页两分钟、正常工时算,人要读七十年。

筛出来的东西包括 1812 年 12 月 19 日《爪哇政府公报》上一则陨石记录——一块四磅重、富含铁的石头砸进地里一英尺,比该地区已知最早的记录早 26 年;三座未被史密森学会全球火山计划收录的火山喷发;以及三头要送给康提国王的爪哇犀牛的下落。他自己把这些都称作候选:对过原页,也查了能查到的专业目录,但还没有维护这些目录的专家看过。

真正值得抄的是他校准检测器的办法。他先把已经确认发生过的事——比如 1815 年坦博拉火山喷发——埋进流程里,要求管线必须先把这些找出来,才允许它去找没被记录过的。他在报告里写了一句可以直接抄下来的话:模型可能自信地错,所以每一条主张都必须落在一张真实的文件上。

步骤把"先立验收"落到自己的团队
1
先埋表
挑一批结论已经确认的历史样本,要求管线必须先找回它们
2
再定线
找回率不到约定比例就不许上线去找新问题,这是门槛不是参考
3
接原件
每条结论都挂一个可点开的原始件位置,机器给的说法不算数
4
留回路
人负责发现问题、指明方向、复核结果,不逐条审批改动
5
记版本
判定规则本身要版本化,规则变了历史结论要能追溯是哪一版判的
提示
两条容易被忽略的边界。Prime Intellect 的四类检查只覆盖它们真正跑到的行为,内部使用是在主循环达成对等之后才把团队整体切到 Rust 版上才暴露出更多问题的,靠人用出来的那部分无法被差分测试替代。档案案例里,作者自己把结果标为候选,专业目录的维护者还没回复;埋表能证明检测器不漏,不能证明新发现成立。

迁移到施工企业:判定“一致”这件事,本身就该是一个可版本化的产物

设想一家施工集团要把分散在上百个项目部的隐蔽工程验收记录统一口径。这件事现在的做法通常是总部一年组织两次检查,抽查覆盖面有限,而且各项目填法不一,检查表拿回来还要二次整理才能比。若直接把记录丢给一个智能体去“找出不规范的”,多半会得到一份看着专业、却说不清每条依据的清单,而且换个项目、换个工种就不灵。

可复用的关系在上面两个案例里是同一条:不要让机器判断“对不对”,先让它能证明“跟谁比、差在哪”。Prime Intellect 那四类对等性检查迁移过来,就是先给每一类验收记录定一个可比对的对象——上一版台账、规范条文、以及同工种其他项目的同分项记录——让机器把新增记录与三者逐项比对并把差异列出来;档案案例的埋表法迁移过来,就是先把过去三年总部已经通报过的那些问题记录作为已知样本塞进去,管线必须先把这批找回来,找不齐就不许上线去找新的。

改变发生在项目部和总部两边。项目部的资料员不再逐份自查,系统每天把新增记录跑一遍比对,把不一致项连原始附件一起推给项目总工,他要做的只是确认这条差异是真问题还是填报习惯不同。总部拿到的也不再是一次抽查的结论,而是一份每条都能点回原件、能查到是哪一版规则判出来的清单;哪条规则误报多,下次修规则而不是修人。

成立条件有三条,缺一条就会退化成又一个好看的演示:必须有一批结论已经确认的样本,否则没有校准物;必须保留可点开的原始件,判定才有落点;判定规则必须版本化并与适用范围一起登记,否则跨工种套用会大量误报。还有一件必须重做的事——“什么算不一致”这套规则不能由写它的智能体自己定,得由总工和质量部门共同签字,这跟 Anthropic 上周把模型绕开限制的原因归结为训练环境给出的奖励形状是同一个道理:谁定义奖励,谁就定义了行为,而定义权不能交出去。

两个可以马上做的小试验。一是拿过去三年总部通报过的三十条问题当埋好的表,让检索管线先找这批,找回率不到约定比例就不许上线,这条线要写进验收条件而不是写在周报里。二是给每条机器判定配一张四字段的溯源表:判定依据、原始件位置、规则版本、复核人,缺任一字段的判定不进台账——它能顺带回答半年后一定会有人问的那句“当时为什么这么判”。

来源与说明

[1]: Rewriting Prime Agent in Rust(两周、2000+ 智能体、1 万+ 沙箱、2000 亿+ token、四类对等性、性能数字、硬件配置)—— Prime Intellect / 2026-10-09 (https://www.primeintellect.ai/blog/prime-agent-rust) [2]: Prime agent: A self-improving RLM harness —— Karten et al., arXiv 2608.23552 / 2026 (https://arxiv.org/abs/2608.23552) [3]: Pointing AI At Archives Found A Forgotten Meteorite, Lost Rhinos, And More(含 435 万页、570 万段落、12 小时与七十年估算、候选说明)—— Greek Sceptic / 2026-10-10 (https://greeksceptic.com/?p=9892) [4]: Engineer Builds AI Pipeline to Uncover Forgotten Meteorites and Volcanic Eruptions in Colonial Archives(含陨石与火山的具体条目、坦博拉校准法、Antiquity 工具包)—— ClawdBytes / 2026-10-09 (https://clawdbytes.com/article/2026-10-09-i-pointed-ai-at-400-years-of-archives-it-found-a-forgotten-meteorites-and-more.html) [5]: Pointing AI At Archives Found A Forgotten Meteorite, Lost Rhinos, And More(含 5.9 万处提及约 3 美元的筛选成本、十三个人选问题与筛选标准)—— Who Makes / 2026-10-10 (https://who-makes.com/general/pointing-ai-at-archives-found-a-forgotten-meteorite-lost-rhinos-and-more) [6]: I Pointed AI at 400 Years of Historical Archives(作者自述原文摘录,含“每一条主张都必须落在一张真实的文件上”)—— Xibilus / 2026-10-09 (https://xibilus.com/similar/302179) [7]: AI coding agents generate more code, but not more software(评审成为瓶颈的对照数据)—— Ars Technica / 2026-10-10 (https://arstechnica.com/ai/2026/10/ai-coding-agents-generate-more-code-but-not-more-software/) [8]: Investigating unintended model actions in our evaluations and internal use(奖励黑客归因为训练环境缺陷)—— Anthropic / 2026-10-08 (https://www.anthropic.com/research/investigating-unintended-model-actions) [9]: On the Clock: Towards Punctual and Productive Time-Budgeted AI Agents(守时与productive用时的分离)—— arXiv 2610.10833 / 2026-10-10 (https://arxiv.org/abs/2610.10833) [10]: Deno is joining Cloudflare(并行迁移中对等手段的工程参照)—— Deno 官方博客 / 2026-10-09 (https://deno.com/blog/cloudflare)

← 全部文章