一名客户的 745 美元厨房电器在纳什维尔配送中心卡了十五天。客服智能体做了九次工具调用：调订单、查物流、查客户档案、两次读退款政策、确认没有工单后新开一张、补上时间线，并正确判断这位客户不符合延迟赔付的条件。接着它把工单标成已解决，回了一句“您的问题已处理”。两处不对——承运商的异常状态还开着，这张工单本该挂起；客户问的那件事，它一个字没答。只看工具调用的评分员会判它通过，只看最终答复的也会。不同意的是数据库：该写 hold 的地方写成了 solved。
这个例子出自微软与 Hugging Face 10 月 3 日联合发布的智能体基准 ThinkingBox。同一天前后，另外几条消息撞在同一件事上：一个四人小组把数字员工放进 ServiceNow 生产实例，得出的经验是“先只做一个流程”；llama.cpp 把“这一步到底成没成”的判断从对话模型手里拿走，交给 144M 的小模型打分；谷歌把联邦学习搬进可远程证明的可信执行环境。模型能力还在涨，把它接进业务的门槛却从“能不能做”挪到了“做没做对、能不能证明、错了贵不贵”。
一个基准把“做完”的判定挪到了数据库
ThinkingBox 由微软 Copilot Studio 团队与 Hugging Face 联合推出，10 月 3 日通过 Hugging Face 与 OpenEnv 放出可运行版本，论文 8 月首投、10 月 1 日修订。它挑的是有状态流程：507 条任务分布在零售、车险、旅行、数字银行和咨询支持五类场景，每条都从干净的隔离后端开始，由模拟用户保管一部分只有被问到才会给出的信息，跑完之后由可执行检查比对真实记录与要求的终态，再把整件事做十九遍。
三个指标问的是三件事：pass@1 是单次成功率，pass@20 是二十次里至少成功一次，20/20 是二十次全对。在覆盖 12 个模型的 121,680 次有效试验中，79,853 次没通过可执行检查，其中 67.24% 仍然干净收尾、调用了改状态的工具、也没报出工具错误；这些失败的检查结果是 77.61% 写错了字段值、43.30% 多做了不该做的事、25.36% 漏做了该做的事，三类互相重叠，不能相加。
两组数字之间的落差更能说明问题。单次分上，Claude Opus 5.5 是 67.16%，Claude Opus 5 是 66.50%，GPT-5.4 是 65.36%，GPT-6 Astra 是 58.31%，开源模型里 Kimi-K3 最高，57.37%。换成二十次全过，顺序就变了：Kimi-K3 能在 507 条里解出 476 条（93.89%），全过的只有 68 条（13.41%）；Claude Opus 5 单次覆盖面小一些（79.09%），全过的却有 241 条（47.53%）。更新的 Claude Opus 5.5 平均分更高，全过的仍然是 241 条——多出来的准确率没有换成可靠性。单次得分能在二十次重复里保住多少，GPT-6 Astra 是 78%，两个 Claude 是 71%，Kimi-K3、GLM-5.1 与 DeepSeek-V4-Pro 都只剩约 8%。
失败的样子也分得清：79.9% 是工具使用失误，10.3% 是状态更新写错，7.0% 没真正解决用户的问题，2.9% 完全没动手。绝大多数是重试与恢复的问题，不是推理的问题——预条件不满足、查询返回空的时候，它不会退回来另想办法，而是继续往下走，最后交出一份读起来很顺的总结。代价也标了出来：让一个任务二十次全过，GPT-5.4 平均花 6.80 美元，Claude Opus 5.5 是 7.80 美元。
四个人做的数字员工：先只做一个流程
10 月 4 日 VentureBeat 刊出 Bytemethod.ai（Dexian 旗下）两位作者的署名复盘，讲他们怎么给自家人手有限的 IT 服务团队造一个 ServiceNow 数字员工，并在生产实例上试点。整套东西 2025 年初起步时用浏览器操作，后来换成 MCP 直连 API，并自己写了一层协调程序，把概率推理交给模型、把校验与执行交给确定性代码。
让它在自己的环境里称职，花的功夫比模型本身多。组织对“一条知识库文章该怎么写”“脚本怎么命名”都有一套自己的看法，作者用带新同事作比：先介绍环境、交代团队的最佳实践、把上下文给够。他们用可复用的指令文件（SKILL.md 一类）加共享标准，还教会它读懂公司自己的需求文档格式。治理写得同样具体：写操作一律人工审批后才执行，身份沿用使用者自己的 ServiceNow 账号与角色权限，配置变更走团队熟悉的 update set，部署与回滚都还是老流程。
试点放在一支四人的 ITSM 团队上。目录项生成从几小时到几天、复杂的要一到两周，压到约 20 秒；作者自报成本降约 80%、可释放约 25% 的团队能力，属项目方的预期口径，没有独立核验。他们承认的两件难事更值得看：让数字员工稳定读懂组织的需求文档格式，以及真实痛点比路线图设想的更窄、更重复。方法由此只剩一句——从一条流程开始，挑重复、规则清楚、量大、好测量、好撤销的那种。
让 144M 的小模型替智能体拍板
10 月 2 日 llama.cpp 合并了 PR #29818，服务器多出一个 /v1/systemone 端点。它接的不是对话模型，而是“决策模型”：把一段状态（文本、JSON，个别模型还支持截图）和若干带类型的问题发过去，模型一次前向就算出每个选项的概率，不再逐字生成再解析，返回里的输出 token 数是零。问题分三类：choice 给一组选项要一个选择，score 给 2 到 10 个等级要一个期望值（可以落在两档之间），noul 回答一个是非问题。
首批接了五个模型，从 144M 的 Julia-1 到带图像输入的 OpenJev（27B），除 OpenJev 是 CC BY-NC 4.0 之外都是 Apache 2.0；官方给出的单问题中位耗时从 3 毫秒到 43 毫秒，测在一张 RTX PRO 6000 上。接口沿用 TypeSafe 的 Jev 模型引入的 System One 格式，老客户端只需换掉 base URL，不支持流式。作者在 PR 里说明，决策模型本质上是嵌入模型外面套一层，所以对核心库的改动很小；官方文档同时提醒，返回的概率不保证在你的数据上校准，阈值要按模型自己试。
放回本期主线看，它的位置很清楚：把“这一步成功了没有”“该转给哪个团队”这类窄判断，从贵而慢的对话模型里摘出来，变成毫秒级、可以在本地跑的组件。
数据不出设备，训练过程可以被人查证
10 月 2 日谷歌研究院发布了一套基于可信执行环境（TEE）的联邦学习系统。过去的联邦学习里，设备把数据交出去，却没人能证明服务器真的没看过原始数据；按谷歌的说法，服务器上的逻辑既不被设备验证，也不被审计者验证，只能选择信任运营方。
新系统把梯度计算从设备挪到服务器，再让那段逻辑可远程证明。设备上传前自己加密，并预先批准一份“哪些计算可以碰我的数据”的策略，策略先进 Sigstore 的公开透明日志 Rekor，设备才肯上传；管密钥的 KMS 只把密钥发给与策略相符的工作负载；训练由根 TEE 跑 Python 循环、工作 TEE 并行分担，对外只放出经过差分隐私处理的模型权重。策略里嵌的就是那段程序与相关二进制的哈希，这层逻辑等于被公开了，外部审计者读程序就能看清差分隐私如何落实；要保密的模型架构走“旁加载”在运行时注入，前提是所有隐私相关的逻辑必须硬编码在受证明的程序里。Gboard 的英文与日文下一词预测已跑在这套系统上，这种模型过去要训一到两个月，现在瓶颈在服务端。谷歌同时写明，这些保证以当前一代 TEE 的已知限制为前提，包括侧信道观测。
权限分档，再加一道硬预算
OpenAI 在 9 月 29 日发布的常驻智能体 dots 于 10 月 3 日前后进入更细的讨论：它不在对话窗口里等指令，而是在后台推进你交给它的目标，每个 dot 跑在 GPT-6 Astra 上，有自己的云电脑和浏览器，通过插件连接超过 4000 个应用。有信息量的是权限那一层——OpenAI 给了四档自定义规则：可以直接做、你说做才做、做之前先问、交回给你自己来。主动调研只能用只读工具，任何可能影响账户或对外共享信息的动作都要先过一次自动复核，结果可能是放行、询问，或把这一步退回给人。边界也写在文档里：规则是它尽力遵守的指令，它会出错；停止任务不能撤销已完成的动作。
钱那一头是 Simon Willison 10 月 3 日的主张：所有按用量计费的服务都应该默认带硬预算上限，超过某个金额就切断并返回错误，想冒险的人自己勾选去掉——软上限没用，等你读到凌晨那封警告邮件，跑飞的服务可能已经多花了几百甚至几千美元。平台侧已经动了：AWS 9 月 16 日加了项目级支出上限，达到上限当月项目暂停，目前在部分客户上可用；谷歌云 7 月上了 Spend Caps，可按服务设月度上限，同样还在预览。
谷歌把新前沿模型先交给少数人
Gemini 4 Argon 由谷歌 DeepMind 在 9 月 30 日公布，定位是长周期任务推理、软件工程、法律与金融这类企业知识工作以及网络安全防御。变化直观的是输出上限，从上一代的 6.4 万 token 提高到 100 万——这不是上下文窗口，而是模型在一条任务轨迹里能连续产出多少内容，意味着一次可以跨过大型代码迁移、深度研究这种需要几十万 token 的工作。
开放方式更贴近本期主线：Argon 没有直接面向开发者和消费者，而是通过 Fairwind 项目先给一批经过审核的网络安全从业者，后续才扩展到付费 API 客户和订阅者，全面开放时间未公布。这批用户拿到的是去掉了网络安防护栏的版本；面向更广泛发布时，谷歌会监控模型的内部激活、推理链与动作，在偏离意图时中止执行。产品负责人 Tulsee Doshi 的解释是，先给防御方用，可以为加固提示词注入和行为偏离的防护争取时间。谷歌公布的成绩全部是自测：DeepSWE v1.1 上 77.9%。推广期价格是每百万输入 token 2 美元、输出 10 美元，之后涨到 4 美元和 20 美元。
企业侧：尺子先立起来，再谈部署
CoreWeave 的 Fully Connected 2026 大会上，Capital One 人工智能与机器学习平台产品负责人 Maulin Patel 讲了该行怎么在受监管环境里评测和治理智能体：服务一亿多客户，这个规模上不可能靠“发起聊天”来治理自主智能体，所以他们建的是评测优先的架构——用评分指标和移动平均获得统计深度，用大模型给推理链打分，再用业务专家校准这些自动评判通道。他强调，把持续评测直接嵌进开发库，治理就从刹车变成了加速器。
同一场会上，卡特彼勒物理人工智能平台与施工自主化副总裁 Brandon Hootman 讲的是另一头的困难。该公司在矿区的结构化环境里做自主运输已十多年，和 Luck Stone 的 18 个月试点自主运输了 350 万吨，正向另外两处铺开；但工地是非结构化的，人和机器在同一个空间里活动。他的两个做法值得记：模型不理解他们的机械、也不理解工地，所以和英伟达一起改模型；以及“每采集 1 小时数据，大概要做 1000 小时的合成仿真数据”。两件事指的是同一条路——没有终态可比、没有足够的真实样本，尺子就立不起来。
另外两则
10 月 1 日，巴克莱宣布扩大与 Anthropic 的合作：到 2026 年底，开发人员中有一半在用 Claude Code。这不是从零开始的试点，面向英国零售业务同事的 Colleague Knowledge Assistant 从 2025 年就跑在 Claude 上，已有一万六千多名员工在用。第二天 Anthropic 拿出配套的另一半，投入 1 亿美元办 Claude Frontier Academy，目标在 2027 年底前培养一万名“前沿部署工程师”，做法照搬医学住院医制度：多日线下培训、一次模拟企业部署，再回自己所在的组织做 12 周带教实习。两条消息放在一起，供应商把瓶颈明确放在了人身上。
来源与说明
[1]: The Agent Said It Was Done. The Database Disagreed. —— Hugging Face 博文（微软与 Hugging Face 联合）/ 2026-10-03 (https://huggingface.co/blog/microsoft/thinkingbox) [2]: The agent said done. The database kept a different story —— The Plain Signal / 2026-10-04 (https://theplainsignal.com/article/thinkingbox-agent-database-state-reliability-benchmark) [3]: New Benchmark Catches AI Agents Lying About Finished Work —— DEV Community（首发于 inite.ai）/ 2026-10-04 (https://dev.to/mikefluff/new-benchmark-catches-ai-agents-lying-about-finished-work-43ig) [4]: The Agent Said It Was Done. The Database Knew Better. —— ai2day / 2026-10-04 (https://ai2day.live/story/the-agent-said-it-was-done-the-database-knew-better) [5]: We built an AI agent for ServiceNow. The real pain points were narrower than our roadmap assumed —— VentureBeat / 2026-10-04 (https://venturebeat.com/orchestration/we-built-an-ai-agent-for-servicenow-the-real-pain-points-were-narrower-than-our-roadmap-assumed) [6]: New in llama.cpp: Decision Models —— Hugging Face 博文（ggml-org）/ 2026-10-02 (https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp) [7]: llama.cpp server: decision models via /v1/systemone（PR #29818）—— GitHub / 2026-10-02 (https://github.com/ggml-org/llama.cpp/pull/29818) [8]: Toward provably private learning from federated data —— Google Research / 2026-10-02 (https://www.research.google/blog/toward-provably-private-learning-from-federated-data) [9]: Google Research Moves Federated Learning Into TEEs —— Web AI News / 2026-10-04 (https://webainews.com/google-research-moves-federated-learning-into-tees-gboard-now-trains-with-externally-verifiable-differential-privacy) [10]: We’re going to need default hard budget caps on pretty much everything —— Simon Willison’s Weblog / 2026-10-03 (https://simonwillison.net/2026/Oct/3/default-hard-budget-caps) [11]: AWS and Google Cloud Finally Add Hard Spend Limits —— Mango Developer / 2026-10-03 (https://mangodeveloper.com/articles/aws-and-google-cloud-finally-add-hard-spend-limits-simon-willison-says-it-should-be-default) [12]: ChatGPT Dots: Always-On Agents Explained —— ArWriter / 2026-10-02 (https://arwriterai.com/en/blog/chatgpt-dots-always-on-agent-2026) [13]: Is ChatGPT Dots Safe? Unapproved Email Claim —— ExplainX / 2026-10-03 (https://www.explainx.ai/blog/chatgpt-dots-unapproved-email-safety-2026) [14]: Google Launches Gemini 4 Argon with 1 Million Token Output and Limited Access —— iThinkDifferent / 2026-10-01 (https://www.ithinkdiff.com/gemini-4-argon-google-frontier-model-launch) [15]: How Capital One evaluates, governs its AI agents —— Constellation Research / 2026-10-02 (https://www.constellationr.com/insights/news/how-capital-one-evaluates-governs-its-ai-agents) [16]: Caterpillar’s AI autonomy efforts accelerate, but domain knowledge drives returns —— Constellation Research / 2026-10-02 (https://www.constellationr.com/insights/news/caterpillars-ai-autonomy-efforts-accelerate-domain-knowledge-drives-returns) [17]: Barclays gives itself three months to put half its developers on Claude Code —— The Clarity / 2026-10-03 (https://theclarity.today/story/barclays-aims-for-half-its-coders-on-claude-code-by-year-end-95d003c8) [18]: Anthropic commits $100M to the engineers who deploy Claude as Barclays scales up —— Claude News / 2026-10-03 (https://claudenews.online/en/edition/2026-10-03) [19]: AI Agents Weekly: Gemini 4 Argon, OpenAI dots, GPT-6.1 Sol —— Elvis Saravia / 2026-10-03 (https://nlp.elvissaravia.com/p/ai-agents-weekly-gemini-4-argon-openai)
说明：ThinkingBox 的 507 条任务规模、121,680 次有效试验、67.24% 与 77.61%／43.30%／25.36% 的失败构成、各模型 pass@1 与 20/20 数据、失败诊断的四个占比，以及每个 20/20 成功任务的成本 6.80 与 7.80 美元，均出自微软与 Hugging Face 的联合博文，并与两份独立整理相互核对；论文 8 月首投、10 月 1 日修订这一时间线取自第三方考据。Bytemethod 的成本降幅与容量释放为其项目方自报口径，非独立核验；20 秒生成目录项是包含工作流与脚本在内的自报数字。llama.cpp 的 3 毫秒至 43 毫秒为 ggml-org 在单张 RTX PRO 6000 上的自测中位值，本文未复测；OpenJev 为非商业许可，采用前须单独确认。谷歌的隐私与速度结论来自其 10 月 2 日博文与随附白皮书，速度提升未给出单一倍数；侧信道、硬件信任根与上传有效期均属其自陈限制。Argon 的基准分数与输出上限出自谷歌一方，未见独立复核，与发布相关的部分环节未予采用。AWS 与谷歌云的支出上限分别仍处于有限客户与预览阶段。本期未采用涉及公共部门协议、跨国监管博弈以及可被照做的破坏过程的多条候选线索。