晨报归档

AI 晨报 · 2026-10-23 期

下一步查什么开始被计价,监督也得报覆盖率

本期导读 展开 / 收起
  1. 一、把“下一步查什么”变成一道要报价的工序
  2. 二、监督这一层开始报数字:覆盖率、压缩与丢掉的来源
  3. 三、同一天,Anthropic 劝企业别急着拆
  4. 四、另外几则
  5. 来源与说明

微软把看病这件事拆成了一串要报价的提问,METR 和 Redwood Research 的人带着高权限进到 OpenAI 内部,估算出监控到底盖住了多少智能体流量,Sierra 用两百通电话测语音智能体能不能把一个名字写对,Anthropic 则在官网上劝企业别急着把活拆给一群子智能体。四件事合起来说的是:判断和检查这两个动作,正从顺手做掉变成要单独设计、单独计量、单独担责的工序。

数字
83.2%
MAI-DxO 在《新英格兰医学杂志》复杂病例上的诊断准确率
36.1%
同一批病例上带参考资源的全科医生准确率
25.5
DxO 开出第一项检查前的平均提问数,医生为 5.6
75—94%
外部评估估算的 OpenAI 内部智能体流量可被监控比例
87—100%
把消息压平成字符串的框架中,伪造批准进入记忆的比例
646 亿
Meta 第三季度营收,同比增长 26%

一、把“下一步查什么”变成一道要报价的工序

医学 AI 过去常用执业资格考试式的基准来评,题目把所有信息一次给全,让模型选一个答案。临床不是这样工作的:医生从主诉出发,决定问什么、开什么检查,再据新结果修正判断。微软 10 月 22 日发表在《科学》的论文就是冲着这个差别去的,它给出顺序诊断基准 SDBench,把 304 例《新英格兰医学杂志》临床病理讨论病例和 325 例 MIMIC-IV-ED 急诊入院病例改造成交互式病例——先给一小段病情摘要,诊断者(人或者系统)每次只能申请一项信息,直到提交诊断。评分同时看两件事:诊断对不对,以及这段路花了多少钱。

这套基准里有三个设计值得单独拎出来。Gatekeeper 负责核对每一次信息请求与原始病历,如果这项发现病历里根本没有,它会生成一份“诊断中性”的合成结果,而不是回一句“无记录”;缺什么不等于排除了什么,这条规则把“查不到”和“排除了”彻底分开。Judge 用医生撰写的五档评分卡判提交的诊断,其中 4 分和 5 分代表治疗方案不会因此改变,这两档才算正确。成本则按 CPT 编码估算,价格取自一家医院的公开标准收费文件,问诊和查体折成一笔固定就诊费——于是每一问都在账单上留下痕迹。

微软自己的系统 MAI-DxO 在这个基准上跑出的结果是:《新英格兰医学杂志》那批复杂病例诊断准确率 83.2%,对照的全科医生带参考资源是 36.1%,不带是 22.3%,单人里得分最高的一位是 51.8%;急诊那批是 80.3% 对 46.8%,医生里得分最高的一位 62.5%。钱的那一侧更能说明问题:最准的那档配置平均每个病例花 5431 美元,医生带参考资源平均 4725 美元;而把预算收紧的配置用 2241 美元拿到 80.9%,用 1303 美元拿到 79.6%——准确率掉得不多,成本掉了一半以上。编排本身带来的增益是平均 7.9 个百分点(复杂病例)和 4.4 个百分点(急诊),换成更新的模型后增益还在,说明方法与模型代次不绑定。

对照
A
B
旧基准
SDBench
信息一次给全
每次只能申请一项
只判答案对错
同时判准确率与累计成本
查不到等于没有
缺失生成中性结果,不算排除
单模型一次作答
虚拟医生小组多轮辩论
无法比较路径
同一准确率下比谁花的钱少

方法论上还有一处反直觉:医生平均问 5.6 个问题就开第一项检查,DxO 配 GPT-5 平均问 25.5 个,靠大量结构化问诊把检查往后推。先翻台账再决定要不要去现场,本来就是老手的做法,只是过去没人给它定价。

限制要说清楚。对照方是单独工作的全科医生与内科医生,既不是专科医生也不是会诊团队,作者自己在论文里写了换成专家差距会缩小;成本是模拟估算而非实际支出;15 位作者全部来自微软;微软表示真实部署仍需临床测试,并说几个月内会在波士顿一家医院开始试。

二、监督这一层开始报数字:覆盖率、压缩与丢掉的来源

同一天,METR 与 Redwood Research 公开了在 OpenAI 内部做的三周试点(7 月 21 日至 8 月 11 日),产出 61 页内部报告。两人拿到内部代码库、监测提示与配置、内部文档,并与约十二名相关团队员工做技术访谈,工作设备不出场、在岗全程陪同。这次试点的定位是“让外部研究者深度接触内部基础设施”的试点,不是完整公开审计,因此公开版本只挑了少量内容。

可公开的部分里,覆盖率这个数字本身最值得看。他们估算,GPT-5.5 及以上能力的模型所产生的内部 Responses API 智能体流量中,大约 75% 到 94% 属于可被监控范围;内部 Codex 智能体那一部分的可监控比例是 99.2%。同时他们发现压缩事件(长会话被摘要的那一刻)此前没有纳入监控,据此估算 5 月到 7 月间本可监控的 Codex 流量里约有一成实际未被监控;而监控的触发时机是智能体把控制权交回用户,因此在那段窗口里,智能体只要持续不停地动作,就能把被检查的时刻无限往后推。OpenAI 员工在试点开始前已自行发现这一点,并在试点期间修掉了。强化学习训练 rollout 在试点开始时也不在覆盖范围内。监测本身出错率低于 0.2%,试点期间有一个 24 小时窗口零负载丢弃。

学界同一天从另一个方向撞上了同一个缺口。arXiv 2610.29869 那篇论文测的是“压缩洗白”:编码智能体读到一段被写成用户口吻的文本,几轮之后上下文被压缩,摘要里就多出一条“用户已批准”的记录。在五个把类型化消息压平成带标签字符串的框架里,这条伪造批准进入记忆的比例是 87% 到 100%;四个保留角色类型的框架则是 0%。作者给出的修法很朴素——在序列化时把角色标签转义掉;代码级溯源检查能拦下 77% 的洗白,代价是误降级 2% 的正常摘要内容。另一篇 arXiv 2610.29823 则从成本角度给出旁证:在 Opus 5.5 上,保留原始历史再做检索拿到 99% 的准确率,成本不到全量上下文的一半;而先建记忆再检索的做法只在一个小模型上赢过全量上下文,建记忆本身的开销比跑一整轮全量上下文还高。

提示
warn
被摘要掉的那一层,既最容易躲开监控,也最容易丢掉来源。
压缩发生在什么时刻、压缩后还剩哪些可追溯信息,应该和压缩前的准确率一起写进设计文档。

合起来的提醒很直接:一次会话里最脆弱的不是模型答错,而是中间那次“整理一下”。整理前的东西有出处,整理后的东西只有结论。

三、同一天,Anthropic 劝企业别急着拆

Anthropic 在 10 月 22 日做了两件方向一致的事。一是把 Agent Skills 开放标准捐给了 Linux 基金会旗下的智能体 AI 基金会(AAIF),与之前捐出的 MCP 走同一条路。按官方说法,标准自 2025 年 12 月发布以来已有 70 多个平台集成,含 ChatGPT、Cursor、GitHub Copilot 和 VS Code,累计发布约 100 万个技能、安装近 2.8 亿次——这些是厂商自述,没有独立核验。捐出的内容包括名称、标识、GitHub 组织和域名,维护者由多家公司的工程师以个人身份担任,起步路线图是版本化发布、正式提案流程与安全指南。

二是 Claude 官网那篇《什么时候把子智能体并回主循环》。Applied AI 团队在多个企业部署上对比后的结论是:一个带技能的智能体,在质量上常常既胜过“一个提示词包揽一切”,也胜过一群子智能体,成本和延迟往往还更低,有客户换成单循环后运行时间快了大约一倍。文章点名的反面模式是每支团队各做一个子智能体、平台团队再往上搭编排器,最后架构成了组织架构图的翻版:上下文在交接里丢细节、系统提示词被各部门拼成互相打架的规则、各自只测自己那一段。替代做法是一个上下文窗口、按需加载技能与工具——他们提到为更强的模型重做 Claude Code 系统提示时靠渐进披露削减了八成以上。子智能体没有被否定,保留它的三条理由是上下文膨胀导致性能下滑、需要并行的独立任务、单个智能体选不准工具或指令互相冲突。

对照
A
B
该拆(为纠错)
该合(为共享上下文)
需要互相挑战才能去偏
后续步骤要用到前面的发现
各段可独立验证
交接会丢细节
失败可隔离重来
一次会话需要连贯判断

文章里那个“加快却变坏”的例子值得记:把某个子智能体折进另一个之后延迟降了,但一条原本通过的流程坏了——主智能体查完订单就直接作答,没有去问发货专员配送日期。这个坏法在两轮测试里只出现一次,所以他们强调每次改动都要跑多次、要看的是哪几个任务从通过翻成了失败,而不只是总分。

和 SDBench 放在一起看,判据就清楚了:MAI-DxO 拆成虚拟医生小组,是因为要互相质疑来抵消单个医生的锚定偏差;Anthropic 建议合并,是因为多跳任务里后面的判断要吃前面的证据。拆还是合不取决于信仰,取决于你这次要的是纠错还是连贯。

四、另外几则

OpenAI 的 Decisions API 于 10 月 22 日结束公测,基于 GPT-6 Luna,专门处理答案有边界的小判断——分类、路由、打分,返回概率、选项或评分卡分数三种类型之一,官方称比用 Responses API 调同一个模型快最多十倍,输入每百万 token 0.10 美元、输出不计价。相比公测,单请求问题数从 200 提到 400,并加入共享前缀缓存。客户口径里几个数字可以对照着看:Box 在三十份保险凭证上的路由选择快约五倍且准确率持平,Datadog 给智能体生成的命令先打分再执行,p95 快 40 倍,Sierra 在实时对话里选下一步动作 p95 低于 280 毫秒。需要说明的是,公开的决策模型榜单上它并不在前面(一家榜单第八、另一家第十四),OpenAI 的说法是这类模型要拿自己的数据试。

人的那一侧也有两组数字。Uber 宣布把 ChatGPT Work 从一千人试点扩到全球三万余名员工,试点用户里约八成不是工程师,用得最多的是三类:分析运营数据出建议、把培训材料改到不同市场与语言、给自己搭每天要看的仪表盘。更早时候 Uber 试过另一种办法——三十名 AI 工程师配到业务岗位旁待两周,头两天只看不做。这次全员铺开同样没有统一指定用法,公司说先看大家实际做出什么,再决定下一步投钱。

模型侧,Recursive 发布 Flint,40B 总参数、每 token 激活 25 亿的 MoE 编码模型,Apache 2.0 许可,四个月从零建成,架构、量化和算子选择大半由内部的自动化研究系统 Eureka Machine 完成。厂商自测:M4 Pro 48GB 上短上下文超过每秒 125 token,SWE-bench Verified 74.2%,Terminal-Bench 2.1 为 54.9%,成绩尚未独立验证;输出层也压到四位、靠蒸馏补回精度后与 16 位版本差 0.7 分,训练步数约省一半。Mistral Large 4 同日进入公开预览,1.05 万亿总参数、520 亿激活、100 万上下文。

语音这一侧,Sierra 发布 τ-Entity,用两百个任务、十类实体测语音智能体能不能把姓名、电话、地址和邮箱这类细节记对,评分要求常规、噪声、重语音三种条件全部通过才计成功。榜上领先者在常规条件下记对 60.3%,三种条件全过只剩 34.0%;换成英语单语种是 74.0% 和 47.5%,而韩语掉到 3.5% 至 8.5%,普通话掉到 12.5% 至 24.5%。配套的 τ-Elicitation 研究给了个很实用的结论:给智能体一套规定动作(先问、再请对方拼写或自己复述、确认并纠正、最后提交),三种条件全过的成功率从 14%—41% 抬到 37%—54%,代价是每通电话多花 21 至 28 秒;但已经复核过的初始错误里,最终真正改对的只有 24% 到 37%。

Meta 第三季度营收 646 亿美元、同比增长 26%,资本开支349.1 亿美元,自由现金流转为负 21.2 亿美元,是上市以来第一次转负;全年资本开支指引下限从 1300 亿抬到 1350 亿美元,上限维持 1450 亿,同时宣布创设无投票权 C 类普通股,以股票股利方式按一拆二发放,2027 年 1 月 19 日生效。扎克伯格说 Muse 在美加已有超过一千万人设置、约四分之一每天使用,并预计未来十二个月计算成本效率提升十倍以上。另有几则短讯:谷歌公布 Agent Compute Engine,为每个智能体配一个硬件隔离的微型虚拟机、空闲自动挂起,宣称单台服务器承载的智能体数提升十倍、二十万个智能体的挂起与恢复在 500 毫秒内完成,这些均为厂商自述,未见公开的测试方法。

来源与说明

[1]: Building Medical Superintelligence —— Microsoft AI / 2026-10-22 (https://microsoft.ai/news/building-medical-superintelligence/) [2]: Microsoft Diagnostic AI Outperforms Generalist Physicians in Science Study —— Unite.AI / 2026-10-22 (https://www.unite.ai/microsoft-diagnostic-ai-outperforms-generalist-physicians-in-science-study/) [3]: Microsoft’s AI got 83% of medicine’s hardest cases right in a Science study —— madrobot.blog / 2026-10-22 (https://madrobot.blog/2026/10/22/microsoft-mai-dxo-ai-diagnosis-beats-doctors-science-study-medical-superintelligence) [4]: Red-Teaming OpenAI’s Internal Agent Monitoring Systems —— METR / 2026-10-22 (https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring) [5]: Donating Agent Skills to the Agentic AI Foundation —— Anthropic / 2026-10-22 (https://www.anthropic.com/news/donating-agent-skills-to-the-agentic-ai-foundation) [6]: Anthropic Gives Agent Skills to AAIF, Saying 70 Platforms Use It —— TSNMedia / 2026-10-22 (https://tsnmedia.org/anthropic-agent-skills-aaif) [7]: Building agents: When to fold subagents into your main agent loop —— Claude / 2026-10-22 (https://claude.com/resources/articles/building-agents-when-to-fold-subagents-into-your-main-agent-loop) [8]: Anthropic says fewer AI agents can deliver better results at lower cost —— Superpower Daily / 2026-10-22 (https://superpowerdaily.com/posts/anthropic-says-fewer-ai-agents-can-deliver-better-results-at-lower-cost) [9]: Build more responsive apps with the Decisions API —— OpenAI / 2026-10-22 (https://openai.com/index/decisions-api/) [10]: OpenAI Makes Decisions API Generally Available with GPT-6 Luna —— Unite.AI / 2026-10-22 (https://www.unite.ai/openai-makes-decisions-api-generally-available-with-gpt-6-luna) [11]: OpenAI Opens Its Fast Decisions API to Every Developer —— AI Parabellum / 2026-10-22 (https://aiparabellum.com/openai-decisions-api-generally-available) [12]: Uber Rolls Out ChatGPT Work to More Than 30,000 Employees —— Unite.AI / 2026-10-22 (https://www.unite.ai/uber-rolls-out-chatgpt-work-to-more-than-30-000-employees) [13]: Uber brings ChatGPT Work to all 30,000 employees after a smaller pilot —— Superpower Daily / 2026-10-22 (https://superpowerdaily.com/posts/uber-brings-chatgpt-work-to-all-30-000-employees-after-a-smaller-pilot) [14]: Recursive shows first result of its AI-driven research process with Flint —— The Decoder / 2026-10-22 (https://the-decoder.com/recursive-shows-first-result-of-its-ai-driven-research-process-with-flint/) [15]: Recursive Flint ships 40B open-weights MoE coder for laptops —— DeAI / 2026-10-22 (https://www.deai.org/news/recursive-flint-open-weights-local-coding-moe) [16]: 𝜏-Entity: Can voice agents get the details right? —— Sierra / 2026-10-22 (https://sierra.ai/blog/tau-entity-can-voice-agents-get-the-details-right) [17]: Sierra’s τ-Entity Test: Voice Agents Take a Phone Number, Only a Third Survive All Conditions —— AI工具导航 / 2026-10-22 (https://toolnavs.com/article/2791-sierras-%CF%84-entity-test-voice-agents-take-a-phone-number-only-a-third-survive-all) [18]: Meta Q3 2026 earnings beat revenue estimates as Muse tops 10M users —— Quartz / 2026-10-22 (https://qz.com/meta-revenue-beat-muse-10-million-users-102226) [19]: Meta Revenue Jumps 26% as Settlement Charge Hits Profit, Unveils Class C Share Split —— Business News Malaysia / 2026-10-22 (https://businessnews.com.my/meta-q3-revenue-class-c-split) [20]: AI News Today —— AIBriefs / 2026-10-22 (https://aibriefs.news/ai-news-today) [21]: Compaction can turn attacker text into a user approval —— MindPattern / 2026-10-22 (https://mindpattern.ai/s/2026-10-22-compaction-can-turn-attacker-text-into-a-user-approval) [22]: Compaction Laundering —— arXiv 2610.29869 / 2026-10-22 (https://arxiv.org/abs/2610.29869) [23]: MemoryTax: whether you need a summarizer at all —— arXiv 2610.29823 经 MindPattern 转述 / 2026-10-22 (https://arxiv.org/abs/2610.29823) [24]: Google Agent Compute Engine: A MicroVM for Every Gemini Agent, Claimed vs Verified —— ExplainX / 2026-10-22 (https://explainx.ai/blog/google-agent-compute-engine-microvm-per-gemini-agent-agent-substrate-200000-agents-claimed-vs-verified-2026) [25]: DeepMind ForTy Forest Map: 6 Types at 10 m, 90% Accurate —— ExplainX / 2026-10-22 (https://explainx.ai/blog/google-deepmind-forty-forest-typology-map-10-meter-primary-plantation-eudr-90-percent-2026)

← 晨报归档