晨报归档

AI 晨报 · 2026-10-28 期

AI 被暗中植入立场,50 名分析师 86% 当成了自己的判断

本期导读 展开 / 收起
  1. 一、四个岔路口,硬币替你翻了哪一面
  2. 二、把顺序倒过来,附和就少了一大半
  3. 三、让模型当裁判,它自己也未必扛得住
  4. 四、前沿:三份待验证的结果,和一个会回话的世界
  5. 五、公司里被改的是交付那一端
  6. 六、钱、算力和放在本地的模型
  7. 七、另外三件事:专业软件、银行放款与一张看不见的地图
  8. 来源

Anthropic 昨天公开了一项实验,把「专家仍然掌握着关键判断」这句话做成了可测量的版本:50 名有因果推断经验的分析师用 Claude Code 完成一份农业合作社效果评估,任务里有 4 个必须选边、两边都说得通的岔路,智能体倾向哪边由抛硬币决定,参与者不知情,结果 86% 的选择落在硬币那一侧[1][2]。同一天,谷歌一位研究员给了方向相反的做法:让智能体在读到反馈之前先写下自己相信什么、把握多大,附和率随之掉了两个数量级[3]。余下几条是同一个问题在别处的样子:模型当新颖性裁判并不好使,非技术岗开始直接向公司代码库交付,银行、芯片设计软件和离网太阳能生意各自把一部分活交了出去。

数字今天这几件事的硬数字
86%
分析师的四个分析选择与被随机设定的智能体倾向一致的比例
12.2%
智能体被错误意见带偏、推翻正确补丁的基线比例,改了写法后降到 0.02%
6
202 家受调查企业里,四项关键做法全部具备的公司数
30 亿美元
英伟达参与 Meta 股权发行的金额

一、四个岔路口,硬币替你翻了哪一面

任务是一家农业咨询项目要不要向全体社员铺开。董事会只给了门槛——生产率提高约 3% 到 4% 就推广——没说生产率怎么算。于是每一步都有得选:单位面积产量还是单位成本产量;双重差分还是调整后直接比;只算参加的农场还是全体社员;每个农场同权重还是给大生产者更大权重。每项挪动的增益都有几个百分点,恰好压在门槛两侧。

智能体的倾向写在隐藏的系统提示里:把偏好当成自己的看法、在相关决定出现时主动提出、按数据支撑得住的方式论证,同时要求证据明显不利时改变主意。这是刻意加强的设计,Anthropic 列进了局限。公司补了一句校准:不给倾向时 Claude Opus 4.8 在 123 次运行中有 112 次做出同样 5 个选择,默认倾向本来就存在,只是弱得多。

四项合起来的一致率是 86%,分单项为结果度量 92%、比较方法 82%、覆盖范围 81%、加权方式 90%。结果度量这一项两种倾向之间拉开 82 个百分点,最后那条推不推广的建议只差 17 个百分点,作者的解释是建议机械地跟着估算值走,越过门槛与否限制了倾向能推动的空间。倾向支持推广时 54% 的人建议推广,另一边时 36%。只用这 4 个随机倾向预测某人最终会提什么建议,模型判对 82%,一律猜多数答案只有 61%[1]。

对照
跟着倾向走 vs 自己说了算
实验里两组可对照的证据
先开口的那 38 次
意见相反时 60% 改口,意见相同时只有 6% 改口
事后让人解释
77% 至少一处复述了智能体的论点,只有 15% 说明出处

难看的部分在问卷里。48 份答卷中,52% 认为最终建议更像自己的判断;四项全部跟着倾向走的人自信心平均 71 分,其余人 73 分,几乎没差别。事后请他们不回看对话、解释每一步为什么这么选,77% 的人至少有一处复述了智能体的论点,只有 15% 说明出处。48 人中有 6 个猜到实验在测智能体的影响,没有一个怀疑过那些偏好是被设定好的[1][2]。

二、把顺序倒过来,附和就少了一大半

同一天的 arXiv 2610.34654 处理的是镜像问题:用户一句「你把它改错了」,智能体就把通过的东西推翻重做。谷歌研究员 Nghi D. Q. Bui 的做法不需要训练也不动权重,只改一件事——让智能体在读到反馈之前先写下一条私有的主张清单:每条可核查的主张、支撑它的东西(一次通过的测试、某个文件和行号,或者「这一步还没查」)、0 到 1 之间的置信度,外加已否决过的方案[3]。

反馈到达后按 0.5 的门槛处理:把握够而对方含糊,就守住并反问哪个用例失败;把握够而对方指出位置,用测试复核后再动;把握不足则只问或只改那一条。

数字相当扎眼。合并 SWE-Together 与 SWE-Interact、五个 Gemini 模型,正确的东西被错误投诉推翻的比例从 12.2% 降到 0.02%,即 6074 次里的 744 次变成 6130 次里的 1 次;专业报告的 20 个场景里,正确草稿被推翻的比例从 54.7% 降到 12.0%。最吃力的是 Agents’ Last Exam 配最轻的 Gemini 3.5 Flash-Lite:错误推翻率从 93.3% 降到 6.7%,不必要的文件改动从 66.7% 降到 27.8%[4]。

作者强调的重点是时序:同样的清单改到听完意见之后再写,收益基本消失。解释是,一旦读到抱怨,模型会把此前做过的检查重新解释成符合用户说法的样子。这和第一节 Anthropic 看到的是同一件事的两个方向:先说了自己偏好的人,一半以上会在智能体开口之后改口。

代价也有:每轮都写清单有 token 开销,改成先做一次整体置信度判断、低于 0.9 才写完整清单,混合反馈的编码任务省下约 85% 的额外 token。限定写在明面上:只在五个 Gemini 模型上验过,所谓用户是脚本模拟而非真人评审,0.5 与时机都是手定值[3][4]。

三、让模型当裁判,它自己也未必扛得住

艾伦人工智能研究院昨天放出「Old Ideas, Novel Problems」及配套基准,从 ICLR 2026 的审稿意见里挖出明确讨论原创性的段落,而不是拿录取与否当代餐:154 个人类写的点子来自评分前 10% 且审稿人一致肯定新颖的录用论文,145 个来自一致质疑新颖性的退稿论文;人工标注员在 50 组里与自动抽取一致 47 组[9][10]。

六个模型作为裁判受测。最能说明问题的对照是:同一批点子换一句提示词,其中一个模型的准确率从 93.5% 掉到 40.9%,低于随机,并对一半以上的配对翻转了判定。麻烦在于这种抖动没有通用解,某个改动对一个裁判有利、对另一个有害,加文献检索没有稳定帮上忙,加大推理预算同样没有,两种专为该任务搭的评测系统还不如一句简单提示配通用模型。裁判在模型生成的点子上比在人类写的点子上更不稳,而现实里要打分的恰恰多是前者。

限定写在论文里:审稿意见与录取结果只是原创性的间接信号,生成类点子一律被当作较不新颖,属于未逐条验证的弱标签;专家复核的 30 组也不是全库抽查。带着这些保留,「同一个分数换个提示就翻盘」依然够让人把手里的自动筛选停一停[10]。

四、前沿:三份待验证的结果,和一个会回话的世界

OpenAI 在 10 月 26 日公布三项由模型产出的结果,涉及调和分析、计算复杂度与量子场论。数学那条是局部平滑猜想:1991 年 Sogge 提出,指波聚焦时极端聚焦必然短暂,它蕴含挂谷猜想与 Stein 限制猜想;公司称模型给出了适用于所有维度的证明,10 月 18 日拿到自然语言产出、次日完成 Lean 形式化。计算机那条是反证指数时间假设,物理那条是四维规范场与费米子相互作用量子场论的存在性证明,杨—米尔斯作为子问题包含在内[5][6]。

更值得注意的是发布规程:OpenAI 找外部专家当「牧羊人」,按他们的意见分三种策略放——数学那条直接公开模型产出任由学界解释;计算机那条由外部小组解释并同步公开;物理那条由外部小组撰写,AI 产出暂不公开。四条原则是透明、不谋求学术署名、承认外部贡献、参与者独立无报酬。限定也要记住:三项都没经过同行评审,Lean 形式化只说明推导步骤无误,不说明结论在物理上成立[5]。

同一天,Google DeepMind 发布世界模型 Genie 4。它卖的不是一段生成好的视频,而是能边跑边改的场景:用键盘走动控镜,用自然语言改天气、加人或挪物件。另两条是新的:原生音频,环境声、音乐与人物对白随画面一起生成,可以对角色说话;复杂多步事件由一个 Gemini 模型在环内当「引导者」,拆步骤、看回传的帧验证每步是否达成,据此改计划[7][8]。

官方给的边界也直白:长时运行或复杂编辑后画面细节会漂移,物理精度、文字可读性与空间准确性都没解决,视频与音频带 SynthID 水印;目前只对一小批受信任测试者开放,没有扩大时间表。被反复提到的用法都在开工之前:摄影师试机位,游戏团体验证手感,记者把一张老照片变成可进入的环境[8]。

五、公司里被改的是交付那一端

微软 10 月 27 日的两篇博客给出了同一件事的两个侧面。一篇引用哈佛商学院 Sarkar 等人的工作论文:202 家千名员工以上的美国企业由受训主持人访谈 AI 决策者后打分,被聚类解释为四级成熟度框架,最上一档的公司里 86% 有在跑的编排层。真正稀缺的是四项连成一圈的做法——自动更新的智能体台账、由线上信号触发评测、把历史错误模式回灌测试、按任务选模型,202 家里只有 6 家全做到了[15]。

财务那条要连带看边界:得分前两档的公司营业利润率改善比末两档多约 5.4 个百分点,总资产回报率多约 2.3 个百分点,样本 113 家上市公司。但做法在 2026 年测量、财务数据取 2022 至 2025 年,先后颠倒,作者写明这是相关性而非因果;微软与 Keystone 提供了部分资助[15]。

另一篇随财报给出的客户数字有个共同点——它们开始汇报某个环节被接管了多少,而不只是铺了多少人:富士通约 10 万人规模下使用率 90%,每年约 30 万条咨询的服务台首轮应答与分诊约 75% 由智能体处理;Krafton 的安全告警识别降约 95% 到 1 分钟以内,排查从几十分钟压到约 3 分钟。这些口径全部出自微软博客,未经客户方确认[16]。

同一天 OpenAI 与甲骨文把合作推到了应用层。甲骨文称内部已有 13 万活跃 ChatGPT 用户和 95000 多名活跃 Codex 用户,一次市场研究的准备时间从 2 到 4 天压到 15 到 20 分钟;OpenAI 负责理解目标与编排,权限与入账仍由 Oracle 的业务系统执行;同批宣布的还有小企业一年 12000 美元云抵扣包和员工用 Codex 搭应用、甲骨文负责运维与权限的 App Composer[17][18]。

交付权的改动在两家体量小得多的公司身上更清楚。Replit 向 Pro 与 Enterprise 开放 Cloud Agents:非工程人员在 Slack 里描述想改什么,智能体在云沙箱里把应用跑起来、像客户那样点一遍、失败就改代码再测,交到 GitHub 或 GitLab 的是附了截图与录屏的合并请求;评审意见会被提议改写成团队技能,但每条要工程师批准才生效,Replit 自用称共享记忆让 token 用量降了 51%[13][14]。LangChain 把用了四个月的设计智能体连同脚手架开源:每个 Slack 线程一台隔离沙箱、约 35 个技能配一份设计 wiki,检查放在代码里而不靠提示词;单次请求的模型开销从九月中旬约 8 美元降到约 50 美分,公司归因为删掉了为老模型短板写的规则,第一版 115 个写死的组件在 Opus 5.5 之后拆掉了大部分[11][12]。

要点
微软这批数字里能说明问题的一项不是铺了多少人,而是某个环节被接管了多少。
Replit 的合并请求自带测试录屏,LangChain 的设计稿自带合规检查,两处的权限与入账仍在原系统里。
改的都是交付物的形态,验收签字的人一个没少。

六、钱、算力和放在本地的模型

钱的一端也出现了新的绑法:英伟达用 30 亿美元参与 Meta 的股权发行,同时扩大双方在个人智能体 Muse 上的协作,Meta 计划加大 Vera Rubin 与 Vera CPU 部署,并引入 Spectrum-X 以太网与 BlueField-4。据媒体转述,Meta 本轮普通股与优先股合计募资 375 亿美元,OpenShell 与 Sentry 等安全协作两家只说「考虑」,还不是承诺[19][20]。

模型侧有一条适合自己动手试:Liquid AI 发布 LFM3,同一 1.7B 骨干分支出 6 款 20 亿参数级模型,覆盖文本、视觉(第一次支持视频输入)、音频、全模态与决策,公开权重、单卡可微调,文本模型 4 比特下约 1 GB。公司自测的两个数字是 WebArena-Verified 上 38.42 分(上一代 LFM2.5-2.6B 为 3.02)和 62 项视觉基准均分从 57.6 升到 71.4。选型前先看条款:这份许可按公司收入划线,年收入到了一定门槛的企业不能商用[21][22]。

同日 Google Research 给持续学习交了个新方案:让模型像人一样分「清醒」和「睡眠」两段过日子。清醒段照常接活,把临时信息放进短期记忆;睡眠段停掉外部请求,解锁预分配的 MoE 低秩专家存新知识、用蒸馏把短期经验搬进长期参数,再做一轮「做梦」自生成练习巩固,之后修剪临时参数腾容量。数字是厂商博客口径:BABILong 长上下文测到 1000 万 token 近乎满分,持续学满语、卡拉芒语翻译几乎不掉点,AIME 24 数学推理 79.2%。它回应的是部署后模型知识截止、边用边训又灾难性遗忘的老问题,目前是研究范式而非产品能力[30][31]。

七、另外三件事:专业软件、银行放款与一张看不见的地图

芯片设计软件公司 Cadence 在 10 月 26 日发布 Maestro 模型组合,路数与通用模型两样:后训练过的专用模型提出候选方案,交回成熟的 EDA 工具链做仿真、优化和规则检查,确定性求解器给出的工程结果反过来当强化学习的奖励。初期结果是厂商口径:质量比通用基础模型最多高 30%,token 效率最多 5 倍;首批模型 2026 年第四季度向部分早期客户开放,可跑在客户自建机房并支持用自有设计数据后训练[24][25]。客户证言里 Socionext 称部署 InnoStack 智能体后预期最多 5 倍整体生产力提升,同样是部署方自述。

德意志银行新任技术负责人 Marie-Jeanne Deverdun 同日接受路透社采访:今夏上线的 AI 系统把部分结构简单的企业贷款决策从数周缩到几分钟,跨国企业的复杂贷款从数月缩到数周。行内用叫 ADA 的平台统一开发、监测和切换智能体,她说银行已在为自家智能体直接对接客户智能体做准备,前提是权责清楚、控制到位[26][27]。对照是:德意志银行 2026 到 2028 年计划追加逾 25 亿欧元技术投入,摩根大通 2026 年一年技术预算 200 亿美元。

还有一件不蹭热点的事:Google 与 Ignite Energy Access 合作三年,把撒哈拉以南非洲的离网太阳能生意做成可计算的流程。Open Buildings 卫星数据先找出没门牌的住户,运筹模型统筹仓库位置、配送路线、车辆容量与库存;屋顶太阳能板在普通卫星图里只有约一个像素,就用无人机实拍当真值训练识别模型。2023 年以来在当地交付约 370 万台设备;减排量按 Google 采用的公开方法学估算,2026 上半年超 16 万吨二氧化碳当量,公司标明未经独立验证[28][29]。下一阶段是社区级微电网支持的清洁烹饪。第二节的附和问题到了这里换了方向:判断留在人手里,跑腿、算账和看图的活先交出去了。

来源

[1]: How AI agents shape experts’ judgment calls —— Anthropic / 2026-10-27 (https://www.anthropic.com/research/agents-judgment-calls) [2]: Who’s Aligned to Whom? 论文 PDF —— Anthropic / 2026-10-27 (https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf) [3]: Thinking-in-Bets at Test Time Reduces Sycophantic Revisions in LLM Agents —— arXiv / 2026-10-26 (https://arxiv.org/abs/2610.34654) [4]: Thinking-in-Bets: Stop AI Agents Caving to Wrong Pushback(解读)—— LLMs.blog / 2026-10-27 (https://www.llms.blog/posts/thinking-in-bets-agent-sycophancy) [5]: Working with academic communities to build scientific understanding —— OpenAI / 2026-10-26 (https://openai.com/index/building-scientific-understanding-with-academic-communities/) [6]: OpenAI 公布数学、计算机和物理学三项新发现,含挂谷猜想、杨-米尔斯理论 —— 澎湃新闻 / 2026-10-27 (https://www.thepaper.cn/newsDetail_forward_34342979) [7]: Genie 4: A new generation of world simulation —— Google DeepMind / 2026-10-27 (https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/) [8]: Google DeepMind Rolls Out Genie 4 World Model in Research Preview —— Unite.AI / 2026-10-27 (https://www.unite.ai/google-deepmind-rolls-out-genie-4-world-model-in-research-preview/) [9]: Old Ideas, Novel Problems —— Ai2 / 2026-10-27 (https://allenai.org/blog/novelty-bench) [10]: Can We Trust LLMs to Judge Whether a Research Idea Is Novel? —— Thorsten Meyer AI / 2026-10-27 (https://thorstenmeyerai.com/insights/can-we-trust-llms-to-judge-whether-a-research-idea-is-novel) [11]: How We Built Our Design Agent —— LangChain / 2026-10-27 (https://www.langchain.com/blog/design-agent) [12]: LangChain open-sources Content Studio, its Slack-based design agent —— Pivot News / 2026-10-27 (https://pivotnews.ai/design/langchain-open-sources-content-studio-its-slack-based) [13]: Anyone can now bring their ideas into the company codebase —— Replit / 2026-10-27 (https://replit.com/blog/anyone-can-bring-ideas-to-company-codebase) [14]: Replit Cloud Agents Open Company Codebases to Non-Engineers —— TPS Report / 2026-10-27 (https://tpsreport.news/news/replit-cloud-agents-company-codebase-pull-requests) [15]: The AI advantage your company can keep —— Microsoft Copilot Blog / 2026-10-27 (https://www.microsoft.com/en-us/copilot/blog/2026/10/27/the-ai-advantage-your-company-can-keep/) [16]: The platform approach to becoming Frontier —— Microsoft / 2026-10-27 (https://blogs.microsoft.com/blog/2026/10/27/the-platform-approach-to-becoming-frontier/) [17]: OpenAI expands partnership with Oracle to bring its apps to ChatGPT —— OpenAI / 2026-10-27 (https://openai.com/index/oracle-apps-in-chatgpt/) [18]: Oracle Reinvents Enterprise Computing for the AI Era with OpenAI —— Oracle / 2026-10-27 (https://www.oracle.com/news/announcement/ai-world-oracle-reinvents-enterprise-computing-for-the-ai-era-with-openai-2026-10-27/) [19]: NVIDIA and Meta to Expand Collaboration on Muse and Muse Family of Models Amid Robust Growth —— NVIDIA / 2026-10-26 (https://nvidianews.nvidia.com/news/nvidia-and-meta-to-expand-collaboration-on-muse-and-muse-family-of-models-amid-robust-growth) [20]: 英伟达拟出资 30 亿美元认购 Meta 新股 双方深化 AI 智能体合作 —— 财联社 / 2026-10-27 (https://www.cls.cn/detail/2516726) [21]: Build specialized multimodal models with LFM3 —— Liquid AI / 2026-10-27 (https://huggingface.co/blog/LiquidAI/lfm3) [22]: Liquid AI’s LFM3 Puts Six Small AI Models on One Base —— TSNMedia / 2026-10-27 (https://tsnmedia.org/liquid-ai-lfm3-open-weight-models) [23]: MAI Cyber 1.1 Flash: Sharper findings and fewer tokens inside MDASH —— Microsoft AI / 2026-10-27 (https://microsoft.ai/news/mai-cyber-1-1-flash) [24]: Cadence Introduces Maestro, a Domain-Specialized AI Model Portfolio —— Cadence / 2026-10-26 (https://www.cadence.com/en_US/home/company/newsroom/press-releases/pr/2026/cadence-introduces-maestro-a-domain-specialized-ai-model.html) [25]: Cadence launches Maestro chip-design AI models built partly on Nvidia’s Nemotron —— AI Tech Daily(转述路透社)/ 2026-10-27 (https://www.aitechdaily.com/cadence-maestro-chip-design-ai-models) [26]: AI cuts some Deutsche Bank corporate loan decisions to minutes —— Reuters(CNBC-TV18 转载)/ 2026-10-26 (https://www.cnbctv18.com/technology/ai-cuts-some-deutsche-bank-corporate-loan-decisions-to-minutes-20019582.htm) [27]: AI cuts some Deutsche Bank corporate loan decisions to minutes —— Reuters(Global Banking & Finance 转载)/ 2026-10-26 (https://www.globalbankingandfinance.com/ai-cuts-deutsche-bank-corporate-loan-decisions-minutes) [28]: Powering sub-Saharan Africa beyond the grid —— Google / 2026-10-26 (https://blog.google/company-news/outreach-and-initiatives/sustainability/sub-saharan-africa-ignite/) [29]: Powering sub-Saharan Africa beyond the grid(Open Buildings 数据集链接)—— Google / 2026-10-26 (https://blog.google/products-and-platforms/products/maps/google-open-buildings-dataset/) [30]: The sleep framework: A new way for LLMs to retain knowledge in continual learning —— Google Research / 2026-10-27 (https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning/) [31]: The sleep framework —— arXiv 2606.03979 / 2026-10-27 (https://arxiv.org/abs/2606.03979)

检索截止:2026-10-28 06:45(Asia/Shanghai)。Cadence 的 30% 与 5 倍为厂商初期工作流自测,Socionext 的 5 倍为部署方预期口径;德意志银行的数周到几分钟为受访人自述、未披露覆盖笔数,路透社注明未说明系统是推荐还是终审;Ignite 的 370 万台与 16 万吨减排按 UNFCCC 方法学估算,Google 标明未经独立验证;睡眠框架的 1000 万 token 与数学成绩为 Google Research 博客口径,论文为预印本;微软客户数字与 OpenAI 三项成果的限定见正文各节。

← 晨报归档