Epoch AI 每年替别人统计模型的能力,这一次把考卷换成了自家的工作。10 月 26 日公开的《Can AI automate Epoch?》里,Kelly Hong 与 Greg Burnham 拿出 11 项日常任务、按给人类员工的同一套评分项去打分,六款前沿模型里领先的 Claude Fable 5.1 与 GPT-6 Astra 平均只过了 65% 的评分项[1][2]。同一天,OpenAI 把屏幕操作类模型的价格压到每百万输入 1 美元[3],Anthropic 交出了上市招股文件[4],哈佛两位学者拿出一份 AI 审稿胜过付费专家的对照实验[5]。四件事没什么共同主语,读下来却指向同一件具体的麻烦:别人的分数已经涨到很高,换成你自己的标准和自己的账本,还能剩下多少。
一、做榜单的人先把自己的活拿出来了
在别人家的榜单上,这几款模型的分数并不难看。Epoch 自己维护的能力指数里,前沿模型目前在 166 到 169 的区间,Gemini 4 Argon 比九月上旬的 Gemini 3.8 Flash 高了 9 分[6]。把考卷换成自家任务以后,同样的模型要按另一套规则答:它们要读文档、调工具、处理 Epoch 员工日常面对的那种复杂度,每个模型每项任务只跑一次,产物由一名人类评分员按评分项逐条核对。
这 11 项任务分五个类别:画 Epoch 风格的图形共有 3 项,写数据洞察短文 3 项,做可交互的数据浏览器 2 项,核查某个 AI 数据中心并入库 2 项,还有 1 项是提一个研究方案并跑通试点实验。评分项是 Epoch 员工自己攒出来的,既包括“图表前后的段落各不超过 150 词”这种能直接量化的条目,也包括“标题表达清楚”这类要靠人判断的条目,其中的相当一部分来自第一轮定性评估里被反复挑出来的失败模式[2]。
结果分成两半。好的一半是:模型在边界清楚的部分确实可靠,写代码、算数据这块的输出基本没出错,操作电脑的能力比 Epoch 预料的好——去年会让前沿模型翻车的“把文章搬到 Substack”,这次新模型做成了。而且这不是纸上谈兵,有一项画图的活已经正式从任务套件里撤掉:给一份 Matplotlib 图表加上 Epoch 的网站代码库和可复用组件,要求把图重做成自家风格,Claude Fable 5.1 一次就生成了达到标准的图,这一步现在在 Epoch 内部基本是自动跑的[2]。
差的那一半更值得看,因为失败的方式很集中。最常见的一条是学不会标准:参考资料给得足够多,模型还是漏掉了那些没人写下来的约定,比如视觉上到底要留多少信息、读者真正关心什么。给足样式范例之后,Fable 5.1 交出的是一张塞满应援式标注的图,信息密度远超 Epoch 平时的产出;配图的说明也比人类版本啰嗦,跟他们“用尽量少的元素讲清楚”的原则正相反。选题上,GPT-6 Astra 挑了一个太窄的方向,属于某个物理子领域而不是 AI 圈的公共话题。开放权重模型则出了问题更原始的一类:Kimi K3 在算 arXiv 论文里的 AI 使用占比时,分母用了全部论文而不是物理学论文,也没回头检查过滤条件有没有生效;相比之下,四家闭源模型在数据洞察里都没有出现事实错误[2]。
研究设计那一项最能说明 gap 在哪。模型能提出看着很像样的研究方向,但落到“怎么把这个实验真跑起来”就空了:关键变量指代什么、对照基线怎么算,往往不写。GPT-6 Astra 自己跑的那个试点更有代表性,它给受测模型设了 4096 token 的输出上限,280 条回答里有 61 条还没来得及给出答案就被截断;它后来意识到并调高了预算,但在结论里把这件事写成了“模型对获取预算很敏感”,等于把一个设置失误包装成了能力发现[2]。
Epoch 给这套数字配了一句很难被误读的话:达到 65% 不等于自动化进度走了 65%。这些产出如果出自人类员工之手,每一份都会被退回或要求返工,仍然需要有人逐条看过去并把错的地方改掉[1]。
二、审稿这一轮,有人已经在用模型了
哈佛大学 Gary King 与 Steven Worthington 在 10 月 22 日公开的预印本,把对照组的门槛抬得比以往都高。他们用 Claude Opus 4.8 给 124 篇稿件各写一份审稿意见,对照组是 rapidPeer 的 134 份付费专家意见:审者由领域专家挑选、来自作者之外的机构、身份双向匿名、写 1.5 到 2 页建设性意见;收到意见的作者里,88% 认为质量高或非常高[7][8]。
裁判是另一个模型家族的 GPT-5.5,两份意见去掉格式和署名、调换顺序各比一次,两次都选同一份才算赢。给 AI 专门写的提示词并开放联网之后——每份意见平均联网检索 12.4 次——132 组有结论的配对全部判 AI 胜,另有 2 组因顺序一换结果就变而不计入。三位主要期刊的前任主编做了 30 次盲评,26 次选了 AI[7]。分维度看,拉开差距的两项恰好是最费人工的两项:图表维度 AI 平均 7.57 分、人类 2.95 分,补充文献维度 AI 9.55 分、人类 4.73 分,后者在 AI 不能联网时胜率只有 62%[8]。
同一天,Springer Nature 与 Google DeepMind 宣布合作研发 AI 审稿助手。原型跑在出版方自己的 Gemini Enterprise 私有环境里,编排那层用 Google 的开源 Agent Development Kit,稿件不会离开出版社的基础设施;双方没有公布上线时间、覆盖期刊和任何准确性数据,口径是最终判断仍然归人类编辑与审者[9][10]。
三、钱:收入一年翻十几倍,承诺出去的更多
Anthropic 在 10 月 26 日向证监会提交了 S-1 注册声明,拟以代码 ANT 在纳斯达克全球精选市场挂牌,发行股份数与价格区间尚未确定[4][11]。招股书里的几个数字,比任何一篇分析都更能说明现在这门生意的形状:今年上半年营收 162.9 亿美元,上年同期是 11.6 亿;二季度单季营收 115.6 亿,头一次录得经营利润,9.74 亿美元;同期净亏损 807 亿美元,其中 724 亿来自可转换票据等工具的公允价值变动,属于估值上升带来的账面费用;上半年花在算力和基础设施上的钱接近 90 亿,已经承诺的未来基础设施支出总额达到 5180 亿美元[11][12]。客户结构也在变化:截至 9 月 30 日,年化贡献超过 100 万美元的客户超过 1900 家,超过 10 万美元的有 11900 多家,而一年前只有约 950 家;同时有两家未具名客户贡献了上半年营收的约 23%[11][12]。公司自己在风险提示里写明,这个增速不一定能维持。
另一组数字站在对面。阿波罗全球管理首席经济学家 Torsten Slok 在一份经济分析里说,人工智能到目前为止给美国科技行业以外的企业带来的财务回报是零。他看的是剔除七家科技巨头之后的“标普 493”:自 2022 年以来,科技企业的人均营收从 55 万美元升到接近 80 万,其余公司七年来一直在 55 万美元附近;利润率方面,科技一边升得很快,其他公司停在 10% 上下。他的结论是企业很难把越来越便宜的智能换算成更高的收入和利润率,理由写得很直白——AI 可能是一台出色的计算器,但商业里的智能更多意味着判断[13][14]。
价格这一端倒确实在往下走。OpenAI 在 10 月 26 日发布 GPT-6.1 Terra,定位是能看懂屏幕、能跨应用操作、写东西也更像人话的中间机型,标准 API 价每百万输入 1 美元、输出 5 美元、缓存输入 0.05 美元,比 GPT-5.6 Terra 与 GPT-6.1 Sol 低 50%。厂商自测给的几个数:Terminal-Bench 4.0 最高推理档解决 50.3% 的任务,前代公布值是 21.5%;内部诱导出错测试上,低推理档错误率从上代的 53.6% 降到 16.7%,最高推理档降到 4.3%;在测试“用软件干活”的 Agents’ Last Exam 上,中等推理档比前代高 15 个百分点,而成本约为其三分之一,与 GPT-6 Astra 同档表现时的单价只有对方的十分之一。以上都是 OpenAI 自己的测试口径,复杂编程任务公司依然指向 Sol 与 Astra[3]。
四、底层、设备与机器人
谷歌 DeepMind 的 Jonathan T. Barron 等人把注意力放到了更靠下的地方。arXiv 2610.31642 指出,所有主流框架和教科书里的 softmax 与交叉熵实现都有两个浮点 bug:一个是 Softmax Collapse,先把分数最高的那一项减掉再取指数的做法虽然防了溢出,但当模型对正确答案越来越自信时,分母就变成了“1 加一个极小项”,正确类别的梯度在越过精度悬崖后会被直接舍入成零——bf16 下悬崖约在 5.5,fp32 约 16.6,fp64 约 36.7;另一个是 Softmax Cancellation,蒸馏时学生模型已经和老师一致,标准算法却停在非零的噪声底线,继续把学生往外推。修法不需要提高浮点精度,用 softplus、expm1、log1p 直接算小量即可[15][16]。需要说明的是,这些都是小规模实验(模加法、玩具蒸馏)里观察到的现象,作者自己也说没有大模型预训练的验证,融合版 kernel 是否天然规避还没测。作者提到问题最初由自家模型发现、实验与图表草稿也由模型完成,这条只能按预印本看待。
工程侧有两条更实用的消息。GitHub Copilot 从本月末起支持本地推理,可以在云端模型和设备端模型之间自动或手动切换,切换逻辑覆盖 Copilot CLI、Copilot 应用和 Visual Studio Code;设备端主力 MAI-Code-1.1-Flash 是总参数 1370 亿、激活 68 亿的混合专家模型,做了 3 比特量化后保留 256K 上下文,官方建议内存 120GB 以上,本地调用不收推理费。微软自己的口径是:完成同一任务少用 25% 的 token,命令行场景在 Terminal-Bench 2.1 上提升 22%,.NET 任务提升 15%,线上代码留存率提高 4%、回访率提高 9%[17][18]。对把源码看得比几分 benchmark 更重的团队来说,这条比模型榜单上多几个百分点更值得先试。
最后是机器人。谷歌 DeepMind 展示了 Gemini 4 Argon 的一段演示:模型看一段没有加工过的、有人玩投沙包游戏的视频,自己分析环境、算出空间坐标、规划出全身各关节该怎么动,再自主写出仿真代码,把学到的动作迁移到 Apptronik 的 Apollo 人形机器人上,真机连续七次把沙包投进目标洞;公司在自家的具身推理基准 ERQA 上测 Argon,得分 87%[19][20]。这条被称为 Video-to-Sim-to-Real 的链路,把过去通常要几周手工建模的仿真环节压到了几小时。它是一个单次演示,也不改变另一件事:视频里没有重量、没有摩擦、没有手感,换一套本体大概率还得重调。
来源
[1]: We tried to automate Epoch —— Epoch AI(Gradient Updates)/ 2026-10-26 (https://epochai.substack.com/p/can-ai-automate-epoch) [2]: Can AI automate Epoch? —— Epoch AI / 2026-10-08 (https://epoch.ai/publications/can-ai-automate-epoch) [3]: Introducing GPT-6.1 Terra —— OpenAI / 2026-10-26 (https://openai.com/index/introducing-gpt-6-1-terra/) [4]: Anthropic files S-1 with the SEC for proposed initial public offering —— Anthropic / 2026-10-26 (https://www.anthropic.com/news/s1-sec) [5]: Harvard study finds AI manuscript feedback preferred over selected human reviews —— Ground Truth / 2026-10-24 (https://groundtruth.day/news/harvard-study-prefers-ai-feedback-over-selected-human-reviews.html) [6]: Epoch AI: top-ranked models fail its own quality standard —— AGORÀ Intelligence / 2026-10-26 (https://agora-intelligence.com/en/blog/epoch-ai-benchmark-leaders-fail-own-work-tasks) [7]: AI Article Reviews Dominate Human Peer Reviews at Their Best(转述)—— Ground Truth / 2026-10-24 (https://groundtruth.day/news/harvard-study-prefers-ai-feedback-over-selected-human-reviews.html) [8]: Asking AI to Review Your Paper Before Submission: The King and Worthington Experiment —— quidproquo / 2026-10-24 (https://quidproquo.cc/posts/ai/2026-10-24-ai-pre-submission-review-king-worthington-en) [9]: Research partnership with Google DeepMind to support peer review(新闻稿)—— Springer Nature / 2026-10-26 (https://group.springernature.com/gp/group/media/press-releases/research-partnership-with-googledeepmind-to-support-peer-review/53891572) [10]: Agent Development Kit for Python —— Google / 2026-10-26 (https://github.com/google/adk-python) [11]: Anthropic files for IPO, reveals soaring revenue, massive net losses —— 新华社 / 2026-10-27 (https://new.qq.com/rain/a/20261026A038HY00) [12]: Anthropic files for stock market listing, revealing soaring sales and a long list of risks —— Le Monde / 2026-10-26 (https://www.lemonde.fr/en/economy/article/2026/10/26/anthropic-files-for-stock-market-listing-revealing-soaring-sales-and-a-long-list-of-risks_6764782_19.html) [13]: Apollo says AI has delivered ‘zero financial payoff’ outside the tech industry —— Yahoo Finance / 2026-10-26 (https://finance.yahoo.com/economy/articles/apollo-says-ai-delivered-zero-160208201.html) [14]: 阿波罗首席经济学家:除科技七巨头外,AI 还没帮美国企业赚到真金白银 —— 腾讯新闻 / 2026-10-26 (https://news.qq.com/rain/a/20261026A06UVD00) [15]: Google DeepMind Paper Identifies Two Numerical Bugs in All Softmax Implementations —— The Agent Times / 2026-10-24 (https://theagenttimes.com/articles/google-deepmind-paper-identifies-two-numerical-bugs-in-all-s-e67eabb9) [16]: A Fix for Softmax and Cross-Entropy(解读)—— cere-bro / 2026-10-24 (https://bayesiansapien.github.io/cere-bro/inference-efficiency/2026-10-24-softmax-cross-entropy-fix) [17]: MAI-Code-1.1-Flash: Better, faster, at a quarter of the cost —— Microsoft AI / 2026-10-07 (https://microsoft.ai/news/mai-code-1-1-flash-br-better-faster-at-a-quarter-of-the-cost/) [18]: GitHub Copilot 终于允许在本地跑模型了 —— A5 站长网 / 2026-10-26 (https://m.admin5.com/article/20261026/16705839.shtml) [19]: Google DeepMind’s Argon teaches Apollo robot to sink 7 straight shots —— SCI.AI / 2026-10-22 (https://news.yrules.com/en/archives/32684) [20]: AI 模型 Gemini 4 Argon 观看影片学习 助机器人精准投掷 —— PChome 新闻 / 2026-10-26 (https://news.pchome.com.tw/science/sunmedia/20261026/index-79298659246993329005.html)