11 月 2 日,SemiAnalysis 发布通用智能体基准 GDPx v1.0。206 道题,11 个领域,14 家专做强化学习环境的初创公司分头出题,每道题默认给模型八小时。榜首是 Anthropic 的 Claude Opus 5.5,12.0%;Google 尚未正式开放的 Gemini 4 Carbon 10.9%;OpenAI 的 GPT-6 Astra 9.6%。三家旗舰挤在十分上下,头名与第三名只差 2.4 个百分点。
这份榜单真正值得读的地方不在 12% 这个数字,而在分数背后那三样东西:任务怎么加权、护栏算不算能力、工具框架算谁的。把这三样拆开,才知道该拿它做什么用。
十二分是按三套权重凑出来的
206 道题分得很不均。芯片设计 34 道,由 Aria、Arcverex、Ergodex 三家出题;金融 24 道,材料科学 23 道,硬件设计 21 道,法律 20 道,网络安全与对齐各 18 道,软件工程 15 道,生物 13 道,量化交易与递归自我改进各 10 道。评分是三次尝试的 pass@1 均值,可用工具是模型各自的框架:Anthropic 用 Claude Code,OpenAI 用 Codex,Google 用 Antigravity,没有自家框架的模型走 OpenCode。
加权规则是两条:11 个领域各占十一分之一,一个领域内若有多家出题方,各出题方再平分该领域。于是芯片设计那 34 道题要先按三家各自平均,再折成十一分之一;量化交易那 10 道题同样占十一分之一。题多的域不吃香,题少的域不吃亏。
这套规则让总分变成三个变量的乘积:模型在单个任务上的通过率、题目在不同领域之间的分布、以及出题方在领域内的平分方式。任何一项调整都会动名次。SemiAnalysis 自己也承认,若把安全分类器容易触发的网络安全、生物、对齐三域剔除,排名会明显变化,而那套排名更接近他们平时用模型的手感。
零分带落在自己找数这一步
首发报告里有两个领域几乎是空的。金融 24 道题,在二元评分下所有模型得零,只有 Gemini 4 Carbon 在官网榜单上拿到 2.78%;法律 20 道题,二元评分下全零。切到部分分视图,Opus 的金融分是 54.59%、法律 29.92%,全部领域约 22.46%。同一批运行,换一种计分方式,从零分变成刚过半。
这两种分数讲的是两件事。部分分说模型把大部分动作做对了;二元分说交付物不能签字。金融那一档的验收器不看文字写得像不像,只看工作簿里的每一笔调整是否落在正确的期间、正确的科目。半导体和生物那几档更难,要通过签核才轮到效率比较,签核不过就一分没有。
失手点也很具体。公开轨迹里有一道金融题,模型交回的表格里 818 个公式全部有效、重算结果与缓存一致,外部验收器 15 项检查只过了 8 项,漏掉的是一笔三万零二百零四美元的期间归属调整。首发报告复盘该题 25 次运行,其中 15 次把投行成功费算进了净债务,而按协议这笔费用已经单独扣减,重复计入等于让同一笔钱扣两遍。法律那一档更干脆,章程修订题在四个模型上跑了 20 次,没有一份修改稿完整合格,失手多在没发现其他股东的投票权足以撤掉客户想要的保护条款。
这也解释了为什么它要跟 OpenAI 的 GDPval 划清界限。GDPval 把材料整理好放进提示词,模型只需要把结论写成文档;GDPx 把模型丢进一个模拟工位,金融那道题的环境是一笔 8.8 亿美元私募交易的四千份文件副本,数字要自己翻。SemiAnalysis 列出 GDPval 的几处硬伤:评分靠细则打分,专家之间在标准答案子集上的一致率只有 71%;部分细则写错,参考解也有错;题目依赖时点,链接和价格早已过期。他们用同一套质检去扫 Terminal Bench 4.0,近一半任务被判为有缺陷。
护栏和工具框架,也被算进了同一张榜
榜首与第三名之间的 2.4 个百分点,有一部分不是能力差,是拒答差。SemiAnalysis 直接写明,Opus 5.5 与 GPT-6 Astra 的总分被自家安全分类器压低了:在网络安全、生物、对齐这三域,模型有时会拒绝执行或自我限制,分数因此拿不满。反过来,拒答更少的 Meta Muse Wonder Full 在网络安全一项排到了前面,报告称它是当下可用的网安模型里明显靠前的一个。这不意味着它更聪明,只意味着它更少说「不」。
对采购的人来说,这条比排名重要。企业买到的从来不是裸模型,而是模型加护栏加框架的组合。同一张榜上,低分可能来自能力不足,也可能来自分类器在按预期工作,两种低分的处置方式完全相反:前者要换模型,后者要调策略或换场景。报告把这三域剔掉另排一张榜,就是在提示这件事,但那张榜没有公开逐域明细,读者只能看到结论。
工具框架的分量同样被低估。三家旗舰各自在自己家的框架里跑,Opus 用 Claude Code,Astra 用 Codex,Carbon 用 Antigravity。任务里漏读一份文件,可能是模型跳过了,也可能是工具读了没把内容传回来;榜单给不出区分,只能靠固定工具与时间预算、或让同一模型换个框架重跑来拆。
成本轴给出的信息更直接。榜单标出的每题平均成本是:Opus 5.5 约 51.41 美元,Astra 约 53.99 美元,Carbon 约 16.29 美元,GPT-6.1 Sol 约 9.78 美元,GPT-6 Luna 约 0.92 美元。把成功率除进去,得到一个更接近采购决策的数字:每完成一个任务的平均花费,Opus 约 428 美元、Carbon 约 149 美元、Sol 约 116 美元(推算,按榜单成功率与每题成本直接相除,未计失败重试的额外时长)。榜首与第二名之间 1.1 个百分点的差距,在单位成功成本上被放大成接近三倍。
接下来看三件事
第一件是零分带会不会破。SemiAnalysis 说这份基准每三到六个月更新一次,并会加新的出题方。下一版若金融、法律仍是全零,说明卡点不在题目难度,而在跨文件核对与责任判断这类能力本身;若总分整体上移而各域结构不变,更像是环境被摸熟了,而不是能力长了。
第二件是护栏分会不会单独披露。现在只有一句「剔除三域后排名会变」,没有公开的数。企业要把能力与合规分开买,就需要两个数:关掉分类器能拿多少分,开着又能交付多少。谁先给出这一对数,谁就先拿到采购的话语权。
第三件是出题方的身份。14 家环境公司既供题、又卖训练数据与强化学习环境,评测与被测之间存在商业关系。这份榜的可信度,一部分取决于伙伴名单会不会轮换、题目会不会私有化到无法被针对性调优。首发报告说 14 家各公开一道题的运行轨迹,共 168 条,其余题目保持私有,这个比例以后会不会变,比名次更值得记。
来源与说明
[1] GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains|SemiAnalysis|2026-11-02 [2] SemiAnalysis GDPx: The Best AI Agent Scores 12%, and Models Break Rules in 98% of Cyber Runs|ExplainX|2026-11-02 [3] SemiAnalysis Launches GDPx Agent Benchmark; Claude Opus 5.5 Leads at Just 12%|AI Bacon|2026-11-02 [4] SemiAnalysis Launches GDPx: Frontier AI Models Score Just 12%|GPTOnline|2026-11-02 [5] Anthropic Claude Opus 5.5 Leads SemiAnalysis GDPx Benchmark at 12.0%|Zubiqo|2026-11-02 [6] SemiAnalysis 发布 GDPx,最佳模型仅得 12%:智能体在哪一步丢了分?|微信公众号|2026-11-02 [7] SemiAnalysis releases GDPx benchmark for frontier AI models|Digest AI News|2026-11-02 [8] SemiAnalysis unveils GDPx benchmark, and the best AI model scores 12%|Web Pulse|2026-11-02
说明:GDPx 是第三方研究机构发布的评测,不属于任何一家大厂的官方口径;榜单上三家公司模型的名次由该机构自行采集运行得出,未获厂商确认。首发报告对金融、法律的零分同时给出二元与部分分两种视图,本文两处都保留,避免只引一种造成误读。涉及网络安全与对齐两域的越界统计只作比例引用,不展开具体做法。