文章 / 英伟达

Writing

大厂观察|英伟达开放模型,按硬件分了三档

2026-10-16英伟达开放模型智能体端侧部署

目录 展开 / 收起
  1. 一、十月十五日,一次发了三款
  2. 二、为什么是现在:分工、教训和那个平台
  3. 三、影响:门槛从买不买得起,变成手上有什么卡
  4. 四、观察点:三件可以验的事
  5. 来源与说明

一、十月十五日,一次发了三款

英伟达在十月十五日把 Nemotron 家族又推开一层,一次性给出三款开放权重模型。居中的 Nemotron 3.5 Super VL 总参数 1200 亿、每个 token 激活 120 亿,采用混合 Mamba-Transformer 的稀疏专家架构,配 C-RADIOv4 视觉编码器,上下文窗口 100 万 token,输入支持文本、图像、文档页与最长两分钟的视频,输出仍是文本。它要接的是那类要连续跑、中间既要看材料又要调工具的企业任务。

同日上线的 Bolt 74B-A9B 24GB 是这次更值得看的一款。740 亿总参数、激活 90 亿,靠原生 2 比特量化装进 24GB,官方称可以在 RTX 与 DGX Spark 上和别的应用一起跑;llama.cpp、Ollama、LM Studio、Unsloth、vLLM 都已支持。第三款 Bolt E4B 4GB 定在十月二十三日,面向 GeForce RTX、Jetson 与 RTX/DGX Spark 上的语音助手、交互角色和嵌入式界面。

三款都给了开放权重、开放数据集和训练配方,许可为 OpenMDW-1.1,允许商用。数据集覆盖代理工具调用、金融推理、指令跟随、长上下文、公平性和四十多个视觉语言数据集,强化学习环境放在 NeMo Gym 里。训练规模上,官方两处文档的口径略有出入:预训练与继续预训练约 25 万亿 token,后训练样本约 380 万到 400 万条,并在数十个环境里做了强化学习。

数字这次的几组硬数字
1200 亿
Super VL 总参数,每 token 激活 120 亿,上下文 100 万
约 25 万亿
预训练与继续预训练的 token 量,官方口径
约 5 倍
官方称同尺寸档位里吞吐可到的倍数
24GB
Bolt 74B-A9B 靠原生 2 比特量化装进去的显存
4GB
Bolt E4B 的目标体积,十月二十三日上线

成绩这一侧要分开看。官方自述的部分是:与自家参数规模居首的推理模型 Nemotron 3 Ultra 相比,参数约为五分之一而精度相当;同尺寸档位里吞吐可到约五倍;Hermes Bench 上 63.44% 对 Ultra 的 56.33%,LangChain 评测 87.05% 对 84.3%;图表理解基准 CharXiv 得 80.8%,配合 Python 执行到 84%。第三方平台的数字要低一截:Artificial Analysis 智能指数 26 分,另一处记为 26.49,高于 Ultra 的 23 分,但明显低于同期闭源前沿模型的 46.97。部署门槛写得很具体,BF16 需要四张 H100 或两张 GB200,NVFP4 检查点约 75GB,一张 H200、一张 GB200、两张 H100 或单台 DGX Spark 就能跑起来。还有一处时间差值得记下:第三方记录显示权重在十月十二日就已可下载,比官方公告早三天。

二、为什么是现在:分工、教训和那个平台

Nemotron 家族这一年的排布是按角色分层的。Ultra 做难的纯文本规划与编排,八月发布的 Lightning 处理高通量的文本步骤,Super VL 填的是中间那块要同时看图、调工具、分多步走的活,Bolt 是这条线上新开出来的端侧一支。

八月的 Lightning 给出过一个教训,这次的口径明显是照着它改的:当时 token 生成速度比同尺寸模型快四倍,可端到端的代理任务只快了三成。吐字快不等于活干得快,所以这次 Super VL 把吞吐和任务完成时间放在一起报,并请了 EXO Labs 在 DGX Spark 上做了一次独立评测,给出的是精度与完成时间的帕累托前沿,而不是一个单独的分数。

再往前一层是平台。九月二日双方签下协议,英伟达以约 129.3 亿美元收购 Hugging Face,其中约 119 亿付给股东,另有最高约 10 亿美元的员工股权留任安排,预计 2027 年上半年交割。公告里写了两条承诺:平台保持开放,开发者继续自选模型、框架、云和计算平台,使用 Hugging Face 不以采用英伟达硬件为条件。英伟达同时自称是该平台开放模型与数据的贡献者之一,已在其上发布 500 多个模型和 250 多个开放数据集。买下的不是一个仓库,是一个已经运转起来的分发口子。

脉络这条线上的几个节点
2026-09-02
签下收购协议
约 129.3 亿美元买下 Hugging Face,次日公告
2026-10-12
权重先上线
第三方记录显示 Super VL 权重已可下载,早于公告三天
2026-10-15
三款同时发布
Super VL 与 Bolt 74B-A9B 24GB 上线,E4B 定档 10 月 23 日
2026-10-16
RTX Spark 上市
笔记本端开卖,Bolt 74B-A9B 是官方给出的本地模型

同一周还有另外两条路线并排走着。Meta 的 Muse Spark Open 走的是堆参数,8160 亿参数、100 万 token 上下文,本地部署要按 TB 级的内存准备;Liquid AI 在十月十三日放出的 LFM2.5-24B-A2B 走的是硬件无关,端侧随便什么卡都能上。英伟达给出的是第三条路:模型按自家硬件的档位切好,每一档配一个官方调过的选择。

三、影响:门槛从买不买得起,变成手上有什么卡

对采购的直接影响是选型合一。过去买卡是一件事,选模型是另一件事,中间隔着一整套适配与调优;现在每一档硬件都有一个官方对口模型,倒推起来就简单了:要跑 Super VL,单台 DGX Spark 或一张 H200 起步;要跑 Bolt,24GB 的机器就够;要到嵌入式和语音那一层,等十月二十三日的 4GB 版本。模型发布与硬件档位绑在一起,这是这次发布真正的结构变化。

对企业用户,后训练从可选项变成了标准动作。英伟达把这条链配齐了:NeMo 做监督微调、低秩适配与强化学习,开放数据集补自有数据,NeMo Gym 提供环境,NIM 把模型包成双周更新的微服务。已经公布的案例里,Scale AI 为 Skydance 的供应商信贷智能体做后训练,官方称推理成本降到四十分之一、延迟降到五分之一;Ramp 把收据图片转成带商户、日期与金额的结构化 JSON,预期吞吐提高最多一半、延迟降十倍;AfterQuery 为 Hebbia 做信贷协议分析;Mercor 用 APEX-SWE 基准训编码智能体;Atlassian 用于 Jira 与 Confluence 的跨应用检索;Perplexity 用于搜索与代理任务;达索系统用于工程设计与仿真。这些数字全部出自英伟达或其合作方,目前没有第三方复现。

对开发者,权重和配方一起开放意味着模型可以按二进制依赖那样管理:进版本库、进流水线、自己做回归。换来的是部署、监控、数据治理都落到自己头上,后训练用的内部数据也要按生产资产来管。2 比特量化把 740 亿参数压进 24GB,让本地跑智能体的门槛从机房下移到了一台工作站。

术语家族按硬件档位分工
Nemotron 3 Ultra
难的纯文本规划与编排,参数规模居首
Nemotron 3.5 Super VL
要看图、调工具的多步任务,单卡或一台 Spark
Bolt 74B-A9B 24GB
工作站与笔记本上的日常代理任务,2 比特量化
Bolt E4B 4GB
语音助手、交互角色与嵌入式界面,十月二十三日

对立的那一种解释也站得住。开放权重不等于开放收益:这些模型的效率是照着自家硬件调的,把模型层做成一道软门槛,比立一道接口墙温和,也更难绕开。端侧这一层同时存在硬件无关的替代,企业因此有了对比点。两种解释哪个更接近事实,可以到下面第一项里去验。

还有一个容易被总分掩盖的口径。Artificial Analysis 的 AA-Omniscience 上,Super VL 准确率 0.23、幻觉率 0.36,同期 GPT-5.6 Sol 准确率 0.59、幻觉率 0.92。指数把两者合起来算,Sol 依然在前;但对那些宁可空着也别答错的流程,比如医疗理赔与皮肤科分诊,也正是官方点名的两处后训练场景,低的幻觉率比高的准确率更值钱。同一个模型,换个流程,结论会反过来。

四、观察点:三件可以验的事

第一件看硬件。两个季度内,有没有采用方公开自己在非英伟达硬件上跑出了相近的吞吐。一家都没有的话,开放模型这四个字就更接近一次硬件销售动作,而不是一次让渡。

第二件看 4GB 那一档。十月二十三日 Bolt E4B 上线后,在 2 比特与 4GB 的双重压缩下,多轮工具调用还稳不稳,是最容易被实测出来的地方;官方给的试验场是 SkyrimNET 那类游戏角色场景,连续交互正是它的压力点。

第三件看成本数字会不会被使用者自己确认。四十分之一与十倍这两个数,目前都只在英伟达的材料里。若 Skydance、Ramp、EY 这些使用者自己出来背书,这条路线就从市场材料变成了工程事实;若始终只有卖方口径,它更接近采购时的参考值。

检索截止:2026-10-16 20:40(Asia/Shanghai)。以上时间除注明外均为各来源标注的发布日期,按 Asia/Shanghai 折算。

来源与说明

[1] Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models|NVIDIA Blog|2026-10-15 [2] NVIDIA Nemotron 3.5 Super VL Powers Specialized Agents with Multimodal Reasoning|NVIDIA Technical Blog|2026-10-15 [3] NVIDIA Releases Open Nemotron 3.5 Super VL and Bolt Edge Models|Unite.AI|2026-10-15 [4] Nvidia Rolls Out 120B-Parameter Nemotron Super VL and Two Compact Edge Models for AI Agents|BigGo Finance|2026-10-15 [5] NVIDIA expands Nemotron with Super VL and local Bolt models|CodedTrip|2026-10-16 [6] What Is Nemotron 3.5 Super VL? 120B Open Agent Model|Kie.ai|2026-10-15 [7] Nemotron 3.5 Super VL – 1M context, multimodal, open weights|LLM Reference|2026-10-15 [8] Nemotron 3.5 Super VL: Nvidia’s Free Vision Model for AI Agents|Julian Goldie|2026-10-15 [9] NVIDIA Nemotron 3.5 Super VL vs GPT-5.6 Sol: eight providers, one deprecation flag, and an open weight file|OrcaRouter|2026-10-16 [10] NVIDIA RTX Spark Launches With Local AI Agents and App Ecosystem|Neural Stack|2026-10-16 [11] Deploying Nemotron Edge Models: New Super VL and Bolt Variants for On-Prem and Edge Workloads|CloudNinjas|2026-10-16 [12] NVIDIA Signs Definitive Agreement to Acquire Hugging Face for 12.9B|Unite.AI|2026-09-03 [13] Nvidia releases 120B multimodal model to anchor enterprise agent infrastructure|The Decoder / Modelwire|2026-10-16 [14] Muse Spark Open|Meta AI Research|2026-10-15

← 全部文章