文章 / 亚马逊

Writing

大厂观察|亚马逊开源后端,PyTorch 不再绑 CUDA

2026-10-20亚马逊AWS英伟达PyTorch算力

目录 展开 / 收起
  1. 一、改的那一行,改在哪一层
  2. 二、边界写在官方博客里,不在新闻稿里
  3. 三、为什么是现在,亚马逊的账怎么算
  4. 四、谁的成本先变
  5. 五、接下来看什么
  6. 来源与说明

亚马逊在 10 月 19 日宣布推出 TorchNeuron,一个让 PyTorch 代码直接在自家 Trainium 芯片上运行的开源后端。官方的说法是改一行配置、不用重写代码,10 月 20 日在圣何塞举行的北美 PyTorch 大会上以 Apache 2.0 协议进入公开 Beta,安装方式是 pip install torch-neuronx,支持 Trainium2 与 Trainium3 两代芯片。值得看的不是又多了一个硬件选项,而是亚马逊把这套后端做成了开源,并且把自己改动的那部分代码往 PyTorch 主线回推——它想松动的是框架层那个默认指向英伟达的箭头。

数字这次公布的几个数字
85%
亚马逊给出的 PyTorch 使用占比,属公司口径
89%
TorchNeuron 开箱支持的常用文本生成架构比例,Optimum Neuron v0.4.5 为 46%
6.9 万
2026 年 8 月一次测试中跳过的测试条目数,总结果约 15.4 万条
2.2 万
其中因算子没有原生 Neuron 实现而跳过的条目,占比最高的一组
30 多家
私有 Beta 阶段的早期客户数量
250 亿美元
亚马逊自研芯片业务的年化收入运行率,含 Graviton 等,非 Trainium 单独口径

一、改的那一行,改在哪一层

PyTorch 由 Meta 主导,2022 年起归 Linux 基金会管理,是多数 AI 开发者写模型的地方。英伟达花了十余年打磨 CUDA,让 PyTorch 代码在其硬件上跑得顺手,副作用是换芯片往往意味着重写与重新验证。AWS Annapurna Labs 技术软件副总裁 Colin Brace 把这件事概括为开发者此前没有真正的选择权。

TorchNeuron 的做法是接入 PyTorch 现成的扩展机制——PrivateUse1 设备后端与 torch.accelerator 接口,把 neuron 注册成一个原生设备。这样一来,开发者原来用于测试、调试与扩展的那套工具继续可用,eager 模式、torch.compile,以及 DTensor、FSDP2、张量并行这些分布式原语都能直接用。Hugging Face 在同一天发布配套说明:Transformers、Diffusers、Accelerate、PEFT、TRL 不用再经过 Optimum Neuron,传一个 device_map=neuron 就能把模型搬到 Neuron 设备上,官方建议 Neuron 用户从此直接走这些库。

变化最直观的是架构覆盖率。在常用的一百个文本生成架构里,开箱支持的比例从 Optimum Neuron v0.4.5 的 46% 升到 89%。以前那条路基于 PyTorch XLA,要按编译器的方式思考——惰性张量、只能静态形状、每次图中断都要重新编译;现在训练侧也回到标准流程,一份 TRL 监督微调脚本跑八颗 Trainium2(32 个 NeuronCore,TP 4 乘 FSDP 8),产出的 checkpoint 是标准 Transformers 格式,可以推到 Hub 上,也能在任何硬件上加载。亚马逊工程师的演示是同一份训练脚本在两块不同芯片上学到的东西一致、速度一致。

二、边界写在官方博客里,不在新闻稿里

媒体口径集中在“一行配置”,官方博客给出的边界要更保守。按 PyTorch 博客披露,2026 年 8 月的一次运行产生约 15.4 万条测试结果,其中约 6.9 万条被跳过:约 3 万条属于 PyTorch 自身的资格检查(例如只针对 CUDA 或只针对 CPU 的测试),与 Neuron 无关;剩下约 3.9 万条是 Neuron 主动跳过的,其中约 2.2 万条是还没有原生 Neuron 降维实现的算子,包括逐元素、归约、foreach、高级索引与高级线性代数算子的边角情形,以及融合的 LSTM 与 GRU 单元。

对照两条路的差别
A
B
Optimum Neuron
TorchNeuron
基于 PyTorch XLA
直接接入 PyTorch 设备后端
惰性张量,静态形状
eager 模式加 torch.compile
图中断即重新编译
编译图按形状复用
需要 Neuron 专用建模代码
用标准类与标准脚本
文本生成架构支持 46%
文本生成架构支持 89%

首版还明确列了一批不打算支持的特性,理由是客户没有提出需求:稀疏张量与稀疏算子、NestedTensor、前向模式自动微分、原生多头注意力里的任意掩码(no-mask 与 causal 可用)、逐通道量化、动态与符号形状。Hugging Face 的说明把约束讲得更具体:TRL 1.16 起会把 Neuron 上的批次补齐到 128 个 token 的整数倍,自动动态形状要关掉,生成建议用静态缓存,Transformers 的异步权重加载暂时不支持。换句话说,形状固定、算子主流的工作负载迁移成本低,批大小或序列长度在生产里会变的场景,先做补齐和对照再谈切换。亚马逊也在做覆盖面建设,TechCrunch 提到它每晚对 Hugging Face 上的十万多个模型跑一轮测试。

三、为什么是现在,亚马逊的账怎么算

亚马逊不是头一个做这件事的。谷歌在 4 月的 Cloud Next 上发布 TorchTPU,同样走 PrivateUse1 接口,同样主打改一行代码;AMD 的 GPU 与苹果的芯片此前也能靠配置切换。差别在于亚马逊把“改一行”和“接入整朵云”捆在一起卖。Brace 的说法是,你是在 AWS 上建设,不是押注一家单一用途的算力供应商,再围着它把其余部分补齐。这个对照指向 CoreWeave、Nebius、Firmus 这类只卖算力的新云:它们多半绑在英伟达硬件上。

脉络这条线的时间顺序
2025-12
Trainium3 正式可用,3 纳米工艺,官方称算力为 Trainium2 的四倍、价格性能最多高 40%
2026-04
谷歌在 Cloud Next 发布 TorchTPU,同样以 PrivateUse1 接入 PyTorch
2026-10-01
亚马逊与新思科技签下超过 10 亿美元的多年协议,做可定制的应用优化硅 IP
2026-10-19
亚马逊宣布 TorchNeuron,次日以 Apache 2.0 协议进入公开 Beta

需求侧的账已经先跑起来了。公开信息显示 Trainium2 供应基本售罄,Trainium3 产能接近订满,Anthropic 承诺的 Trainium 算力规模最高达 5 吉瓦,OpenAI 从 2027 年起承诺 2 吉瓦,双方合作的 Project Rainier 集群已部署约 50 万颗 Trainium2。亚马逊自研芯片业务的年化收入运行率超过 250 亿美元,增速三位数,这个口径包含 Graviton 等处理器,不能全部算到 Trainium 头上;行政总裁 Andy Jassy 今年早些时候说过这块业务可以做到 500 亿美元,公司估算 Trainium 最终每年能省下数百亿美元资本开支。10 月 1 日与新思科技那笔超过 10 亿美元的协议,把芯片设计从通用零件拼装推向按负载定制,也是在给后面几代芯片铺路。

四、谁的成本先变

对开发者,最实际的变化是试错成本下降。checkpoint 现在是标准格式,能在别的硬件上加载,意味着“先跑一份看看”不再需要为它单独维护一套代码分支。但算子覆盖与静态形状的约束也说明,全量迁移仍然早,合理做法是先挑一个形状稳定的小流量任务做对照,把质量阈值定死再比价格。

对云与芯片的竞争,胜负手正在从硬件规格转向迁移成本。过去几年比的是单卡算力、显存带宽与机柜功率密度,现在多了一项:把现有代码搬过去要花几个工程师几周。亚马逊把训练与推理放在同一颗芯片上、再配上存储网络和数据管线,是想让总价而不是单价成为比较单位。对英伟达的短期影响有限,AWS 仍在大批量采购英伟达芯片,英伟达也在用开放模型和 NVLink Fusion 一类的接口参与定制生态;长期看,压力落在推理侧的定价权上——如果换芯片只剩一次配置,价格就会开始被反复比较。

也有反向的解释需要摆出来。PyTorch 存在的意义之一就是屏蔽硬件差异,把它从英伟达的默认位置推开,可能带来新的配置负担而不是更少。TechCrunch 在报道里就留了这个疑问:推动 PyTorch 与英伟达深度解耦,究竟是给开发者更多选择和更低的成本,还是只多了一些要调的参数。

对做工程交付的组织,包括施工企业在内,这件事提供一个可操作的口径:评估模型服务时不要只比每百万 token 多少钱,而是比每完成一次任务的花费,同时保留一份能在两套硬件上都跑通的回退路径。前者让价格可比,后者让议价权存在。

五、接下来看什么

一是那 2.2 万条跳过条目的补齐节奏。官方说会在后续版本陆续补上算子覆盖,如果半年内降到几千条量级,“一行配置”的适用范围才算真的扩大;如果长期停在两万条上下,它就只是一个面向主流架构的方案。

二是动态与符号形状什么时候进路线图。训练侧可以靠补齐凑出固定形状,在线服务里的批大小与序列长度是变的,这一条决定 TorchNeuron 能不能从训练侧走到推理侧的主战场。

三是价格性能有没有独立复现。语音公司 Deepgram 迁移后每美元处理的音频量提升约 70%,这个数字由 Brace 提供给媒体,属客户加厂商口径,另一处转述写的是约 60%。要判断便宜是不是以慢或以降低质量为代价,得等出现同一质量阈值下的独立对照。

四是 PyTorch 主线合并了多少这类改动。亚马逊已经向上游提交若干 RFC 与 PR,移除框架里硬编码的 CUDA 假设。这些改动进了主线,受益的不只是 Trainium 用户,硬件中立才会从口号变成默认状态。

来源与说明

[1] Introducing TorchNeuron: Native PyTorch backend for AWS Trainium|PyTorch 官方博客|2026-10-19 [2] TorchNeuron: running HF models on AWS Trainium is easier than ever|Hugging Face 博客|2026-10-19 [3] Amazon opens its AWS Trainium AI chips to every PyTorch developer, no rewrite needed|Amazon 官方新闻|2026-10-19 [4] aws-neuron/torch-neuronx|GitHub(AWS Neuron)|2026-10-20 [5] Amazon says one line of code moves PyTorch jobs onto Trainium|Pivot News(转述 PyTorch 博客,含跳过测试数与 250 亿美元口径)|2026-10-19 [6] AWS Says Deepgram Gets 70% More Audio Per Dollar on Trainium|AI Breaking Wire(转述 TechCrunch,含 Brace 表态与 85% 口径)|2026-10-20 [7] Amazon Targets Nvidia’s Software Lock-In With One-Line PyTorch Migration|Gokhshtein Media|2026-10-19 [8] TorchNeuron Brings Native PyTorch and Hugging Face Support to AWS Trainium|Tech Beat(含 Qwen3-8B 微调细节与 TRL 1.16 约束)|2026-10-20 [9] 亚马逊定制芯片年化收入超 250 亿美元|今日头条(转述亚马逊与新思科技协议及 Jassy 表态)|2026-10-01 [10] 微软 Maia 与亚马逊 Trainium|雪球行业分析(含 Trainium2 售罄、Anthropic 5GW 与 OpenAI 2GW 承诺)|2026-10-14 [11] Google Launches TorchTPU to Challenge Nvidia Software Dominance|NextFin(2026-04-07 Cloud Next 发布细节)|2026-04-07 [12] TorchTPU: Google Challenges Nvidia CUDA Moat with PyTorch|byteiota|2026-04 [13] 亚马逊推出开源工具 TorchNeuron|IT之家(经今日头条,含 10 月 20 日大会发布安排)|2026-10-20 [14] 剑指英伟达 CUDA 护城河:亚马逊推出开源工具 TorchNeuron|财联社(含 30 多家早期客户、Prime 360 案例与夜测模型数)|2026-10-20

检索截止:2026-10-20 20:30(Asia/Shanghai)。PyTorch 使用占比 85%、Deepgram 每美元多处理约 70% 音频、Trn 实例价格性能、自研芯片业务年化收入与资本开支节省估算,均为亚马逊或客户自述;跳过的测试条目数、不支持特性清单出自 PyTorch 官方博客;TorchTPU 部分为 4 月的既有事实,用于时间线对照。本篇范围限于公开的软件发布与基础设施口径,厂商自述与第三方转述已分别标注,未采用匿名单源传闻。

← 全部文章