亚马逊开源TorchNeuron 剑指CUDA
亚马逊周一发布 TorchNeuron,一个让 PyTorch 代码原生跑在自研 Trainium 芯片上的后端。按官方说法,开发者只需改一处配置,不必重写代码。工具于10月20日在北美 PyTorch 大会以 Apache 2.0 许可开源,同时开放公测,可通过 pip 安装,支持 Trainium2 与 Trainium3。

「不用改代码」到底意味着什么?亚马逊工程师做了同场对照:同一份训练脚本,分别跑在常规芯片与 Trainium 上,唯一差别是告诉代码用哪块芯片的那行设置,结果模型学到的东西和速度都一致。技术上的关键在 PyTorch 本身——它早就有让新硬件注册自己的机制(PrivateUse1 后端与 torch.accelerator 接口),TorchNeuron 接在这套标准接口上,开发者惯用的测试、调试、扩展工具照旧能用。
这件事的分量在于基数:今天85%的 AI 研究者与开发者用 PyTorch 写代码,而能跑这些代码的硬件远比代码本身狭窄。换芯片往往意味着数月重写与重新验证。亚马逊的定制芯片业务年化收入已超过250亿美元,它想把这道门槛拆掉。旗下芯片部门 Annapurna Labs 的软件副总裁 Colin Brace 对媒体说,思路是「从客户现有的工作方式出发」;目前已有30多家早期客户,覆盖机器人、世界模型、语音、自动驾驶、药物发现与金融等领域。
早期案例里,语音 AI 公司 Cartesia 只做极少改动就跑通了标准推理管线;Lieber 脑发育研究所则把生物、化学与语言模型用在药物靶点与分子动力学模拟上,过去这类计算极其昂贵。对企业客户而言更实际的一点是:训练与推理能用同一套硬件,闲时的推理容量可以无缝切给训练任务,不必让专用硬件空转。
亚马逊也在往上游走。公司向 PyTorch 提交改动,移除把框架绑死在特定芯片上的代码,让 PyTorch 对整个开发者社区更硬件中立;Hugging Face 已在自家工具里原生支持 Trainium,开发者不用写任何亚马逊专属代码。质量上,官方称每次构建都会用数十万个模型跑测试,把问题挡在客户负载之前。
也不必把话说满。官方博客列了首版明确不支持的清单:稀疏张量与稀疏算子、NestedTensor、前向模式自动微分、原生多头注意力里的任意掩码、逐通道量化、动态与符号形状等;算子覆盖上仍有约2.2万个测试因缺原生实现被跳过。所谓「零改动」描述的是兼容代码的起点,真上生产还得按自己的模型验证算子、分布式执行、性能与成本。
更长远的意义在生态。英伟达的护城河一半是芯片,一半是 CUDA 用十余年攒下的迁移成本;TorchNeuron 想做的,是把这笔成本压到接近零,让芯片厂商必须靠性价比去争开发者。
编译自 Amazon 官方新闻稿 / PyTorch 官方博客,原标题:"Amazon opens its AWS Trainium AI chips to every PyTorch developer, no rewrite needed"