亚马逊开源TorchNeuron 挑战CUDA生态
亚马逊周一宣布,让PyTorch代码直接跑在自家Trainium AI芯片上的工具TorchNeuron开放公开测试,并将于周二在圣何塞举行的PyTorch大会上正式开源。此前该工具已私下测试数月,有超过30家公司和亚马逊内部团队在用。

过去想在Trainium上跑PyTorch,开发者得改造代码去调用亚马逊专有接口;有了TorchNeuron,同一份代码只需改个基础配置就能运行。亚马逊芯片设计部门Annapurna Labs软件技术副总裁布雷斯的说法是:「懂PyTorch,就懂Trainium。」
英伟达能主导AI芯片市场,很大程度是因为整个行业的软件都长在CUDA平台上——把代码迁移到别家硬件往往要数月工程量,这让很多公司不敢换芯。TorchNeuron正是冲着这道护城河来的:谷歌的TorchTPU走的是类似路线,微软上周也宣布多数AI服务将转向自研Maia芯片。
Trainium目前最大的用户是与亚马逊有资本纽带的AI实验室:Anthropic用它训练和运行Claude模型;OpenAI则同意使用2吉瓦Trainium算力,亚马逊为此投资500亿美元。亚马逊CEO贾西在股东信中披露,自研芯片业务年化营收已超过200亿美元。
为确保兼容性,亚马逊称TorchNeuron每晚对着Hugging Face上超过10万个模型做自动化测试。私下测试期间,语音AI创企Deepgram实测每美元能处理的音频量比现有GPU方案多六成,如今已把Trainium用于生产环境;亚马逊内部的Prime Video团队也用它打造了能360度回放NBA进攻画面的Prime 360系统。
编译自 GeekWire,原标题:"Amazon challenges Nvidia's software advantage with new tool for its own AI chips"