架构创新引发AI推理和训练的新变局？

（集微网报道 艾檬）沉舟侧畔千帆过，AI热潮正推动AI芯片市场不断焕新。据Allied Market Research报告，全球机器学习芯片市场规模到2025年将达到约378亿美元。在X86和ARM横扫业界久矣的IC时代，有望重塑产业格局的AI芯片市场不仅驱动着传统芯片公司战略和技术的转型，同时还吸引了不少巨头以及初创企业等新玩家，在延续性或颠覆性创新方面各出奇招，引发AI训练和推理市场的变局。

格局未定

经过几年的征战，训练和推理芯片的各方势力虽格局初定，但并不稳固。Habana Labs首席执行官David Dahan就表示，AI模型训练所需的计算能力每年呈指数增长。因此，提高生产率和可扩充套件性，解决资料中心和云端计算对算力的迫切需求成为至关重要的任务。

而这意味着持续的革新。现有的训练一般采用“CPU+加速芯片”的异构计算模式。目前 Nvidia 的 GPU+CUDA计算平台可谓最成熟的AI训练方案，还有GPU+OpenCL以及FPGA+OpenCL来对垒。云服务厂商自研加速芯片如Google的TPU等也在强力布局，诸如Facebook、亚马逊、百度、阿里、腾讯等也在积极介入，均希望借自主研发的AI芯片以更低的成本满足自身的个性化需求，最终获得更强大的优势。

在推理芯片更注重综合指标，单位能耗算力、时延、成本等要全面均衡。在云端推理芯片中，可谓百家争鸣。初期虽然采用 CPU/GPU进行加速，但由于应用场景的特殊性，依据具体神经网络算法优化会带来更高的效率，ASIC、FPGA等的表现可圈可点。除英伟达、Google、英特尔、赛灵思等巨头涉足之外，Habana Labs、Wave computing等初创公司也加入战团，国内的寒武纪、位元大陆亦在布局。

Habana Labs中国区总经理于明扬乐观表示，云端市场尤其是推理市场还处在高速发展的蓝海市场阶段，而5G和边缘计算也对云端有了更强的需求，未来前景广阔。

有数字估计，云资料中心服务器中，AI训练芯片的渗透率将提高到2022 年的13%。而推理芯片在云服务器和企业本地服务器上的渗透率到2022 年分别达到20%和7%。在急剧扩大的市场中，将不断有选手斜刺里杀出，而最终极的拷问是如何在新老格局对抗中建立独树一帜的优势。

新进入者的招法？

而继去年9月推出推理AI芯片 Goya HL-1000 处理器以来，以色列初创公司Habana Labs再下一程，正式推出用于训练的AI芯片Gaudi。

要知道，Goya推理效能强劲，对标英伟达的V100 GPU、在ResNet-50上进行推理时，可提供了超过4倍的吞吐量、2倍的能效以及一半的延迟。据悉基于Goya HL-1000的 PCIe 卡可实现每秒15000张图片的吞吐量，延迟时间为1.3毫秒，功耗仅为100瓦，相比GPU等方案表现高出一到三个数量级。而且，Goya已可支援Facebook的机器学习编译器Glow，其驱动业已整合在Linux中，并可无缝从CPU或GPU中迁移。

在推理领域祭出利器之后，这家初创公司雄心不止，训练芯片Gaudi成为其进军AI市场的又一大突破，它不仅以效能见长，并且通过创新整合为系统级方案，构建了更高壁垒。

Habana Labs首席商务官Eitan Medina介绍，Gaudi优势在于一是拥有比GPU更高的吞吐量、更高能耗比，其吞吐量比同等数量GPU高出4倍；二是片上集成了10个100GbE以太网埠，每个以太网埠均支援RDMA over Converged Ethernet (RoCE v2) 功能，从而让AI系统通过标准以太网，在速度和埠数方面获得几乎无限的可扩充套件性。

据悉，Gaudi处理器包含32GB的HBM-2内存，有两种形式：HL-200是支援8个100Gb以太网埠的PCIe卡；HL-205是符合OCP-OAM规范的夹层卡，支援10个100Gb以太网埠或20个50Gb以太网埠。同时，Habana还推出了一款名为HLS-1的8-Gaudi系统，其中包括8个HL-205 Mezzanine卡，带有用于外部主机连线的PCIe联结器和24个100Gbps以太网埠，用于连线现成的以太网交换机，客户可通过在19英寸标准机柜中部署多个HLS-1系统实现效能扩充套件。

剑指英伟达，Habana Labs发展出和而不同的路径。现有最好的英伟达最新16 GPU DGX-2系统，配备8个100G埠，但这仍然是24埠HLS-1提供的一小部分。而且因其通讯界面有限，且采用私有协议，很难大幅扩充套件。而Gaodi内建的RDMA方案可灵活扩充套件，应用边界不受限制。而戏剧性的是，显然英伟达也看到这一走势，以69亿美元高价收购资料中心InfiniBand网络的绝对王者——以色列创企Mellanox，其核心技术正是RDMA。

如今AI市场的打法还需要软硬件协同铺路。Eitan Medina指出，Habana Labs为此打造一个完整的SynapseAI软件栈，集可程式设计的TPC、深度学习库和编译器等于一体，客户还可新增专有核心，实现完全可程式设计和可定制。这款软件可与 TensorFlow和ONNX等深度学习神经网络框架无缝互动，并将增加对PyTorch和其他机器学习框架的支援，不断助力客户优化AI部署。

未来的选择

虽然Habana Labs并没有提供太多关于芯片内部细节的资讯，但Eitan Medina声称它来源于独特的架构创新，基于第二代Tensor处理核心（TPC），支援用于训练的典型浮点格式如FP32和bfloat16以及一些整数格式。由于核心的clean-sheet设计，其AI芯片实现了高吞吐量、低时延等，未来将进一步抢占GPU的份额。

要知道，Habana Labs去年年底完成超额认购的7500万美元B轮融资。此次融资由英特尔投资领投，WRV Capital等也加入其中。自2016年创立以来，该公司已筹集到1.2亿美元。Eitan Medina表示，这一资金将支援针对推理和训练解决方案的产品发展蓝图，包括下一代7nm处理器，同时扩充套件销售与客户支援团队。

正所谓明势、取道、优术，事可成。虽然是初创企业，但Habana Labs的打法非常凌厉，不只以创新效能见长，将其产品组合从AI推理扩充套件到AI训练，辅以高效能、低功耗、可扩充套件、可程式设计等特性，还以系统级方案应对推理和训练的潜在需求。

但面对英伟达的GPU+CUDA的强生态系统，以及众多巨头的兵临城下，Habana Labs的AI芯片如何落地生根、如何构建稳健的生态，仍将是未来持续的考验。（校对/艾禾）