一家以色列公司首次推出破纪录的AI训练芯片

点选上方关注，All in AI中国去年推出人工智能推理芯片后，Habana Labs（以色列特拉维夫）推出了基于相同架构的人工智能训练芯片，该芯片可以大幅超越现有技术，并具有芯片上的RoCE（通过融合以太网进行远端直接内存访问）通讯的可扩充套件性。

虽然该公司的推理芯片Goya在2018年9月创下了ResNet-50推断的记录，但新的训练芯片Gaudi提供了类似的高效能。在训练ResNet-50网络时，Gaudi每秒可处理1650张影象，批量为64，Habana称这是该基准的新世界纪录。据该公司称，这种吞吐量的功耗为140W，与竞争解决方案相比也具有显著的优势。

令人印象深刻，但Habana的架构是专门为击败ResNet-50基准而设计的，还是会为其他型别的神经网络提供类似的吞吐量优势？

Habana Labs的首席商务官Eitan Medina表示，“架构中没有任何东西限制它成为ResNet-50机器，完全没有。” “如果它只是一台ResNet-50机器，像Facebook这样的公司就不会花时间将Goya整合到它的Glow机器学习编译器中......我们的客户正在用从视觉处理到推荐系统各种各样的应用型别来实现Goya。“

核心架构

新的Gaudi训练芯片加入了Habana产品组合中的Goya推理芯片。与Goya类似，Gaudi还有8个VLIW SIMD（超长指令字，单指令多资料）向量处理器核心，它称之为张量处理器核心（TPC），专为AI工作负载而设计。差异包括支援的资料型别 - 虽然两者都是混合精度，但Goya专注于整数乘法器，而Gaudi更强调更精确的资料格式，如BF16和FP32。

Habana Labs Gaudi处理器的高阶架构

“TPC核心本身也不同。到目前为止，这是第二代TPC核心，一个从头开始用我们的指令集设计的VLIW机器，“Medina指出， “训练芯片也有不同型别的记忆。有了Goya，我们有DDR4内存，有了Gaudi，我们有四个HBM2（高带宽内存，第二代）内存。因此，与Goya相比，它是吞吐量和片上内存的不同平衡。“

Gaudi推出了一款带有32GB HBM2内存（HL-205）的OCP（开放式计算机专案）加速器型号相容夹层加速卡，或者用于资料中心的八卡超级计算机盒（HLS-1）。虽然没有公开芯片上储存器的确切数量，除了将其描述为实质性之外， Medina表示，“训练解决方案对HBM2具有令人难以置信的吞吐量，因此我们对芯片上储存器大小并不敏感，我们设计了专门的内存控制器，可提供1 TB / s的吞吐量，这对于任何规模的处理器来说都是非常高的吞吐量。

Habana Labs HLS-1系统结合了八个Gaudi加速卡

Habana的软件堆叠SynapseAI直接与深度学习框架（如TensorFlow，PyTorch和Caffe2）连线。 TPC还有一个完整的程式设计工具链。

连线性和可扩充套件性

除了原始效能之外，AI训练处理器的另一个重要方面是可扩充套件性。人工智能加速器在大型训练农场中被大量使用，许多装置协同训练同一个神经网络。Nvidia今年早些时候购买了网络IC供应商Mellanox及其RoCE技术，部分原因是为了解决用于深度学习的分散式计算系统所固有的通讯瓶颈。

Medina表示，“我们的立场是[Nvidia首席执行官Jensen Huang]绝对正确，RoCE是扩充套件AI的完美解决方案。”

Gaudi集成了芯片上的RoCE，在处理器芯片上直接集成了10个100千兆以太网埠，Habana声称该功能是AI加速处理器的独特之处，因为竞争解决方案通常需要额外的连线芯片。在像HLS-1这样的系统中，这些10个片上埠中的一些可以分配给各个Gaudi处理器之间的非阻塞全部连线。

“通过提供RoCE的这种整合，我们真正释放了客户设计无限规模系统的能力，从小型系统到非常大的系统......真正为他们投资AI培训加速时提供了空间，”Medina继续说道。

为了说明Gaudi系统设计的灵活性，Medina描述了埠如何配置为20个50GB埠，用于连线16 Gaudis而无需额外元件，或使用现成的以太网交换机建立用于海量资料并行的分层结构。以太网交换机也可用于在一个网络hop中连线64个Gaudis，适用于需要巨大带宽的模型并行训练的新兴技术。

Habana Labs的HLS-1系统框图

“也许最重要的是让[客户]采用基于标准的方法来扩充套件他们的AI，[他们]避免了他们购买具有专有界面的架构时的锁定，”Medina说， “目前市场领导者和初创公司的大多数解决方案都在推广专有系统界面。我们的理念是，如果有人比我们更好，你应该能够带我们出去换掉其他竞争对手的处理解决方案。我们无不能控制您的所有基础设施。“

竞赛

到目前为止，Habana Labs已经筹集了1.2亿美元，最后一轮由英特尔投资公司领导。140多名员工和承包商分布在以色列、波兰、加利福尼亚和中国。

很显然，Habana正在迅速追赶英伟达。 Habana的演讲重点介绍了Gaudi和Nvidia市场领先的V100 GPU以及Habana的HLS-1和Nvidia的DGX-1之间进行直接比较。

虽然Nvidia是当今的市场领导者，但许多大资料中心公司也在开发自己的AI加速器。 Habana将如何与客户的本土装置竞争？

“答案很简单 - 我们必须做得更好，”Medina表示，“规模经济 - 我们能够向多个客户出售产品 - 在战略性上支援我们。为了证明数亿美元的投资是合理的，仅仅是你内部消费的[筹码]数量，你必须是一个拥有大量资金的巨大公司，而且你需要一个战略理由来说明为什么你认为拥有这种控制很重要。你可以问，为什么有x86业务？出于同样的原因，如果你表现出色，他们就会授予你这项业务，因为归根结底，他们需要与行业内的同行竞争，而不使用最好的技术是他们承受不起的。”

Gaudi装置将在今年下半年开始为客户提供样品。