【高效能运算环境资料传输新标准】100Gb与200Gb InfiniBand跃上台面

在高效能运算（HPC）领域当中，除了传统的数值分析、模拟等应用，在AI、机器学习等新兴需求的带动下，应用面向与规模也随之不断扩大，连带的，对于资料传输吞吐量的需求也是有增无减，同时，也让InfiniBand这类主要用于高效能运算环境的资料传输技术，有了迅速的发展。

5、6年以前，56Gb带宽的FDR，还是InfiniBand最普遍的规格，不过当100Gb的EDR规格于2014年出炉后，短短几年内就在高效能运算领域普遍使用。紧接着200Gb带宽的HDR规格也在2017年问世，并很快就获得应用，以刚于2019年6月发布的最新版Top 500超级电脑名单为例，其中，便有4座采用200Gb HDR InfiniBand作为互连架构。

负责制订与维护InfiniBand标准的IBTA组织（InfiniBand Trade Association），也已经规划了接下来的发展路线，预定在2020与2023年以后，陆续推出400Gb的NDR，以及1Tb等级的XDR规格。

InfiniBand网络产品主要的供应商，是刚于今年稍早为Nvidia并购的Mellanox，可提供100Gb EDR与200Gb HDR的HCA界面卡与交换器。另外，Mellanox也与Nvidia合作，推出整合了100Gb EDR界面的DGX-1深度学习应用设备。

InfiniBand vs. Omni-Path的竞争

Intel原本也是InfiniBand网络设备重要供应商，不过，在QDR之后，与Mellanox出现分歧，因该公司在2013年左右曾推动QDR-80，对抗Mellanox的56Gb FDR，但没有成功，此后Intel便淡出InfiniBand，旗下的True Scale系列InfiniBand产品线停留在40Gb QDR规格，并将高效能运算网络领域的重心，转到Intel自身的Omni-Path Architecture（OPA）架构上。

2015年开始推出产品的Omni-Path，是一种类似InfiniBand的低延迟、高带宽传输架构，目前可达到100Gb带宽，与InfiniBand的100Gb EDR相同，在低延迟与QoS方面有所改进，还与Intel处理器有更深的整合，在交换机的埠数密度方面也有优势，可达到1U/48埠，同时期的InfiniBand交换器只有1U/36埠。

但后来InfiniBand也有所改进，不仅推出新一代200Gb HDR规格，还有1U/40埠的200Gb HDR交换器产品，若搭配splitter缆线使用，将可在1U空间提供80个100Gb EDR埠。

目前在高效能运算领域，InfiniBand还是居于明显领先，并有着更为成熟的优势，但Omni-Path在技术规格上有其优点，并凭借Intel的低价策略占有一席之地，预期这两种规格的竞争，还会持续相当长的时间。

以高效能运算领域最具代表性的Top 500超级电脑排行榜来说，参照Mellanox的统计的2018年11月Top500排行结果，在Top500超级电脑采用的互连架构中，以太网路是比重最高的一种，超过250座系统采用，占了一半以上，InfiniBand则排名第2，有130多座系统采用，至于Omni-Path则是第4名，有40座多系统采用。

整体来说，即使在超级电脑领域，以太网路仍是最普遍的传输架构，若进一步细分，则可以发现在采用以太网路的250座系统中，有130多座是采用25Gb以上的高速以太网路，其余120座则是10Gb以下的低速以太网路。

不过，若只考虑Top500中效能最高的前100套系统，我们可以发现，在这些顶级的超级电脑系统中，以太网路就已不见身影，而是InfiniBand、Cray与Omni-Path这些架构三分天下。其中又以InfiniBand独占鳌头，有40套系统采用，Cray与Omni-Path各有20多座系统采用。

 1   2   3   4   5   6