MLPerf最新测试结果：Google即将推出的TPU v4，特定领域AI运算效能更胜Nvidia DGX SuperPOD

ML基准测试套件MLPerf最新训练评比在6月30日出炉。这次MLPerf Training v1.0的测试中，将近四分之三参与评测企业所使用的硬件，都是以Nvidia的AI产品为基础，Nvidia本次也以DGX SuperPOD参加评测，分别在8项AI工作负载测试中，都获得不错的成绩。Google这次则是以近期发布的AI加速芯片TPU v4参加评比，在特定AI模型训练的任务中，效能表现甚至超越了Nvidia产品评测结果，不过TPU v4还在预览阶段，预计今年才会开始提供GCP客户使用。

这次MLPerf Training v1.0测试的AI应用类别有8种，除了过去就有的6种应用类别，分别是用于排名与推荐的DLRM、用于NLP的BERT、可在行动装置上执行的轻量级物体侦测模型SSD、重量级物件侦测模型Mask RNN-T、用于强化学习的MiniGo，以及广泛用于图像分类的ResNet-50 v1.5，今年更新增了用于语音辨识的RNN-T与医疗影像分割的UNet-3D，来对各家产品进行效能评比。

今年共有13个组织参与评测，相较于去年来看，今年参与评比的组织更多了。Nvidia资深加速运算产品管理与行销资深经理Paresh Kharya指出，近年来有越来越多用户看重MLPerf评比的结果，比如台积电OPC部门主管就曾表示，MLPerf基准测试，就是影响内部决策的一项重要因素。

这次参与评测的组织中，有将近四分之三的企业提交的AI加速平台，都是以Nvidia产品为基础，显示Nvidia在AI加速领域的领先地位。Nvidia这次也以市售的DGX SuperPOD，参加了全部8项AI项目的测试，且在多个项目中获得最佳成绩。不过，Google这次提交的TPU v4，虽然还是预览版本，但在特定领域的效能表现更优于Nvidia，显示他们未来将用于GCP的AI加速芯片，对于特定类型的AI应用有其优势所在。

大多企业提交了已经商用的产品（Available），部分企业提交的是预览类（preview）产品，如Google使用的TPU v4，可能几个月后才会上市，也有组织使用可能长久都不会上市的研究类产品来评测，如中国鹏城实验室。

Nvidia也提供了更多数据，来说明这次评测的结果。

Nvidia图表揭露了两个总评比的指标，分别是模型训练速度与单一芯片的效能比较。在训练速度的评比上，训练时间越短，代表该硬件拥有更好的表现，由此来看，Nvidia DGX SuperPOD在半数的AI应用类别中拔得头筹，比如花费最久训练时间的MiniGo类别，Nvidia也只花了16分钟就完成训练。但在SSD、ResNet-50 v1.5、BERT与DLRM的训练速度评比上，Google TPU v4取得了更好的成绩，换句话说，TPU v4参与的6个AI应用类别的评比中，就有4种类别的表现优于DGX SuperPOD。

不过，由于各家企业的产品配置不同，使用核心处理器的数量也不同，因此在效能评比上，单一芯片的效能也是一大评比指标。Nvidia DGX SuperPOD是以A100组合而成，若以A100为基准来比较其他AI芯片效能，可以发现A100在大多AI应用中，都具有稳定的高效能表现，单一芯片效能更是Graphcore或Habana的2～7倍以上。而Google尚未上市的TPU v4，则在其中3项应用中取得更好的表现，分别是SSD、ResNet-50 v1.5、DLRM。

Google的TPU v4也非第一次参加评比。去年Google就曾经以TPU v3与v4提交MLPerf测试。当时的评测结果，TPU v4平均效能比TPU v3提升2.7倍，最大的效能差异是用于训练Mask R-CNN，TPU v4的效能是TPU v3的3.7倍。

DGX SuperPOD今年表现更进步，Nvidia持续精进GPU产品效能

去年，Nvidia同样以DGX SuperPOD参与评测。若以Nvidia去年6种AI应用评测的成绩，来比较两年来产品效能的差异，可以发现无论是DGX SuperPOD或是单一芯片A100的效能表现，几乎在每个AI应用上都有显著成长。比如DGX SuperPOD今年用于训练DLRM的效能，就达到去年的3.5倍之多，A100用于Bert训练的单一芯片效能，也达到去年的2倍以上，显示Nvidia的同一种产品，也随着时间不断进步、优化。

Paresh Kharya指出，效能提升的原因，包括Nvidia透过软件套装CUDA Graphs，消除过去GPU与CPU沟通遇到的效能瓶颈，以及在大规模测试时使用Nvidia SHARP，来整合网络交换器中的多项资料传输作业、减少网络流量与等待CPU处理时间，其他还有增加内存带宽等做法。

Paresh Kharya也根据Nvidia历年评测结果提出一项数据，指出从MLPerf训练评比推出至今不过2.5年，Nvidia GPU的效能已经是当时的6.5倍，且在每一种AI应用的效能表现都有长足进步，几乎以摩尔定律的两倍速度在成长。他也强调，带动效能快速成长的原因，除了仰赖硬件技术的进步，“Nvidia拥有完整的软件堆叠来加速模型运算，也是一大关键。”

至于许多用户都会关心的产品价格，为何没有在MLPerf中进行性价比的评比？Paresh Kharya指出，MLPerf评测的目的，是为了展示了各种AI平台和许多创新AI系统的效能，并非价格的比较。而且，参与MLPerf评比的产品从入门级到超级电脑皆有，产品价格变化大，加上各家企业会搭配软硬件推出不同的解决方案，产品金额并非MLPerf评测的焦点。