Nvidia以GPU平台训练BERT-Large自然语言模型，创下53分钟的新纪录
根据Google今年5月发表的论文，他们宣称训练BERT-Large的时间为76分钟。近期Nvidia更宣布他们的超级运算平台DGX SuperPOD可以缩短到53分钟。不过，在该平台上训练BERT-Large的时间，是根据所使用的节点与V100 GPU数量而定，要达到53分钟的速度，必须仰赖92个DGX-2H 节点与1,472个V100 GPU，若只使用64个节点及1,024个CPU，所需时间为67分钟，若是16个节点与256个CPU，则得耗上236分钟。（图片来／Nvidia，https://devblogs.nvidia.com/training-bert-with-gpus/）
Nvidia本周对外展示该公司超级运算平台Nvidia DGX SuperPOD的新成就，指出该平台刷新了全球纪录，只花了53分钟来训练BERT-Large自然语言模型，也以Nvidia DGX SuperPOD来训练参数多达83亿的GPT-2 8B模型。
BERT的全名为Bidirectional Encoder Representations from Transformers，为Google所打造的自然语言处理预先训练技术，它的特点在于所预先训练的资料，并非具备标签的资料，而是任何纯文字，例如它能直接使用英文版维基百科进行训练，因而可提高准确度，但资料量却相对庞大。而BERT-Large则是目前最大的BERT模型，具备3.4亿个参数。
根据Google在今年5月公布的论文，该公司利用新的LAMB大批量优化技术，与专为机器学习打造的Cloud TPU v3 Pod超级运算平台进行训练，把BERT-Large的训练时间，从3天缩短到76分钟。
而Nvidia的DGX SuperPOD则只花了53分钟。不过，在该平台上训练BERT-Large的时间，是根据所使用的节点与V100 GPU数量而定，要达到53分钟的速度，必须仰赖92个DGX-2H 节点与1,472个V100 GPU，若只使用64个节点及1,024个CPU，所需时间为67分钟，若是16个节点与256个CPU，则得耗上236分钟。
有鉴于参数愈多，模型的预测就会愈准确，Nvidia也研究了Google用于翻译的Transformer机器学习架构，发表了Megatron专案，并将原本只有15亿个参数的GPT-2模型扩大到83亿个参数，建立了更巨大的GPT-2 8B模型。GPT-2 8B模型的规模是GPT-2的5.6倍，更达到BERT-Large的24倍。
Nvidia同样利用了DGX SuperPOD来训练GPT-2 8B，而这也是史上曾被训练的最大Transformer语言模型。
Nvidia表示，基于Transformer的语言模型与预先训练都需要强大的运算平台，以处理所有的必要运算并确保执行速度及准确性，这些可在未标记资料集上运作的模型，已成为现代化自然语言处理的创新中心，并将延伸成为新一波智慧助理的重要选择，以支援牵涉到对话AI的各种应用。
