机器学习推理引擎ONNX Runtime 1.8开始支援网页AI用例

微软更新其机器学习推理引擎ONNX Runtime，释出1.8版本，这个版本更新加快了ONNX Runtime，在Android和iOS行动装置上的推理和训练速度，并且添加ONNX Runtim对网页支援，此外，这个版本还推出用于加速PyTorch工作负载的官方套件。ONNX Runtime是一个跨平台机器模型Runtime加速器，能够使用硬件加速功能，在一系列装置上，高效能地执行机器学习推理和训练。

ONNX Runtime 1.8的新功能之一，便是提供ONNX Runtime的网页支援。官方提到，网页端推理有许多好处，包括减少服务器和客户端的通讯，能保护使用者的隐私，同时也能减少程式安装，而且跨平台的浏览器，可以快速地将应用带上各平台。ONNX Runtime Web能够让人工智能开发人员，使用CPU和GPU建置网页机器学习应用。

对CPU工作负载来说，WebAssembly能够以接近原生的速度执行模型，ONNX Runtime Web使用Emscripten将原生ONNX Runtime CPU引擎编译成为WebAssembly后端，这将能够执行任何ONNX模型，并且支援几乎所有原生ONNX Runtime的功能，包括多执行绪和量化等，甚至是行动装置版本的ONNX Runtime。

在加速GPU任务的部分，ONNX Runtime Web使用了存取GPU的浏览器新标准WebGL，另外，微软也在探索使用WebGPU等新技术，来进一步加快在GPU上的ONNX Runtime Web推理。

对于在行动装置上越来越流行的人工智能应用，ONNX Runtime也强化了行动装置支援用例，官方提到，在行动装置上执行人工智能的优点，诸如离线处理，并且具有隐私安全和低延迟的特性。微软在ONNX Runtime 1.6的时候，开始支援NNAPI和CoreML，以加快模型在手机上执行的速度，而这个新版本，微软发布可整合iOS应用程序和ONNX Runtime Mobile的Pod C/C++函式库。

现在Android和iOS程式包，都能以预建置套件的形式，分别从Maven Central和CocoaPods安装，Android程式包会使用Android装置上的NNAPI加速器，而iOS程式包则会使用CoreML，来加速模型执行。

ONNX Runtime使用者可透过下载torch-ort套件，来使用ONNX Runtime Training，该功能可加速大型Transformer模型的分散式训练。ONNX Runtime Training包含GPU执行和GPU内存最佳化核心，可以提供达1.4倍的训练吞吐量，使得大型模型也可在效能较低的GPU上运作。