APP下载

机器学习推理引擎ONNX Runtime 1.8开始支援网页AI用例

消息来源:baojiabao.com 作者: 发布时间:2026-05-16

报价宝综合消息机器学习推理引擎ONNX Runtime 1.8开始支援网页AI用例

微软更新其机器学习推理引擎ONNX Runtime,释出1.8版本,这个版本更新加快了ONNX Runtime,在Android和iOS行动装置上的推理和训练速度,并且添加ONNX Runtim对网页支援,此外,这个版本还推出用于加速PyTorch工作负载的官方套件。ONNX Runtime是一个跨平台机器模型Runtime加速器,能够使用硬件加速功能,在一系列装置上,高效能地执行机器学习推理和训练。

ONNX Runtime 1.8的新功能之一,便是提供ONNX Runtime的网页支援。官方提到,网页端推理有许多好处,包括减少服务器和客户端的通讯,能保护使用者的隐私,同时也能减少程式安装,而且跨平台的浏览器,可以快速地将应用带上各平台。ONNX Runtime Web能够让人工智能开发人员,使用CPU和GPU建置网页机器学习应用。

对CPU工作负载来说,WebAssembly能够以接近原生的速度执行模型,ONNX Runtime Web使用Emscripten将原生ONNX Runtime CPU引擎编译成为WebAssembly后端,这将能够执行任何ONNX模型,并且支援几乎所有原生ONNX Runtime的功能,包括多执行绪和量化等,甚至是行动装置版本的ONNX Runtime。

在加速GPU任务的部分,ONNX Runtime Web使用了存取GPU的浏览器新标准WebGL,另外,微软也在探索使用WebGPU等新技术,来进一步加快在GPU上的ONNX Runtime Web推理。

对于在行动装置上越来越流行的人工智能应用,ONNX Runtime也强化了行动装置支援用例,官方提到,在行动装置上执行人工智能的优点,诸如离线处理,并且具有隐私安全和低延迟的特性。微软在ONNX Runtime 1.6的时候,开始支援NNAPI和CoreML,以加快模型在手机上执行的速度,而这个新版本,微软发布可整合iOS应用程序和ONNX Runtime Mobile的Pod C/C++函式库。

现在Android和iOS程式包,都能以预建置套件的形式,分别从Maven Central和CocoaPods安装,Android程式包会使用Android装置上的NNAPI加速器,而iOS程式包则会使用CoreML,来加速模型执行。

ONNX Runtime使用者可透过下载torch-ort套件,来使用ONNX Runtime Training,该功能可加速大型Transformer模型的分散式训练。ONNX Runtime Training包含GPU执行和GPU内存最佳化核心,可以提供达1.4倍的训练吞吐量,使得大型模型也可在效能较低的GPU上运作。

2021-06-09 10:59:00

相关文章