微软更新ONNX Runtime支援行动平台

微软发布最新机器学习推理引擎ONNX Runtime 1.5，这个版本加入了ONNX Runtime Mobile的支援，现在开发者可以在智能手机、嵌入式装置和物联网等边缘装置，以ONNX Runtime执行机器学习模型。

ONNX Runtime是用来执行ONNX模型的推理引擎，可以在不同操作系统和硬件上执行，由于ONNX Runtime提供的Execution Provider界面，使其能够轻易地与不同硬件整合，目前有适用于x86_64和aarch64的套件，开发者也可以从源代码自定义配置，而现在ONNX Runtime 1.5发布的，是专为各种边缘装置最佳化的套件。

边缘装置套件支援与一般装置相同，能够管理和执行推论对话的API，借此将人工智能应用，带入到更广泛的使用情境中，解决边缘任务。微软提到，边缘装置应用程序利用主机平台或是打包函式库的Runtime引擎，执行机器学习模型，这些应用程序使用的磁盘与内存容量会比较小，才能最佳化行动装置、Windows 10电脑，和其他边缘装置的资源使用。

为此，微软发布了ONNX Runtime Mobile，使得开发人员可以创建较小的Runtime套件，在客户端装置中执行ONNX模型。ONNX Runtime Mobile以用户配置的ONNX模型集，自定义二进制档案，并且在模型档案使用最佳化档案格式，以缩小整体套件容量。

ONNX Runtime Mobile仍可以执行所有标准ONNX模型，套件的大小取决于开发者支援的模型。微软比较ONNX Runtime Mobile，以及TensorFlowLite支援Mobilenet模型的套件容量，ONNX Runtime完整建置要7,546,880字节，而ONNX Runtime Mobile则只要387,398字节，略大于TensorFlowLite的382,892字节。