PyTorch现可在Android装置利用硬件加速机器学习运算

PyTorch宣布开始支援Android神经网络API（Neural Networks API，NNAPI），这代表深度学习框架PyTorch，将可在Android上获得硬件加速，以提高人工智能应用程序的运算效能，而且也可释放CPU的负担，使其能够支援其他关键运算。

NNAPI是Android上的API，目的是要机器学习应用程序，得以使用Android装置上的硬件加速器，包括GPU、DSP以及NPU，让Android有能力执行运算密集的机器学习应用。NNAPI是在Android 8的时候加入，Google在Android 10和11大幅扩展NNAPI的功能，使其能够支援更多的人工智能模型，虽然NNAPI提供方便且统一的界面，但是因为NNAPI终究是一个底层API，要使用还是需要大量的整合工作，而现在PyTorch让应用程序开发人员，可以更简单地获得NNAPI提供的好处。

因为NNAPI没有原生的磁盘模型格式，因此PyTorch选择使用普通的TorchScript模型，在模型训练完成之后，开发人员可以将模型打包在Android应用程序中，或是透过网络交付，并使用PyTorch Mobile的Java API，或是libtorch C++ API载入模型并执行。而已经使用PyTorch Mobile的应用程序，开发人员不需要改变程式码，只要将CPU模型更换成NNAPI模型即可。

PyTorch官方提到，PyTorch对Android NNAPI的支援，特别适用在长时间启动，并且需要即时回应的模型，像是装置上电脑视觉应用，这类模型通常有运算密集、延迟敏感和耗电量大的三大特性，要能同时满足这三个条件很困难，因此这类模型可透过NNAPI，在装置上获得硬件加速的支援，会是理想的执行情况。

脸书已经在Messenger应用程序中，利用NNAPI启用沉浸式360背景功能，而使用NNAPI后，速度为之前的2倍，电力消耗也下降2倍，而CPU因为不再需要完全负担机器学习运算，因此可空下执行其他重要工作。

脸书以Google的行动装置Pixel进行测试，Messenger沉浸式360背景功能可在Pixel 3、4和5，3种装置获得不同程度的好处，Pixel 3的CPU负担可以减少32％，而更新的Pixel 4和Pixel 5，可获得更多的效能提升，因此也可以执行更为复杂的机器学习模型。

官方提到，机器学习模型在框架与API之间的转换总会存在一些摩擦，即便是PyTorch和NNAPI都是为执行同一类型的神经网络开发，但转换使用的时候，仍会有一些不同，开发者要注意语法之间的差异。PyTorch第一个支援NNAPI的版本，提供线性卷积和MLP模型，并且只能在Android 10或是以上装置执行，官方也预告，即将发布的版本，会支援更多种类的模型，也能应用在Android 8和9等较旧的版本上。