Google发表ML模型压缩技术，让模型轻量化以适合行动装置执行

Google近日公开了行动装置版深度学习模型压缩技术Learn2Compress，能为开发者自制的深度学习模型建置出行动版的轻量型深度学习模型，开发者不需担心优化内存和速度的问题，能够在行动装置上快速地执行模型，Google即将透过ML Kit释出图像分类的Learn2Compress技术。

成功的深度学习模型通常需要许多计算资源、内存和能源来训练和执行，也因此，若要在行动装置、IoT装置上得到好的执行效能似乎有些困难，不过装置上运行机器学习模型不但可以直接在界面上执行，还能确保资料隐私性和资料取得的便利性。

过去Google曾推出行动装置版的机器学习系统，像是MobileNets、ProjectionNets，来解决行动装置的资源瓶颈，但是，若开发者想为自己打造行动装置的ML模型呢？

Google在前几天的 I/O大会上宣布为行动App的开发人员，提供机器学习套件包ML Kit，来降低行动装置App应用的AI技术门槛， 其中ML Kit一项核心服务自动压缩模型的技术，就是Google研究团队开发的Learn2Compress，该技术能够自动压缩自制的深度学习模型，让模型有效率地在行动装置上执行。

Learn2Compress结合了多种最新的压缩神经网络技术，将开发者输入的大型TensorFlow模型经过训练和优化，自动产生规模较小、内存效能较高、耗能更低、速度更快的行动装置模型，Learn2Compress使用的神经网络优化和压缩技术包含修剪（Pruning）、量化（Quantization）、联合训练（Joint training）和萃取（Distillation）。

首先修剪的技术可以降低模型维度，利用删除对预测结果影响最小的权重和运算，来缩减模型规模，Google表示该方法对于稀疏输入资料的模型相当有用，最多能够缩减为原来模型的一半，且维持97%原来预测模型的预测品质。

而量化则是透过减少模型的权重和活化参数占用的位数，来针对训练和改善速度，举例来说，相比用浮点数的表示法，用8位数定点能够加速模型执行速度，减少能源消耗，也能将模型大小压缩4倍。

联合训练和萃取的方法则是像师生的学习策略，用一个较大的网络当成老师，来训练出压缩过的学生网络，进而达到损失最小准确度品质的目的。（来源：Google）

老师网络可以被优化，并同时训练出不同大小的学生网络，因此，Learn2Compress可以一次产生多个行动装置模型，包含不同大小的模型，运算效率也不同，让开发者自行选择最适合自己需求的模型。

Google研究团队表示，未来将会利用机器学习和深度学习等技术，继续改善Learn2Compress，除了支援图像分类模型的压缩之外，还会陆续扩展更多的应用领域，让开发者可以为电脑视觉、自然语言和其他机器学习应用，建立更多有用的App。