物件侦测模型如何轻量化？中华电信研究院分享自家3秘诀

中华电信研究院今（25日）线上分享物件模型轻量化经验，把轻量重点放在模型颈部和头部，用近似运算来减少核心参数量和运算量，比如用差值让长宽一致、用一层卷积让Channel数一致，以及用深度可分离卷积来重组头部。但这样还不够，损失函数也要轻量设计才行。

从智慧交通AI引发的模型轻量化研究

近年来，中华电信研究院接下不少智慧城市AI专案。光是去年，他们就部署了影像辨识AI，来实现机场防闯电子围篱、北市府跨年防疫人流侦测、高铁违规上下车取缔。今年，他们更把影像辨识AI部署在桃机捷运，来侦测拥挤程度和遗留物，也运用在高雄市交通科技执法，来揪出闯红灯的行人，甚至也用在中华电信自家园区，来辨识越线的车辆和车牌。

“但这些AI应用，都在远端机房计算，”中华电信研究院交通院方研究所研究员陈逸夫指出，远端运算有着网络、主机存放等大量成本。为降低成本，中华电信思考，这些AI模型的推论作业，是否能在边缘运算就好？

但要实现AI边缘运算，得考量边缘装置的限制，比如模型大小、运算复杂度、速度和准确度等。能做到这一点的，就是模型轻量化，中华电信也因此着手研究。

轻量化重点1：骨干直接采用新技术

首先，他们参考科交大人工智能普适中心举办的物件侦测模型轻量化比赛，以去年7月公布的第一、二名表现为基准（Benchmark），来设计轻量化模型。这些模型的评分包括准确度、模型大小、复杂度和速度。

接着，中华电信着手调整物件侦测模型。陈逸夫指出，物件侦测模型由3大部分组成，也就是骨干（Backbone）、颈（Neck）和头（Head），骨干负责收集特征，颈负责连结、融合骨干抽取的特征，头则是预测物件。

通常，骨干需要大量资料来进行预训练，比如用ImageNet，因此“成本很高。”如果这部分改用其他资料来训练，势必得花更多成本来验证。

陈逸夫建议，直接采用最新技术会是个不错的选择，比如Google去年3月发表的轻量化结构EfficientNet-Lite，特别是第2版和第3版。

轻量化重点2：颈部用近似运算减少参数量和运算量

至于颈部的用途，则是融合骨干抽取的特征。从技术发展来看，“融合不同尺度的特征，模型可以学得很好，”但陈逸夫也指出，这背后的代价是用运算成本非常高的卷积（Convolution），让不同的长、宽、频道数一致，才能融合。“我们轻量化的重点，就是这些卷积。”

于是，中华电信改用差值让长、宽一致，再用一层卷积让Channel数一致，如此就能减少卷积的使用。他表示，这些近似运算可保有多尺度融合的精神，“大量减少参数量和运算量。”

轻量化重点3：头部用深度可分离卷积重组、莫忘损失函数

至于头部，则由许多卷积组合而成。“这些卷积得保留，”因为，模型就是靠这些卷积来学习任务和预测，因此，中华电信采用深度可分离卷积，来重组头部。这个深度可分离卷积，与一般卷积近似，保留了卷积的共用，却大幅减少参数量和计算量。

至此，中华电信的模型轻量化告一段落，核心思想就是以近似运算，来减少参数量和运算量。不过，他们后来发现，这个近似方法让模型难以收敛。

于是，他们也把损失函数纳入轻量化设计，将难以训练的损失函数，融合到其他损失函数中，直到可以收敛为止。

最后，中华电信将轻量化的模型，部署到前述竞赛的边缘运算平台PX2上，发现不管是模型大小、准确度、复杂度和速度，都达到原先设定的标准，也就是平均准确度均值（mAP）达49.25%、模型大小为4.68MByte、复杂度8.96GOP/Image、速度为每128.4毫秒辨识一张影像。文◎王若朴