学界|自动生成高效DNN 适用于边缘设备的生成合成工具FermiNets

选自

arXiv

作

者：Alexander Wong等

机器之心编译

参与

：李诗萌、路

来自滑铁卢大学滑铁卢 AI 研究所和 DarwinAI 公司的研究者提出一种新思路：生成合成（generative synthesis），利用生成机器来自动生成具备高效网络架构的深度神经网络。

深度学习 [12] 因在图像分类 [11] 和语音识别 [5] 等广泛领域取得的巨大突破而受到大量关注。尽管已经取得了很多成果，但深度神经网络的复杂度限制了它们在边缘场景中的使用，这些场景包括计算能力、内存、带宽、能源有限的移动端和其它消费类设备。近年来对于提升深度神经网络效率方面的探索显著增加，这些研究尤其偏向边缘设备和移动设备。研究中的一种常见方法是精度降低 [10,14,3]，在这种方法中网络的数据表征从常用的 32 位浮点精度降到不动点精度或整数精度 [10]、2 比特精度 [14] 甚至 1 比特精度 [3]。另一种方法是模型压缩 [4,7,15]，这种方法涉及到一些传统的数据压缩方法，比如权重阈值法、哈希以及霍夫曼编码等，还涉及师生策略，这种策略让较大的教师网络训练较小的学生网络。最后还有一种方法，这种方法的重点在于深度神经网络的基本设计，它还利用架构设计原理实现了更高效的深度神经网络的宏架构 [8,9,17,21]。

本论文探讨了一种非常不同的想法：我们可以学得一个生成机器来自动生成具备高效网络架构的深度神经网络吗？作者引入了生成合成（generative synthesis）的思想，这种思想以串联起来的生成器-判别器对（generator-inquisitor pair）之间错综复杂的交互为前提，获得观点并学习生成高效的深度神经网络，这种深度神经网络能在最大程度上满足设备端这类边缘场景的操作要求。

实验结果与讨论

为了评估生成合成（下文都用 GenSynth 代替）产生自动生成高效深度神经网络的生成器的效果（由于这些网络比较小所以我们将它们称为 FermiNets），我们进行了三项实验：

• 
  

  图像分类。?：ResNet [6]，1_r(·)：在 CIFAR-10 上的准确率 ≥ 89%。



• 
  

  语义分割。?：RefineNet [13]，1_r(·)：在 CamVid [1] 上的准确率 ≥ 89%。



• 
  

  目标检测。?：DetectNet [19]，1_r(·)：在 Paese27K [18] 上的 mAP ≥ 61%。

我们用以下指标评估了 FermiNets 的性能：i）用信息密度 [2] 来评估模型效率，ii）用乘积累加运算（MAC）来评估计算成本，iii）用 NetScore [20] 来评估整体模型性能（准确率、架构复杂度以及计算复杂度之间的平衡）。

图 1：图像分类：（左上）在 CIFAR-10 上的 Top-1 准确率，（右上）信息密度 [2]，（左下）MAC 运算，（右下）NetScore [20]。

图 2：语义分割：（a）信息密度；（b）MAC 运算；（c）NetScore。

图 3：目标检测：（a）信息密度；（b）MAC 运算；（c）NetScore；（d）在 Nvidia Tegra X2 移动处理器上的能效。

论文：FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis

论文链接：https://arxiv.org/abs/1809.05989

摘要：

深度学习所展示出的巨大潜力往往会被架构复杂度以及计算复杂度抵消，这使它很难广泛地部署在边缘长江，如移动设备和其它消费类设备。为了解决这一困难，我们研究了一种新想法：我们可以学得生成机器来自动地生成具备高效网络架构的深度神经网络吗？我们在本研究中引入了生成合成的思想，这种思想以串联起来的生成器-判别器对之间错综复杂的交互为前提，获得观点并学习生成高效的深度神经网络，这种深度神经网络能在最大程度上满足设备端这类边缘场景的操作要求。最有趣的地方在于，一旦通过生成合成学得生成器，它能够用于生成满足操作要求的大量不同的高效深度神经网络。图像分类、语义分割和目标检测任务的实验结果说明生成合成在产生可自动生成高效深度神经网络的生成器中的效用（我们将这些网络称为 FermiNets），生成合成使模型的效率更高、计算成本更低、能效也更高。因此，生成合成是一种强大、通用的方法，可用于加速和改进设备端边缘场景中深度神经网络的构建。 

本文为机器之心编译，

转载请联系本公众号获得授权

?------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：

content

广告 & 商务合作：bd@jiqizhixin.com