Google发布优化神经网络模型技术

Google AI研究团队最近发布一项专为神经网络模型优化的成熟技术MorphNet，并将相关的研究成果发表成论文，该技术利用现有的神经网络当作输入资料，并产生一个更小、更快的全新神经网络模型，Google已经将MorphNet这项技术用来设计生产规模的网络，将神经网络变得更小、更准确，Google也将MorphNet技术用TensorFlow实现，并在GitHub开源释出。

目前深度神经网络已经能有效地解决影像分类、文字辨识和语音转文字等问题，但是要针对特定问题，设计出一个合适的深度神经网络架构，一直都是一项挑战，要从无到有开发出合适的神经网络，需要耗费大量的时间和运算资源，目前常见的作法，是采用与问题类似的现有架构来做改善。

而MorphNet技术就是针对现有的神经网络架构进行优化，优化的过程主要是需要经过缩小（shrinking）和扩增（expanding）两个阶段的循环处理，在缩小的阶段中，MorphNet会利用稀疏正规化的分类方法（sparsity regularization），来辨识低效率的神经元，并将这些神经元从网络中修剪掉，而神经网络的总遗失函数会包含每个神经元的代价（cost），但是，MorphNet并不是对每个神经元用统一的代价，而是透过与目标资源的关系，来计算每个神经元代价，在训练过程进行中，优化器在计算梯度时，就会发现资源代价，因此，能够学习哪个神经元是资源有效型（ resource-efficient），而哪些神经元又是可以被移除的。

在扩增的阶段中，Google利用宽度乘数（width multiplier ）来统一所有层数的扩增，举例来说，如果要扩增50％，一个一开始有100个神经元的低效率层，缩减到10个神经元，经过扩增阶段后，只会扩增回到15个神经元，同时，若是一个重要的层，在缩减阶段后剩下80个，经过扩增变120个，并且拥有更多资源，如此一来，计算资源将能够有效地重新分配。

除此之外，使用者可以在缩小阶段后，停止执行MorphNet，来降低神经网络所需的资源，进而精简资源预算，Google已经将MorphNet技术用在自家影像处理模型，以大幅缩小模型，同时几乎不影响品质。