越来越多AI自我优化的技术出炉，Google Brain靠强化学习自动找出深度神经网络最佳化的规则
报价宝综合消息越来越多AI自我优化的技术出炉，Google Brain靠强化学习自动找出深度神经网络最佳化的规则
Google Brain最近宣布靠着强化学习，开发出自动寻找神经网络优化器的方法，Google表示，这个模式与过去用AutoML，探索新的竞争神经网络架构的方法类似，为了协助开发人员训练模型，Google已经在Tensorflow中加入这些新找到的最佳化规则。
在许多Google的服务中都有深度学习模型的身影，像是Google搜索引擎、翻译是图片，而在训练深度学习模型时，如何选择优化模型的方法是非常重要的。
举例来说，梯度下降（Stochastic gradient descent）在许多情况下都非常适用，但是特别是针对深度神经网络，若更用好的优化器，可以达到更佳的效能，而神经网络非凸（Non-convex ）优化的问题，非常具有挑战性，因此，Google Brain团队尝试开发出自动寻找优化器的方法。
在过年发表的一篇论文中，Google Brain团队开发出一套可以探索深度学习架构优化器的方法，借由这个方法，研究团队找到两个新的优化器，分别是PowerSign和AddSign，这两个优化器在多种不同的任务和架构下，都有非常好的表现，像是ImageNet分类和神经网络机器翻译系统。
神经网络优化器的搜寻方法是透过递归神经网络（Recurrent Neural Network，RNN） 控制器，来取得初始典型、相关的优化器，包含梯度、组合最佳化，利用强化学习的方式，控制器会先产生候选优化器，或是更新优化的规则，来训练子卷积神经网络（Convolutional neural network，CNN），子网络计算出准确率后，再回馈给控制器，不断重复找到将模型最佳化的优化规则。
