北大朱占星：顶级会议疯狂投稿下的AI现状

作者：朱占星博士（北京大学大数据科学研究中心）

原载：知乎专栏-人工智能杂谈

地址：https://zhuanlan.zhihu.com/p/44304016

量子位获授权转载

看一下上次更新都是五个月前了，期间经历了准备NIPS 2018的投稿，参加几个暑期在国内举办的人工智能的学术会议进行交流，期间的北大交叉学院数据科学的夏令营面试，以及之后的各种科研准备，一直到最近的AAAI的投稿，还有正在准备的ICLR。写下这篇文章的题目之后，想想其实自己以及学生也给顶级会议的疯狂投稿“出了一份力”。

确实，现在AI的火热导致很多其他领域的科研工作者转行到AI领域，或者其他领域将近些年来发展的机器学习的模型方法当做工具来解决本领域的问题。个人觉得大量人来参与AI的发展，不论在工业界还是学术界，总体来说是个好事情。这样大家能从不同的视角来分析问题解决问题，共同推动行业的发展。

但由于体量过大，确实会导致不少问题，可能最明显的一个大家有目共睹的一个现状就是：AI相关的顶级会议各种疯狂投稿。NIPS和AAAI的paper ID都是近8000，当然后来除去不少junk submission依然是近5000的投稿量。每当吃饭聊天说起这个投稿量的事情，其他领域的朋友们颇为震惊。

海量投稿必然导致缺乏高质量的reviewer来评审文章，而且每个reviewer分配到的审稿文章也是不少，我今年NIPS被分了8篇，说实话，没有充足的时间和精力去写下非常高质量的review，实在抱歉。我想不少其他reviewer可能也有类似的感受和经历。我听说有reviewer甚至在审稿意见里问证明后面的小方块是什么意思，让人哭笑不得，也不知是否确有其事。

缺乏高质量review的一个直接结果就是paper能否被接收是一件非常随机的事情。所以如果是一份做的不错的文章，多投两次总会被接收的。不可否认的是，好工作的接收概率依然非常高。

如此燥热的行业大家倾向于搞一些短平快的工作，但这种想法往往不是很奏效，因为短平快的工作往往质量不是很高或者欠成熟，这样极大的增加了文章被拒稿的不确定性，反而浪费了大量的准备投稿的时间，还不如拿这些时间来长期的深入的思考一些关键问题。

今年NIPS投稿比较多一些，投了6、7篇，最后中了一半左右，只能说运气不错。这两年往往出现这种情况，自己特别看重的喜欢的工作的结果往往是悲剧，而自己觉得中规中矩的文章却最后被接收了。可能是由于看重的工作往往属于探索性的工作，完整的solid的支撑很难完美，被reviewer打死角，最后AC极容易被这些引导导致悲剧。

不过还是那句话，相信好的工作总会被接收。简单介绍一下几个被接收的工作，希望大家来一起讨论给出意见，如果感兴趣的话能follow我们的工作进行拓展。

1、Reinforced continual learning ，考虑的问题是如何利用强化学习动态的扩张神经网络结构进行连续学习，也就是学习一系列的任务，而对以前学过的任务不遗忘的模型框架。我们设计了同时考虑准确度和模型复杂度的reward，通过RL来逐步搜索到最佳的扩张策略，优于目前已有的continual learning的baseline，但缺点在于RL搜索耗时太长，是未来努力的一个方向。

Reinforced Continual Learning

https://arxiv.org/abs/1805.12369

2、Bayesian Adversarial Learning，这个工作我们还没挂到arXiv上。是用Bayesian的方案解决了adversarial training的泛化能力差的问题，能够帮助更好的defense对抗样本，尤其是在大的扰动下的测试对抗样本。

3、Thermostat-assisted continuously-tempered Hamiltonian Monte Carlo for Bayesian learning. 这个工作设计了一个新的MCMC方法来采样高维分布，将adaptive continuous tempering和thermostat结合起来使用，尤其对存在多个modes的分布上有非常好的效果。

Thermostat-assisted continuously-tempered Hamiltonian Monte Carlo for Bayesian learning

https://arxiv.org/abs/1711.11511

其实自己最喜欢的两个工作并没有被接收，非常遗憾，一个是分析SGD的gradient noise的协方差矩阵的结构给SGD逃离minima带来的好处；The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Minima and Regularization Effects

The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Minima and Regularization Effects

https://arxiv.org/abs/1803.00195

另外一个是真的惨875的分数都悲剧的，我们分析影响对抗样本的迁移性的因素，以及根据对此的理解提出了一种极其有效而且简单的提高黑盒攻击的方法。Understanding and Enhancing the Transferability of Adversarial Examples

Understanding and Enhancing the Transferability of Adversarial Examples

https://arxiv.org/abs/1802.09707

就写到这里，下学期和另外一个年轻老师合上数据科学导引课，最近一直在准备slides。深知讲课任务重大，不敢马虎，尽量将自己对数据科学、机器学习的理解融入到课程内容中，让学生真正有所收获！

—完—

加入社群

量子位AI社群28群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。