10个QA快速了解自监督式学习

59岁的脸书首席AI科学家Yann LeCun，从大二第一次接触到机器学习点燃好奇心之火至今，大半辈子都投入了这个领域，也在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有许多贡献。其中最为人知的是，他在1989年任职贝尔实验室期间，发表了卷积神经网络（CNN）框架LeNet，奠定了日后深度学习的基础架构，因此，他也被称为CNN之父。

就算几度面临深度学习领域的寒冬，Yann LeCun仍不断从事研究、发表论文，甚至自己动手设计卷积神经网络专用芯片，试图想解决当年硬件效能不足的问题。直到2012年，ImageNet竞赛使深度学习重回主流舞台，他的贡献也才重新得到肯定。

Yann LeCun再次来台开讲，揭露对深度学习未来发展的观察和预测，全场爆满，结束后的讲台上仍聚集了大批学术粉丝和听众轮番提问。我们从演讲、会后提问和采访中，整理出10个问题，可以快速了解他力推的自监督式学习。

 

 Q1  为何要将非监督式学习称为自监督式学习？

如果你告诉媒体，这是用非监督式学习（Unsupervised Learning）训练的模型，不熟悉科技的人可能误以为，“天啊！机器不受控制，会自己训练自己！”我认为，应该用更精确的词来称呼，也就是“自监督式”学习。

 

 Q2  自监督式学习、监督式学习和强化学习，三者有何不同？

可以用蛋糕来比喻三种方法的预测能力，强化学习能预测的资料最少，因为它是为了奖励，才能做出少量正确的预测，就像蛋糕上的樱桃。而监督式学习的预测资料量，取决于人类提供的标记资料，一个样本能回馈10到1万个位元（Bits）不等的讯息，像是蛋糕的表层。

但是，自监督式学习是，给多少资料就有多少资料能观察，一个样本能产生上百万个位元的预测回馈，就像整个蛋糕本身，这是其他学习方法不能及的。

 

 Q3  自监督式学习有的预测方式有哪些？

自监督式学习，是观察现有训练资料中的任何部分来学习，再去预测未知的部分，且不仰赖人类给定的标签。可以进行的预测包括：从过去的资料预测现在或未来、从近期的资料预测未来或过去、或从同一时间下的其他资料预测缺失的部分等。

 

 Q4  为何自监督式学习有机会让AI具备人类常识能力？

一般称呼具备人类常识的AI模型为Artificial General Intelligence（AGI），但我认为，人类能拥有常识是非常特别的事，一点也不平凡，所以，我更偏好称呼它为Human Level Intelligence。

举例来说，虽然只有一句简短的话：“John拿起他的书包并离开会议室。”但你可以从这几句话中了解到大量的信息，比如，John应该站了起来并拿起书包，接着，他走向门、打开门离开会议室，此时，会议室就不会有John这个人，因为他不会同时存在于两个地方，这是属于物理世界的约束。人们能透过常识来判断这些隐性资讯，常识使我们能填补空白。也就是说，自监督式学习能从许多的物件、行为等背景知识，来学习整个世界运行的方式，进而运用已知的常识来预测未知。

 

 Q5  自监督式学习的研究目前有哪些进展？

自监督式学习目前在自然语言处理（NLP）的应用颇有成效。比如去年Google对外开源了用于自然语言预训练的新技术BERT，能在一个挖空15%内容的句子中，预测字汇并补上这些句子的空白。除了NLP，图像的填空是更具挑战性的任务，但现在也已经能够过拼图与着色问题的解法来预测。

 

 Q6  你自己有何成果？

我研究自监督式学习最主要的动机，要找到让机器学习更像人类或动物学习的方法，所以，对应用层面的研究较不感兴趣，反而是专注于找出一套原则，能让机器变得更聪明。

在研究方面，脸书已经将自监督式学习运用到对话领域。你若看过电影Her，就知道这部电影是在描绘人与虚拟语音助理之间，可能产生的互动模式。虚拟语音助理要能顺畅地与人类沟通，就必须要学习人类认知的方式，可能还需要能理解人类想法、甚至猜到你要说的话。

其他研究，包括靠自监督式学习让自驾车可以预测周遭车辆的未来动向，来决定下一步的行驶轨迹，或是透过肌肉运动来预测接下来的手臂动作。虽然现在的科技，距离电影情节的实现还很遥远，但，这是一个我们向往的蓝图。

 

 Q7  自监督式学习会领导机器学习的未来发展吗？

这是我所希望的，但现在只是假设。

我们现在已经具备的AI技术，包括更安全的自驾车、更精准的医疗影像辨识、个人化药物配置、适当的语言翻译、实用但不聪明的聊天机器人、资料检索与过滤，还有其他如能源、金融、制造业、环境保护、商业、法律、艺术创作、游戏等场景的应用。

现今的深度学习方法，虽能带给人类许多新科技应用，却无法创造出“真正的”人工智能，也就是具备常识、聪明、敏捷且灵活的AI。自监督学习可能是实现这个理想的第一步，甚至未来发展出具备人类常识的机器人，走到强人工智能的阶段。

 

 Q8  AI的不可解释性会成为深度学习发展的挑战吗？

对于特定需要解释性AI的应用来说，这是一个挑战，比如运用AI来做合法、正义的决定，就必须了解决策背后的原因。但我认为，这只是人们用来重复说服自己的方法，绝大多数的应用并不需要解释，而且很多时候，人自己也无法解释。

试想有一套决策系统，提出了两个建议，一个是正确性80％的可解释性建议，另一个是正确性95%的不可解释性建议，若你是研究员，会如何选择？我相信，绝大多数的人会选择正确率更高的决策，而非过度在意其解释性。

再举个例子，阿斯匹灵是世界上服用人数最多的药，经过白老鼠到人体试验来证明药效后，广泛使用在药物治疗上，但直到1970年代，我们并不了解为何它能治病、如何在体内运作。换句话说，就算AI缺乏解释，只要能全面的验证其有效性与可靠性，仍然可以被使用。不能只追求AI的解释性，却忽略其可用性。

 

 Q9  为何你会决定投入神经网络的研究？

当我还是个电子工程系的大学生，我就着迷于人类拥有智慧（Intelligence），1970年代晚期，我偶然看到一本哲学书，关于语言学家乔姆斯基和儿童心理学家皮亚杰的辩论，“从人的语言机制和语言习得角度来探讨儿童发展问题”，才得知皮亚杰一直在研究感知器（Perceptron）模型。

这是我第一次接触到深度学习的概念，已是感知器（Perceptron）提出十几年后。当我开始阅读1960年代的文献时，机器学习就进入了停滞期，只剩下一些日本等国学者还在研究。1980年代，机器学习重新受到关注，看着那些旧论文，我意识当时多层神经网络的算法被忽略了，所以，我开始朝这个领域展开研究。

 

 Q10  为何选择进入脸书而不是其他企业？

因为脸书是一家非常开放的公司，给我从头开始创建研究实验室的自由，就技术而言，脸书基本上没有秘密，大部分技术都已开源释出，甚至连基础建设的设计都已开源，这是其他公司无法做到的。比如在Google，会规划出研究领域的大方向，而在Amazon或Apple更不可能，因为它们是非常秘密的企业。