机器学习进入平行运算时代，百度打造全球最大的类神经网络超级电脑

[美国硅谷现场报导]Nvidia在美国硅谷展开一年一度为期4天的GPU技术研讨会GTC（GPU Technology Conference），这次大会主题围绕在深度学习（Deep Learning）上，除了第2天的主题演讲Google的资深研究员Jeff Dean会分享有关于深度学习的相关议题外，这次大会中，也有许多来自百度的科学家会分享他们的研究成果。

例如第3天的主题演讲百度的首席科学家吴恩达（Andrew Ng）会分享深度学习的未来发展，以及在百度负责图片辨识的杰出科学家（Distinguished Scientist）吴韧，也有专题演讲讲解百度如何用全球最大的类神经网络超级电脑，处理深度学习的议题。

百度技术部高级总监吕厚昌表示，深度学习是机器学习类神经网络的其中一个分支，机器学习理想情况是，用来训练的资料越多，所学习出来的结果越好，但是人们过去用来进行图像或是语音等辨识的机器学习算法有其极限，在训练到一定程度后，结果不再因为训练的资料量越多而得到改善。不过深度学习的算法却没有这样的情况，吴韧说：“目前还没看到由深度学习获得结果的极限”。

吕厚昌表示，量变带来质变是深度学习的最佳写照，因此拥有越多的训练资料集，结果就越好，但是过去受限于运算能力的关系，能够处理的资料有限，导致结果品质受到影响，现在由于现在的硬件运算能力大幅提升，深度学习的瓶颈有所突破，因此才一跃成为显学。百度认为，“大资料、机器学习以及运算能力的提升”3者结合，才能真正在机器学习结果上有所突破。

由于深度学习所要处理的资料量非常的大，需要寻求以CPU运算以外的解决方案，否则将花费过多计算时间，吴韧说，他从2007年就与Nvidia有技术上的合作，2009年开始利用GPU平行运算的能力做资料分析。机器学习的多数算法，都只适用于单台机器，他认为，百度与其他在做深度学习的竞争对手不同之处在于，他们可以把算法切分到超级电脑丛集中运算，而不在受限于单一个运算节点。吴韧说，这件事非常困难，其他竞争对手都想做但是做不到，百度重新设计资料中心，从硬件、软件、算法全部重新自己来，3者互相配合之下才能让深度学习拥有平行运算的能力。

读更多：台湾资料科学家直击：当机器学习遇上大资料技术

过去的机器学习都是在单一机器上就可以完成，当要在分散式系统上运作，会有一些优点与缺点。........

本次GTC主题演讲的讲者，吴恩达与Jeff Dean都是深度学习领域的翘楚，吴恩达为史丹佛大学的教授，在2006年开始研究深度学习的课题，2011年执行Google X与深度学习相关的计划，而之后加入Google资深研究员Jeff Dean的团队，共同开发Google大脑的专案，在2012年使用16,000台电脑成功从1,000万张Youtube影片截图，让电脑学会辨识猫。

而后吴恩达被挖角到百度硅谷办公室继续研究深度学习，并在2014年在旧金山举办的SYNC大会上，分享百度深度学习的成果，他提到百度现在于深度学习上的研究成果，可以让机器人透过5万张马克杯的照片训练后，找出摆放在办公室中照片曾经出现的马克杯。

吴恩达用这个例子解释了机器学习中监督式学习以及非监督式学习间的差异，监督式学习电脑所学习的资讯来自人工准备好的范例，而非监督式学习则反之，吴恩达认为后者更符合人类的学习模式，因为没有一个妈妈在教小孩辨识马克杯时，需要找来5万张的照片，而这也是百度致力让电脑学会的事。