硬件之后 英特尔还有哪些考量？| O’Reilly人工智能大会_Zoo
6月18至21日 ，以“打破理论与现实的壁垒”为主题的O’Reilly人工智能大会在京举行。此次会议汇聚了Google、Facebook、eBay、Bonsai、Uber、微软、阿里巴巴、亚马逊、SAS、Unity、SalesForce、IBM、腾讯、MIT、伯克利、斯坦福以及牛津大学的相关人士。
会议上，英特尔公司架构图形与软件集团副总裁和资料分析技术总监马子雅女士围绕“基于人工智能的大资料分析，驱动大规模高效洞察”这一主题展开演讲。
她表示，“世界上只有2%的资料被真正地分析过，其他资料都被关在实验室里。”紧接着她表示道，“英特尔的硬件图景不只集中在计算，我们希望英特尔的硬件能够比较全面。例如针对储存方面，我们开发了'傲腾'技术，另外英特尔也已经做了很久的网络架构技术。”
英特尔® 傲腾™ 资料中心级持久内存是一项创新的内存技术，可提供经济实惠的大容量和资料永续性支援这个独一无二的组合。该技术可以帮助企业更快地从他们的资料密集型应用中获得深入洞察，并借助更高的虚拟机器器和容器密度提供不断改进的服务可扩充套件性的优势。与此同时，在Apache Spark、BigDL以及TensorFLow、Keras的基础上又构建了一个大资料分析+AI的平台Analytics Zoo，方便使用者开发基于大资料、端到端的深度学习应用。
某种意义上来说，Analytics Zoo是Spark和BigDL的扩充，是一款为了满足方便使用者开发而基于大资料端到端学习的应用。
据介绍，英特尔很注重软硬件方面的协同，具体表现为在内建模型和一些简单的操作的同时，它还提供了大量的、高阶的、流水线式支援，其中包括能使用Spark DataFrames、ML Pipelines的深度学习流水线和能通过迁移学习的API构建API模型的定义。而在这个基础上将更为方便地为使用者提供Model Zoo模型甚至端到端的参考应用。值得一提的是，BigDL和Analytics Zoo的技术能在包括AWS、阿里云、百度云等几乎所有的公有云平台上使用。
据内部人士透露，选择使用Apache Spark/Hadoop框架搭建应用，将满足此场景所需的多样化资料的增减、清洗、管理、分析和可扩充套件性，而且搭建好的应用可以部署执行在云端，降低服务器维护的成本。而Analytics Zoo作为构建深度学习应用的平台，是目前在Hadoop/Spark框架上最方便的用于开发深度学习应用的平台之一。用Analytics Zoo读取和处理存放在Hadoop/Spark丛集上的资料十分便捷，且AnalyticsZoo在标准的Hadoop/Spark丛集上做训练和预测无需需要对丛集有特殊的改动或配置。值得一提的是，Analytics Zoo还有很多预定义的模型可以开箱即用。
当前，英特尔借助BigDL和Analytics Zoo几乎与各行各业的厂商纷纷展开了合作，实施部署了不同种类人工智能的解决方案。其中就包括智慧医疗、智慧银行、智慧交通、智慧生产、智慧电信等。
此外，英特尔还与大型云服务提供商、原型装置制造商以及软件开发商进行合作，包括阿里巴巴、百度、腾讯、京东等，致力于将技术整合至产品中。同时，英特尔还推动与产、学、研的深度合作，打造AI生态。
以英特尔与京东的合作为例，京东有大概几亿张的图片储存在分散式储存系统当中，英特尔通过搭建SSD模型来试图识别图片里面有什么物品，探后再用DeepBit的模型，将物品的特征提取出来。当把整个处理的应用迁移到Spark和BigDL平台之后，可以看到极大提升了运维的效率，例如使用BigDL/Spark在Intel Xeon（英特尔至强可扩充套件处理器）丛集有效扩充套件，取得相对于GPU丛集3.8倍效能提升。
以下为英特尔马子雅发言，略经钛媒体编辑：
大家早上好!我们处于一个资料变革的时代，人类历史上 90%的资料 都是在过去几年产生的，50%的资料都是短短两年所生成的。利用资料分析和人工智能，我们可以对海量资料进行分析、归纳、总结，提取精准并且复杂的资料关联 和商业洞察，提升我们的生产效率，扩大我们的竞争优势，所以在过去的一段时间 资料分析和人工智能得到了空前的发展。
但事实上到目前为止只有 2%的资料被真正的分析过，来帮助我们的生产生活。 这其中最主要的原因就是这些新兴技术，比如人工智能从实验室到最终落地，有很多问题需要解决。
以智慧生产为例，生产制造商可以在生产线上利用深度学习，尤其是影象识别， 将产品的质量检测自动化。比如自动检测产品表面有没有划伤、有没有零部件的缺 失、有没有标签的错位。研究表明，相比人工检测，智慧检测可以大幅提高我们的效率，并且大大降低生产成本。但是智慧检测只有深度学习是远远不够的，它需要一条完整的资料分析流水线才能够落地。
这条流水线的第一步通常需要从生产线上收集大量的原始资料，这些资料可能来自于生产线上的摄像头或者来自于生产装置、联结器、探测器、感测器等等，这 些资料有些是实时收集、有些是批量收集，有些资料是结构化、半结构化，也有些资料是非结构化的，比如影象图形等等的。这个生产线的第二步，就是要对这些原始资料进行大量的清理和预处理。因为这些资料杂乱无章，我们需要对它们进行识别和验证，我们要滤出资料噪音，查补缺失的资料，校正有错误的资料，我们可能还要转换资料的型别以及结构，我们可能还要对资料进行整合。只有清理过的资料才能够有效的进行资料分析。第三步是利用资料分析、机器学习、深度学习对于清理过的资料进行归纳总结，来判断这个场景是不是质量有问题，并把有质量问题的 场景从生产线上排除出去。第四步，视觉化。只有实现了这四步，智慧生产、智慧 检测才能落地。
在构建这样一条完整的资料分析流水线的时候，在今天的生态系统我们可以非常轻松地找到很多相关开源技术来实现这四个步骤。这些开源技术的大部分都和 Spark、Hadoop 这样的大资料平台密切相关。这边给大家展示几个比较常用的开 源技术，比如资料收集可以用 Kafka、可以用 Spark Streaming，资料储存可以用 HBASE、HDFS、KUOU，资料分析可以用 Spark SQL、Spark ML Lib，深度学 习可以用 TensorFlow、BigDL 等等。
所以刚才这样一个智慧检测的例子就告诉我们人工智能要走出实验室、实现落地，需要一个完整的资料分析流水线。这个流水线的 20%可能是在做深度学习，但是 80%都是在做资料收集、资料储存、资料管理、资料清理、资料预处理等等，这是为什么早前我们开源了 BigDL 的重要原因。
BigDL 是基于 Spark 平台之上的一个深度学习框架。首先它的功能与流行的深度学习框架，比如说 TensorFlow、Caffe、Torch 功能相同。最重要的，因为它 是构建在非常成熟的、完整的 Spark 资料分析平台之上，它可以为客户提供端到端 的从资料收集、资料储存、资料清理、资料预处理、资料管理、机器学习、深度学习，以及最终的视觉化这样的服务。在过去两年的时间，我们很多客户利用 BigDL 和 Spark 将人工智能落地。
当然慢慢我们也遇到一些情况，有些客户说做深度学习我想用 TensorFlow，可 以不可以把 TensorFlow 和 Spark 这样的资料平台进行整合，来帮助实现落地?
为此我们开源了 Analytics Zoo。Analytics Zoo 最大的优势就是能够在完整的、成熟的 Spark 资料平台之上支援不同的深度学习框架，比如说 TensorFlow、Keras、 BigDL 等等。除此之外它还提供深度学习预训练过的模型，比如影象分析模型，文 本处理文字匹配模型，异常检测模型等等。它也提供非常简单易用的 API。因为 Analytics Zoo 是构建在 Spark 这样的丛集之上，所以它可以进行分散式的模型训 练和推理。 在过去几个月我们把 Analytics Zoo 在英特尔最新的 Optane(傲腾)内存技 术上和OpenVINO技术上进行优化，我们可以将深度学习、模型训练以及推理性 能提升很多。
下面几分钟我想和大家分享几个客户的案例，我们看一下这些客户怎么利用 Analytics Zoo 将人工智能进行落地。
第一个客户是美的。美的在它的生产线上需要常规对产品质量进行检测。人工检测通常不能达到美的所需要的质量检测和检测率。所以我们和美的合作，在日常 服务器的丛集上利用 Analytics Zoo构建了一个完整的资料分析和人工智能解决方案。这个解决方案利用 Analytics Zoo 将 TensorFlow 和 BigDL 整合在 Spark 的丛集之上，不仅可以进行分散式的模型训练和推理，又可以提供完整的资料分析流水 线，它可以将影象预处理的速度提升 4 倍，原来是200毫秒现在50毫秒。它可以将推理速度提升16倍，原来2秒现在124毫秒。相比人工检测，美的的质量解决 方案，更精准、更快捷、更自动，并且避免了人工检测对生产行程可能带来的破坏。
第二个案例，韵达。韵达是国内第二大快递运营商。它现在有11万员工，2万家快递，每天的快递运量可以达到2000万辆。韵达需要不断地提升它的生产效率， 优化运输线路、优化贮存才能保证它的利润率。我们和韵达合作，在至强服务器的 丛集利用Analytics Zoo构建了一个完整的人工智能解决方案。这个解决方案主要 解决几个方面的问题:一是能够准确预测韵达在以后几天以及几周的快递量，提前 对它的物流能力作出安排。二是在配送中心的传送带上安装高精度摄像头，智慧检 测经过的包裹有没有损坏，做到早发现早处理。三是分析资料中心中的资料流量， 提前发现异常，保证在高峰期的时候，资料中心能够正常运转。这样的一个解决方 案预计为韵达带来七千万美元的运营成本的节省。
第三个案例是 CERN(欧洲核子研究组织)。这个中心1954年成立，有23个成员国，总部在日内瓦，它也是联合国的官方观察员。这个中心有世界上最大的粒 子物理实验室。这个实验室的大型强子对撞机，每25纳秒就会对质子产生一次碰撞。每秒产生1千兆兆字节的资料。像我们长期资料分析的人都知道这个资料量是 非常可观的。粒子探测器和粒子感测器会将这些大部分资料都收集起来。而这些数 据中的大部分最终会被丢弃掉，因为储存所有资料实在成本太高，他们只会保留其中至关重要的一小部分资料用作实验分析。所以资料过滤系统的准确性直接决定了实验的成败。我们和CERN合作，构建了一个智慧的资料过滤系统。我们知道CERN有一个大的Hadoop和Spark大资料丛集，我们就在这个丛集上利用 Analytics Zoo 构建了一个完整的、智慧的资料过滤系统。这个系统在保证资料过滤的准确度的前提下，可以将100PB到1PB每秒的资料量过滤到只剩几个GB。就是说我们只提取其中的几万分之一的资料，这就大大降低了资料运算和资料储存的成本。
从刚才讲到的几个案例，我们几乎与各行各业的客户合作，实施部署了各种各 样的人工智能的解决方案，这其中就包括智慧医疗、智慧银行、智慧交通、智慧生 产、智慧电信等等。我们也与大型云服务提供商、原型装置制造商、软件开发商进 行合作，将Analytics Zoo和 BigDL整合到他们的产品当中去。这其中包括阿里 巴巴、百度、腾讯、京东等等。
除了Analytics Zoo和BigDL，我们一直以来致力于为客户提供全栈式的人工智能解决方案。在硬件层面，我们有非常完整的产品组合。从前端到资料中心，从专用到通用芯片，这其中包括 CPU、GPU、FPGA，加速器、内存、储存、网络、硬件都在我们的业务范畴之内。在其之上我们又提供一整套的优化软件，比如数学 库层面，我们对各种各样的数学库进行优化，保证在我们的硬件上实现最佳效能。 像 Intel Data Analytics Acceleration Library、Math Kerenl Library for Deep Neura Networks(MKL-DNN)、nGraph 等等。在框架层面我们对最流行的深度 学习框架进行优化来提升效能，包括 TensorFlow、Caffe、BigDL、Mxnet。在工具层面，我们提供多种多样灵活的工具来帮这些资料科学家加速人工智能的开发， 比如 Intel Deep Learning Studio 等。平台层面我们又提供一站式全堆叠的系统 方案，帮助客户加速人工智能的开发。在最终解决方案层面可以直接和终端客户合 作，帮助客户构建部署完整的人工智能解决方案，加速客户从原始资料到落地到收 益的程式。
当然定期我们也会 ai.intel.com 的网站上释出我们的最新客户案例，包括我们的参考架构和参考解决方案，以便更多客户在自行构建人工智能解决方案的时候用作指导。
我们一直致力于与中国市场的紧密合作，包括与学术界的合作，在开源社群的 合作，与工业界许多同行以及客户的合作。今天我们可以非常自豪的说我们英特尔 为中国的大资料、资料分析、人工智能做了很多很多的工作。为了进一步推动我们在这方面的进展，我们今天宣布启动英特尔资料分析和人工智能研究院创新院。创新院的主要负责人是我们的英特尔高阶首席工程师、大资料技术全球CTO戴金权先生。
这个创新院的主要工作集中在以下几点:第一，加速人工智能在中国市场的落 地，尤其是通过将它与资料分析进行整合来加速落地。第二，解决中国市场的最新需求，引领创新，创新用法、创新演算法。第三，帮助中国市场更好地使用我们最新的软件和硬件技术。我们当然也会进一步加大与中国市场、中国生态系统以及全球 生态系统的紧密合作，使更多的企业和个人得益于我们最新的科技进步，使人工智 能真正的做到普惠。
如果你想了解更多的资讯，欢迎到我们的展示台。谢谢大家!（本文首发钛媒体，作者/桑明强）
更多精彩内容，关注钛媒体微讯号（ID：taimeiti），或者下载钛媒体App
