贾扬清演讲实录：阿里云一体化大数据智能平台的演进丨 2022 云栖一体化大数据智能峰会

演讲人：贾扬清

演讲主题：阿里云一体化大数据智能平台的演进

活动：2022 云栖大会-一体化大数据智能峰会

今年在技术主论坛上，我们讲到了人工智能领域算法的不断演进，同时，这些智能化的应用，反过来其实催生了大数据这个领域需求的爆发式的增长。今天的论坛，我们希望立足于数据这个领域，来看一看，数据和智能之间有哪些创新的火花。

大数据这个概念，本身并不新。从最开始的关系型数据库开始，在 20 世纪 90 年代，数据量的增大和应用的增加，业界开始体系化地思考大数据的一些方法论。最典型的可能是今天在数据领域耳熟能详的三个 V：数据的体量 Volume，速度 Velocity，和多样性 Variety，这"三个 V"。在这些方法论的指导下我们开始从存储、计算、调度、服务等多个角度来建设一个优秀的大数据体系。

在主论坛上，我们提到了人工智能今天的一个不可能三角：易用性，规模，和效率。这三个核心的点，在大数据的领域其实一样存在。映射到大数据上，我们会看见那么一些特性：

首先，生产工具的易用性。因为数据本身是一个很"重"也和业务联系紧密的平台，因此我们很多时候关注在它的安全性和稳定性。这没有错，但是今天我们越来越多的决策其实都需要用到数据，那么，怎么建设一个更加灵活、便捷的平台，让每一个人在用数据的时候，写一行 sql，甚至不需要写 sql，就可以从实际业务的角度去获取数据呈现出来的规律？这是易用性的问题。

其次，规模化的生产力。今天的各种数据平台、数据仓库层出不穷。但是，对我们来说，怎么样解决数据孤岛和数据效率问题，怎么样能够在保证支撑业务规模化发展的同时大大降低数据平台的复杂度和成本，这是一个很现实的需求。阿里云大数据平台今天支撑着每天 10EB 级别的计算，相信很多云上客户都在面对规模的问题。

最后，数据的多样化的应用带来了生产效率的需求。对一个企业而言，似乎数据平台永远都在做计算：比如说 ETL，流计算，OLAP 等。但是问题是这些东西算出来了有没有人看，我们并不知道，没人看就会造成浪费。另外，有些任务是不是没写好，写成全表扫描但是其实只处理了一丁点数据，这就涉及到治理的问题。就像今天很多应用需要 quality control 一样，数据也需要。生产效率不仅是技术上的效率，还有组织治理上的效率。

那么从阿里巴巴的角度我们做了一些什么事情？

我们的大数据平台也是从简单的开源技术和单点技术出发的：最初搭建 Hadoop 集群和最初对标 Hadoop 的自研大数据集群 ODPS 开始，我们是通过云化来提升平台效率：通过将一个企业的数据实现大集中，能够打通不同的子业务部门，解决数据壁垒问题，从零到一把数据体系搭建起来。

通过管理全量的数据任务，我们就可以来实现用很低的成本支撑业务的持续增长。在这个过程当中，我们也见到非常多的性能挑战。这些性能来自两方面：一方面，系统大了，怎么把 SQL 跑得更快，怎么把存储做的更好，怎么把存储和计算的水位提上去，就有很多要做的内功。

另一方面，我们看到很多多样化的计算需求：例如离线计算和实时计算，一个追求资源利用水位，一个追求 OLAP 的效率。今天我们的嘉宾会讲到，我们如何通过更加一体化的设计，来从技术上解决需求多样化和成本之间的矛盾。

最后一个是怎么降低门槛。数据开发治理是个挺复杂的事情。这一点我们认为是我们和很多国际的数据服务提供商有区别且做的还不错的地方，例如前面一年大家耳熟能详的 snowflake 是很不一样的。阿里云是提供一个上层完整的开发，运维、建模和治理的体系。从开发者的角度，你可以来获得从开发到系统运维的全景；从企业治理的角度，你可以看到各个部门、各条业务对数据管理和治理的效率，能够让数据开发变得更加全局化。

上面说的这些能力相对比较抽象，那么，我们今天在云上，能给大家提供什么样的产品能力？

第一，今天开源是一个大趋势。无论是用的传统的 Hadoop，Hive，还是今天的 Spark 和数据湖的架构，我们能够在云上提供和开源完全一致的体验，同时我们能够提供简单安装一个开源软件所缺少的很多能力。简单地来说，企业级的稳定性、弹性、免运维等。今天无论是 EMR，还是 Flink 和 ElasticSearch，我们都提供 Serverless 的能力和托管的底座，让大家不需要关心这些"脏活累活"。同时，我们在开源领域也做了非常多的创新工作，举个例子，我们在最近刚捐献给 Apache 基金会的一个项目叫做 Celeborn，就大大提升了数据湖上非常多引擎，做数据 shuffle 的性能。

第二，我们提供了一个由注重离线和规模的 MaxCompute 和注重实时数据分析和服务的 Hologres 组成的一体化的自研大数据平台 ODPS。今天，我们看到的一个大趋势是数据平台的"自动驾驶"，用户不需要关注数据究竟是离线表还是实时表，不需要关注引擎和底层的存储是否打通的问题，而是用一套存储、一套元数据、一套调度来解决问题。同时，通过湖仓一体的方式，我们可以实现开源数据湖和自研数仓之间的无缝打通。

第三，我们在多种数据引擎之上，全面升级了数据开发治理的平台 Dataworks。今天 Dataworks 已经可以支持多个底层的引擎，同时在数据建模、治理上面帮助行业专家们更加迅速地搭建起适合自己的数据中台，同时在数据中台上来发现和治理数据的健康分等一系列的效率问题。另外很重要的一点，今年 dataworks 的每个版本我们都会提供相应的 OpenAPI 能力，让之上的二次开发变得更加简单。

今天我们看见的一个非常清晰的趋势，就是，传统的数据分析和计算依然是主流，同时有越来越多的数据应用是在人工智能这个领域。比如，我们说的"深度学习"-视觉语音 NLP 等经常会用到非结构化的数据，同时智能搜索、用户推荐等等场景，也会和数据非常强的绑定在一起。

今天，在数据湖，数据仓库的基础上，我们所建设的人工智能平台 PAI 在很好地解决大数据 AI 一体化的能力。例如主论坛我们所发布的模型开源平台 ModelScope，自动驾驶领域的高性能计算解决方案，以及智能推荐和用户增长的解决方案，都是在 PAI 上面所建设起来的。

最后，通过一张大图向大家展示一下我们刚才提到的各个产品组成的体系，供大家按图索骥。

大数据技术领域在持续演进，它和人工智能的结合和创造出来无限的可能性，希望能和各位嘉宾、合作伙伴以及各位朋友们一起探索。谢谢大家。