资料编排——资料世界中遗失的拼图

我们正处于资料变革的早期阶段。各个组织和机构竞相构建资料驱动的文化精神，同时也在资料驱动的应用程序上开展了大量创新。这些应用程序重塑了我们生活的许多方面，从我们工作的方式到我们被医学诊疗的方式。然而，资料的价值还远没有得到充分利用，创新的速度还可以大大提高。我们认为这其中遗失的关键拼图就是资料编排层。

为了让应用程序高效地访问资料，应用往往需要重新发明轮子，这阻碍了当前的创新步伐。当一个工程师或科学家想要编写一个应用程序来解决问题时，他或她需要花费大量的精力让应用程序高效地访问资料，而不是专注于算法和应用程序的逻辑。这体现在许多场景中：例如，当开发人员希望将应用程序从内部环境迁移到云环境中，或者一个写过Apache Spark应用程序的资料科学家打算编写TensorFlow应用程序等等。事实上，每当应用程序框架、储存系统或部署环境（云或内部环境）发生更改时，开发人员就需要重新设计资料访问方式。独立扩充套件计算和储存的趋势、物件储存的兴起、混合云和多云的日益流行，这些都进一步加剧了资料访问方面的挑战。

许多人试图通过建立新型的储存系统、先进的计算框架或全新的技术栈来解决与资料访问相关的挑战。然而，历史表明，每隔5到10年，就会出现另一批新的储存系统和计算框架，这并不能从根本上解决资料访问方面的挑战。以储存为例，每个新的储存系统都成为资料环境中的另一个数据筒仓。建立新应用程序或新栈的方法也是如此。

在Alluxio中，我们认为，为了从根本上解决资料访问的挑战，资料世界需要全新一层，我们称之为“资料编排平台”，架构在计算框架和储存系统之间。资料编排平台跨储存系统将资料访问抽象出来，虚拟化所有资料，并通过具有全域性名称空间的标准化API将资料呈现给资料驱动的应用程序。同时，它还应该具有快取功能，以支援快速访问热资料。总之，资料编排平台为资料驱动的应用程序提供了资料可访问性、资料本地性和资料可伸缩性（https://www.alluxio.io/data-orchestration/）。

做一个类比，资料编排之于资料，就像容器编排之于容器一样。容器编排是一类技术，它使容器能够在任何环境中执行而不受正在执行的应用程序硬件的影响，并确保应用程序按预期执行。类似地，资料编排也是一种技术，它使应用程序的执行能够与计算无关、与储存无关和与云无关。

现在，基于资料编排平台，应用程序开发人员就可以假设资料随时可以访问，而不需要关注资料驻留在何处或储存的特性如何，并将重点放在编写应用程序上。

除了向应用程序开发人员授权外，资料编排平台还为基础设施工程师带来了巨大的价值。它通过在基础设施层为组织机构提供灵活性来避免被某一家供应商绑死。在不同的储存系统（包括云端储存）之间进行转换、采用另一个应用程序框架，甚至采用一个混合或多云环境都是可行的，并且不会带来很大的开发成本。在以后的部落格中，我们将从这些角度来详细地讨论资料编排的需求和影响。

总之，我们认为，资料编排是资料世界中遗失的拼图。Alluxio是一个数据编排平台的实现，我们诚邀大家加入我们，共创未来！