在云端计算、大资料和人工智能蓬勃发展的今天，现代资料资产管理和资料价值的挖掘、再造，已成为企业高层决策者，尤其是CIO、CTO、CDO们，重点关注和实施的战略问题。

最近，中国版Azure即将释出两款资料服务利器：Azure 资料工厂（Azure Data Factory, ADF），和Azure 数据库托管例项（Azure SQL Database Managed Instance, SQL DB MI）。这是很多使用全球版Azure的客户和开发者翘首期盼的两款利器，如今正式在中国版Azure推出。

Azure 资料工厂（ADF）是基于云的资料整合服务，用于在云中建立资料驱动型工作流，以便协调和自动完成资料移动和资料转换；将复杂的混合提取-转换-载入 (ETL)、提取-载入-转换 (ELT) 和资料整合专案，部署到托管云服务平台，加快资料整合，缩短上市时间，极大提升工作效率。

中国古训：“工欲善其事，必先利其器“。

古代武士通常佩戴两把利器，一长一短，正所谓：“一寸长，一寸强；一寸短，一寸险“。从某种意义上讲，ADF正是那把长刀，威力强大，大开大阖，适合资料团队和开发者纵横攻伐；而最新发布的 Azure SQL DB MI则是Azure 资料服务（ADS）所提供的短刀中的一把，灵巧锋利，为更加适合各种工作负荷及解决某些场景挑战而精心打造。

如今，资料团队和开发者又得新的利器双配，战力得以倍增，长攻短打，所向披靡。

敲黑板

您知道吗？

在过去12个月，共有超1千万个Azure 资料工厂专案被建立。每个月，有近5亿个活动在执行。每个星期，PB级的资料通过Azure 资料工厂在移动。现在，让我们一起探索一下ADF这把长刀及和其他ADS短刀配合的刀法精要吧。

ADF之“长名单”

说到ADF这把长兵器的优势，首先要提到的就是ADF所支援的一长串的联结器的名单。

资料团队和开发者首先面临的一个挑战就是各种的资料来源，既有企业组织的各种现有的业务资料，例如交易数据库、LOB应用资料、海量历史资料等；也有大量的外部资料来源，例如互联网上的社交资料、舆情资料、开放资料、第三方伙伴资料等。这些资料构成了众多资料孤岛，难以形成统一的资料资产集合。

而Azure 资料工厂正是一款专为各项资料需求和技能级别构建的服务，目前Azure 资料工厂目前已支援的联结器达80多个，长长的名单列表，让您能够直观整合资料来源，而且这些联结器免维护、无额外费用。

而且，这个名单还在不断增长中…

敲黑板

点名了，下面有没有您熟悉，或需要打通的资料来源？

ADF 之“长管道”

资料整合专案往往具有业务场景多、资料集多、处理步骤多等特点。

例如，游戏行业公司需要汇集整理线上游戏所生成的日志，这些日志包括了玩家的基本资讯、游戏进度、历史成绩、装备升级等资讯，进一步了解玩家偏好、行为模式、人口统计资讯等。同时，也可以进一步提高向上销售和交叉销售机会，推荐新游戏或新社群，增加社互动动等，并为玩家提供更好的游戏体验。

再比如，零售行业企业需要有众多业务资料系统，例如ERP、CRM、物流等，很多资料储存在关系型数据库系统中；此外，企业还通过电商、社交媒体等互联网平台，收集整理潜在客户、商机、舆情、价格变化、商圈、竞争、地理、气候等资讯，通过精准营销、个性化营销、交叉销售等手段，推动企业业务发展，更好满足客户消费体验，增强和供应链伙伴的协同运作，降低企业运作成本等。

在Azure资料工厂中，“管道”是共同执行一项任务的活动的逻辑分组。资料工厂可以包含一个或多个数据管道。例如，管道可能包含一组引入和清理日志资料的活动，然后在 HDInsight 群集上启动 Spark 作业以分析日志资料。这样做的好处是，通过管道可以将活动作为一个集来管理，而非单独管理每个活动。

管道中的活动可以定义对资料执行的操作。例如，可使用复制活动将资料从本地 SQL Server 复制到 Azure Blob 储存。然后，使用在 Azure HDInsight 群集上执行 Hive 指令码的 Hive 活动，将 Blob 储存中的资料处理/转换为生成输出资料。

最后，再使用一个复制活动将输出资料复制到 Azure SQL 资料仓库，基于该仓库构建紧商业智慧 (BI) 报告解决方案。

敲黑板

如何利用Azure资料工厂的“长管道“，打造一个“端到端“的解决方案？