台湾资料工程协会即将成立，大数据平台Hadoop之父也来站台

台湾资料工程协会（Taiwan Data Engineering Association，TDEA）刚于7月11日获内政部核准设立，也将于这周三7月12日正式对外宣布成立事宜，协会也找来大数据平台Hadoop之父Doug Cutting来台访问，Doug Cutting将揭露他对未来10年Hadoop大数据平台发展的看法和计划。

10年前，Doug Cutting参考了两篇Google自家大数据分析的论文，打造出了Hadoop，后来成为了全球所有大数据分析的主流关键基础平台，许多企业都用Hadoop来打造自家大数据平台，甚至发展成了以Hadoop为核心的大数据产业生态系。而Doug Cuttinga目前也正是大数据平台业者Cloudera首席架构师，深入业界开发商用大数据平台产品。在大数据技术当道，AI新兴科技崛起，两者如何结合，是Hadoop下一个十年的挑战，Doug Cutting也将揭露他对未来10年Hadoop发展的蓝图和观点。

而台湾也早从2008年时，就由当时于国家高速网络中心任职的王耀聪，发起了台湾Hadoop使用者社群，目前已有近1,5000名注册会员，也连续8年举办台湾最大规模的HadoopCon技术研讨会，今年第9届大会更进一步扩大为DataCon 2017资料科技研讨会，将和JCConf台湾Java开发者年会合办，于9月29、30日一连举办两天活动。

王耀聪也是台湾资料工程协会共同发起人之一，他表示，台湾虽然已经有了一个以培养资料科学家、资料分析人才为主的资料科学协会，但是大数据分析不只需要资料科学家或资料分析师，实务上，国外常见还需要资料工程师和资料架构师的角色，培养这两类人才正是台湾资料工程协会的成立目的。

就像大餐厅厨房一样，除了设计菜色、决定调味的主厨、二厨之外，备料的厨工和助手们也是很重要的一环，没有充足的事前准备、切菜、洗菜、熬汤、煮酱，就算是再厉害的大厨师也很难一手从洗菜包办到底。甚至，事前准备才是餐厅能够服务大量顾客的关键。就像资料分析不只得先搜集各式各样的资料（买菜），还得先完成资料梳理（洗菜、备料、熬汤），才有办法进行不同的大数据分析（煮菜）。“资料工程的任务就是准备资料科学家需要的资料，就像厨师也需要有助手备料一样，两者缺一不可。”

台湾资料工程协会将串连原有台湾大数据技术社群，包括了Hadoop.TW, Spark.TW, Flink.TW, Fluentd.TW共同推动相关大数据活动，也计划参与Cloudera BASE计划 (Big Analytics Skills Enablement) 大数据分析技能训练计划，来培养台湾业界资料工程人力。

不只聚焦大数据，会将扩大推动台湾参与全球开源社群，台湾资料工程协会今年计划举办第一届台湾开源贡献者育成赛，找来6位现任的Apache专案Committer（专案程式码管理者），来培养台湾更多有能力参与开源专案程式码计划的贡献者或甚至是管理专案源代码的Committer。

这6位Apache Committer包括了Spark串流大数据平台专案Commiter蔡东邦、BigTop专案主席叶祐欣、Hadoop专案Committer庄伟赳、Flink专案 Committer戴资力、HBase Committer蔡嘉平、Mesos Committer陈恩平。其中包括了叶祐欣、庄伟赳和戴资力这三位Committer也是台湾资料工程协会的发起成员，更是TDEA和全球大数据开源社群交流的窗口。进一步TDEA活动消息可参考台湾Hadoop社群粉丝团。