IBM加入ApacheSpark社群，打算培育百万名资料科学家：可能是未来十年最重要的开放源码计划

Spark为2009年由加州柏克莱大学AMPLab研究人员所创，在2010年以开放源码专案释出，而IBM则是AMP Lab四个创始成员公司之一。它的发明人后来成立Databricks。Spark在大资料处理上的能力优于Hadoop的MapReduce，近年来，获得愈来愈多组织的青睐。IBM指出，从一般知名应用程序到物联网，随着资料和分析能力已渐渐成为企业及社会运作的一部分，Spark一方面大幅提升仰赖资料处理的应用效能，另一方面也简化了开发智能应用的流程。

为加速壮大Spark专案，IBM将利用Spark作为该公司分析及商务软件平台的核心，IBM Watson Health Cloud也将以Spark作为分析平台的底层架构，以加速医疗服务供应商及研究人员分析人口健康资料的速度。IBM也将把自己的SystemML机器学习技术以开放源码释出，并与Databricks合作共同推进Spark机器学习的能力。此外，IBM的Bluemix Paas将提供Spark as a Cloud，让开发人员可建立资料分析应用，执行预测式分析。

IBM强调，Spark既灵巧、迅速又容易使用。而且因为是开放源码软件之故，能藉全球社群力量持续精进。过去几个月来IBM的科学家及工程师已经和Apache Spark社群合作，以加速进阶机器学习能力的交换，及智慧商业应用的开发。有了SystemML的投入，将可协助资料科学家解决多变的企业需求，让开发者能够运用深度人工智能于各项事物。

未来IBM全球十多个实验室将有超过3500名研究人员及开发人员投入Spark相关专案，并将在旧金山成立Spark技术中心，以促进智能应用的开发。IBM并将与多家学术教育单位合作，包括AMPLab、DataCamp、MetiStream、Galvanize及MOOC的Big Data University，培育超过100万名资料科学家及资料工程师。

IBM指出，该公司将协助客户运用Spark提升其资料策略，以促进企业转型与竞争力区隔化。IBM并宣布多家采用Spark及IBM产品的客户，包括即时运输规划软件供应商Optibus、资料分析顾问Findability Sciences、保险公司Blue Cross、美国太空总署（NASA）及SETI研究院等。（编译/林妍溱）