Apache顶级专案再添一套大资料串流和批次分析引擎Apex，连奇异公司都在用

Apache软件基金会（Apache Software Foundation，ASF）日前宣布，又有一套通用型的大资料串流和批次处理平台Apex晋升为顶级专案（Top-Level Project，TLP），这表示Apex专案的社群和产品已经有良好的治理原则且发展成熟，连大厂商如奇异公司（GE）、美国智慧电网供应商银泉电网公司（Silver Spring Networks）和行销自动化软件厂商PubMatic等都采用Apex的大资料分析技术。

Apex一开始是由大资料软件厂商DataTorrent在2012年所打造的大资料即时串流分析软件，在2015年8月时，DataTorrent贡献Apex给Apache育成中心（Apache Incubator），成为开源专案。

根据ASF基金会，Apex是大规模、高吞吐量、低延迟，且具备容错能力的大资料串流和批次处理通用平台，可以用来做资料提取、即时分析、ETL（Extract-Transform-Load）、资料迁移、批次分析、发出警示通知、即时反应等。

而Apex是Hadoop原生YARN架构，以及预设HDFS（Hadoop Distributed File System）为档案系统，让Hadoop平台能够处理串流资料分析，且Apex的管线化（Pipeline）处理架构让Apex可以进行即时和批次的资料处理。

另外，Apex具备连接器（Connector）和Malhar函式库，其中连接器是用来整合其他外部系统，包括了讯息总线（Message Bus）、数据库、档案系统和社群媒体动态消息，例如，Apache开源数据库Cassandra、Apache HBase、Apache Kafka、JDBC等。而Malhar函式库则支援多种档案传输协定、数据库和讯息伫列，例如，档案传输协定FTP、NFS、Java讯息服务JMS、讯息管理服务RabbitMQ、NoSQL数据库等。

除此之外，Apex也简化了Hadoop应用程序的开发和产品化，允许开发者可以编写或重复使用通用的Java程式码，以降低使用Apex的进入障碍，而这也增加开发者的生产力，加速商业逻辑的开发，让产品可以更快上市。