Apache推出新开源专案Spot,用机器学习加强网络弱点分析

Apache Spot
日前,英特尔(Intel)和Hadoop企业版发行商Cloudera共同宣布,向Apache基金会贡献一个新的开源专案Spot,Spot专案利用大数据分析和机器学习技术,来加强网络弱点侦测。
Spot专案的前身是由英特尔专为网络安全分析所开发的开源专案Open Network Insight(ONI),并以Cloudera平台为基础,采用开放资料模型(Open Data Model)开发而成。而现今企业组织在面对打击网络威胁的最大挑战之一,就是从庞大的安全性事件资料来源中,搜集和正规化(Normalize)资料,来进行安全性分析。
根据Cloudera,目前Spot专案主要用于如NetFlow、sFlow、DNS、Proxy等的网络流量分析,且Spot利用监督和无监督机器学习技术,来进行异常事件侦测,以辨识网络弱点。
同时,Spot所采用的开放资料模型,在批次或串流资料的情况下,可以应用在读取或写入,且允许使用者从特定资料来源个别进行安全性分析,这种方式也提供使用者能够弹性更改基础资料来源,而不影响资料分析。另外,Spot的开放资料模型也开放网络安全服务厂商以该模型为基础,来发展新的产品。
而Spot专案为了支援更广泛的应用,扩展了网络弱点的资料搜集和分析常态事件导向资料来源,包含Active Directory或身份管理、使用者行为分析、Proxy、网络服务器、防火墙等。
目前,Spot专案的应用范围涵盖了,利用机器学习和进阶分析模型来侦测已知和未知的网络弱点、事件侦测和分辨,以及依照所需的分析框架来提供中央资料储存,以扩充所需分析的资料量等。
Spot专案现阶段正在孵化阶段(Incubate),有Cloudera、英特尔、eBay、Webroot、Jask等厂商投入开发与贡献。
