【MarketTrend】大规模数据分析选软件五大妙法

作者：Elastic 技术传道师曾勇

数据现时对企业来说可说是前所未有的重要，由侦测欺诈以降低财务风险到建设推荐系统及完善客户体验，数据都能为企业解决日益复杂的问题。

既然数据已成为企业的重要元素，那么这几年在数据这领域学懂了什么？市场上有多种不同的软件模式，包括专属、云端和开源，因此现时进行大规模数据分析项目时，开发者、架构师及资讯科技专才要在众多软件中作出选择，某些软件可能涉及昂贵的前期投资或需要投入庞大资源，但总有些工具恰到好处，既容易部署又为原型（prototype）提供广泛的功能。

寻找合适的工具对增加项目成功率及免于堕入常见陷阱致关重要。以下为五个在大规模数据分析项目拣选合适产品的建议：

1. 以细型及简单起步

企业于采用数据分析项目，常见的错误为开始得太大型及太快速。特别是项目是由上而下推动，执行队伍很大机会被要求构建一套没有明确成效但又十分复杂的解决方案，令项目变得很昂贵且费时。

企业应以规模较小的项目先试牛刀，让决策者很快看到成效，提升他们的信心。利用现代化开源技术，企业不但毋须作大量前期投资，更可让开发者迅速投入工作，于数日或数周内构建所需的应用程序或原型。

2. 及早考虑可扩充性

即使只是构建一个框架，务应尽早测试可扩充性。很多项目之所以失败，全因应用程序在构建时没有测试扩充性，亦可能因为所拣选的技术不是为处理大量数据而设计。

确保效能测试不是事后之事。先预计在这段时间内将获取多少数据，并进行测试和参考，确立合适的架构，以保证数据量增加并需要横向扩展时，没有丝毫影响表现。

3. 拥有实时数据的重要

我们都经历过应用程序或网站无反应或缓慢，今时今日，任何不是实时的事都不能接受。如果有一个询问没有即时处理，用者很快就会缺乏耐性并离开该网站或程式，导致客户流失及盈利下跌。

企业需确保所用的软件不但能处理大量数据，亦有能力处理并实时回应即时查询。建议使用拥有如聚合及座标功能，以及即时搜索结合的内置数据分析软件。

4. 采用灵活的数据模式

现今的系统包括非结构性及结构性数据。但不要被那些为结构化图表及数据而设的关联式数据库所规限。这类数据库很难加上索引、解析、搜寻及分析其日积月虑的大量数据。

企业应采用拥有通用数据结构的软件。很多用作数据分析项目均使用JSON，以支持文字、数字、字串、布尔值、数组和杂乱信号等结构性及非结构性数据类型。

5. 拣选开发者易于使用的工具

现今数据流量之多让企业或开发者在应付大规模数据分析项目时，很难使用不开放的应用程序界面的软件。应用程序界面用作输入、索引及分析一般来自不同来源或系统的数据。

企业应给予开发者一套拥有丰富、开放及资料齐备的应用程序界面，让他们更快速有效地解决问题。久而久之，当项目扩充时，开发者亦能不断创新及改进这套应用程序。

根据上述五大元素为大规模数据分析项目中拣选最适合的工具，将有助改善项目的时间价值，并确保企业已为长远的成功作好准备。很多如 BBC、高盛集团、英国卫报等大企业均已采用这方式，拣选开源软件以解决其关键项目。只要方法正确，企业所需的数据分析其实可以很迅速、简单及划算。