APP下载
报价宝  ›  科技  › 

大资料领域开源工具有哪些?(文末附大资料开发教程)

报价宝 来源:baojiabao.com 发布时间:2019-07-01 20:02:00 11月20日更新
报价宝综合消息大资料领域开源工具有哪些?(文末附大资料开发教程)

一、hadoop相关工具1.HadoopApache的Hadoop专案已几乎与大资料划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩充套件的分散式计算。支援的操作系统:Windows、Linux和OSX。2.Ambari作为H ...

一、hadoop相关工具

1.Hadoop

Apache的Hadoop专案已几乎与大资料划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩充套件的分散式计算。

支援的操作系统:Windows、Linux和OSX。

2.Ambari

作为Hadoop生态系统的一部分,这个Apache专案提供了基于Web的直观界面,可用于配置、管理和监控Hadoop丛集。有些开发人员想把Ambari的功能整合到自己的应用程序当中,Ambari也为他们提供了充分利用REST(代表性状态传输协议)的API。

支援的操作系统:Windows、Linux和OSX。

3.Avro

这个Apache专案提供了资料序列化系统,拥有丰富的资料结构和紧凑格式。模式用JSON来定义,它很容易与动态语言整合起来。

4.Cascading

Cascading是一款基于Hadoop的应用程序开发平台。提供商业支援和培训服务。

5.Chukwa

Chukwa基于Hadoop,可以收集来自大型分散式系统的资料,用于监控。它还含有用于分析和显示资料的工具。

支援的操作系统:Linux和OSX。

6.Flume

Flume可以从其他应用程序收集日志资料,然后将这些资料送入到Hadoop。官方网站声称:“它功能强大、具有容错性,还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。”

支援的操作系统:Linux和OSX。

7.HBase

HBase是为有数十亿行和数百万列的超大表设计的,这是一种分散式数据库,可以对大资料进行随机性的实时读取/写入访问。它有点类似Google的Bigtable,不过基于Hadoop和Hadoop分散式档案系统(HDFS)而建。

8.Hadoop分散式档案系统(HDFS)

HDFS是面向Hadoop的档案系统,不过它也可以用作一种独立的分散式档案系统。它基于Java,具有容错性、高度扩充套件性和高度配置性。

支援的操作系统:Windows、Linux和OSX。

9.Hive

ApacheHive是面向Hadoop生态系统的资料仓库。它让使用者可以使用HiveQL查询和管理大资料,这是一种类似SQL的语言。

10.Hivemall

Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩充套件性算法,可用于资料分类、递回、推荐、k最近邻、异常检测和特征杂凑。

11.Mahout

据官方网站声称,Mahout专案的目的是“为迅速构建可扩充套件、高效能的机器学习应用程序打造一个环境。”它包括用于在HadoopMapReduce上进行资料探勘的众多算法,还包括一些面向Scala和Spark环境的新颖算法。

12.MapReduce

作为Hadoop一个不可或缺的部分,MapReduce这种程式设计模型为处理大型分散式资料集提供了一种方法。它最初是由Google开发的,但现在也被本文介绍的另外几个大资料工具所使用,包括CouchDB、MongoDB和Riak。

13.Oozie

这种工作流程排程工具是为了管理Hadoop任务而专门设计的。它能够按照时间或按照资料可用情况触发任务,并与MapReduce、Pig、Hive、Sqoop及其他许多相关工具整合起来。

支援的操作系统:Linux和OSX。

14.Pig

ApachePig是一种面向分散式大资料分析的平台。它依赖一种名为PigLatin的程式语言,拥有简化的并行程式设计、优化和可扩充套件性等优点。

15.Sqoop

企业经常需要在关系数据库与Hadoop之间传输资料,而Sqoop就是能完成这项任务的一款工具。它可以将资料汇入到Hive或HBase,并从Hadoop汇出到关系数据库管理系统(RDBMS)。

16.Spark

作为MapReduce之外的一种选择,Spark是一种资料处理引擎。它声称,用在内存中时,其速度比MapReduce最多快100倍;用在磁盘上时,其速度比MapReduce最多快10倍。它可以与Hadoop和ApacheMesos一起使用,也可以独立使用。

支援的操作系统:Windows、Linux和OSX。

17.Tez

Tez建立在ApacheHadoopYARN的基础上,这是“一种应用程序框架,允许为任务构建一种复杂的有向无环图,以便处理资料。”它让Hive和Pig可以简化复杂的任务,而这些任务原本需要多个步骤才能完成。

支援的操作系统:Windows、Linux和OSX。

18.Zookeeper

这种大资料管理工具自称是“一项集中式服务,可用于维护配置资讯、命名、提供分散式同步以及提供群组服务。”它让Hadoop丛集里面的节点可以彼此协调。

支援的操作系统:Linux、Windows(只适合开发环境)和OSX(只适合开发环境)。

二、大资料分析平台和工具

19.Disco

Disco最初由诺基亚开发,这是一种分散式计算框架,与Hadoop一样,它也基于MapReduce。它包括一种分散式档案系统以及支援数十亿个键和值的数据库。

支援的操作系统:Linux和OSX。

20.HPCC

作为Hadoop之外的一种选择,HPCC这种大资料平台承诺速度非常快,扩充套件性超强。除了免费社群版外,HPCCSystems还提供收费的企业版、收费模组、培训、咨询及其他服务。

支援的操作系统:Linux。

21.Lumify

Lumify归Altamira科技公司(以国家安全技术而闻名)所有,这是一种开源大资料整合、分析和视觉化平台。你只要在Try.Lumify.io试一下演示版,就能看看它的实际效果。

支援的操作系统:Linux。

22.Pandas

Pandas专案包括基于Python程式语言的资料结构和资料分析工具。它让企业组织可以将Python用作R之外的一种选择,用于大资料分析专案。

支援的操作系统:Windows、Linux和OSX。

23.Storm

Storm现在是一个Apache专案,它提供了实时处理大资料的功能(不像Hadoop只提供批任务处理)。其使用者包括推特、美国天气频道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他许多公司。

支援的操作系统:Linux。

三、数据库/资料仓库

24.Blazegraph

Blazegraph之前名为“Bigdata”,这是一种高度扩充套件、高效能的数据库。它既有使用开源许可证的版本,也有使用商业许可证的版本。

25.Cassandra

这种NoSQL数据库最初由Facebook开发,现已被1500多家企业组织使用,包括苹果、欧洲原子核研究组织(CERN)、康卡斯特、电子港湾、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他机构。它能支援超大规模丛集;比如说,苹果部署的Cassandra系统就包括75000多个节点,拥有的资料量超过10PB。

26.CouchDB

CouchDB号称是“一款完全拥抱互联网的数据库”,它将资料储存在JSON文件中,这种文件可以通过Web浏览器来查询,并且用JavaScript来处理。它易于使用,在分散式上网络上具有高可用性和高扩充套件性。

支援的操作系统:Windows、Linux、OSX和安卓。

27.FlockDB

由推特开发的FlockDB是一种非常快、扩充套件性非常好的图形数据库,擅长储存社交网络资料。虽然它仍可用于下载,但是这个专案的开源版已有一段时间没有更新了。

28.Hibari

这个基于Erlang的专案自称是“一种分散式有序键值储存系统,保证拥有很强的一致性”。它最初是由GeminiMobileTechnologies开发的,现在已被欧洲和亚洲的几家电信运营商所使用。

29.Hypertable

Hypertable是一种与Hadoop相容的大资料数据库,承诺效能超高,其使用者包括电子港湾、百度、高朋、Yelp及另外许多互联网公司。提供商业支援服务。

支援的操作系统:Linux和OSX。

30.Impala

Cloudera声称,基于SQL的Impala数据库是“面向ApacheHadoop的领先的开源分析数据库”。它可以作为一款独立产品来下载,又是Cloudera的商业大资料产品的一部分。

支援的操作系统:Linux和OSX。

31.InfoBright社群版

InfoBright为资料分析而设计,这是一种面向列的数据库,具有很高的压缩比。InfoBright.com提供基于同一程式码的收费产品,提供支援服务。

支援的操作系统:Windows和Linux。

32.MongoDB

mongoDB的下载量已超过1000万人次,这是一种极其受欢迎的NoSQL数据库。MongoDB.com上提供了企业版、支援、培训及相关产品和服务。

支援的操作系统:Windows、Linux、OSX和Solaris。

在不久的将来,多智时代一定会彻底走入我们的生活,有兴趣入行未来前沿产业的朋友,可以收藏多智时代,及时获取人工智能、大资料、云端计算和物联网的前沿资讯和基础知识,让我们一起携手,引领人工智能的未来!

马士兵教育给大家带来大资料如何去学习,如何能在工作中体现出自己的价值,而分享了大资料教程,希望大家能够喜欢:

获取方式:私信小编”学习“来进行获取~~持续关注,每天干货满满~~~

感谢大家支援~~~
文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 数码相机价格 笔记本价格 华为手机价格 红米手机价格 降噪耳机价格