大资料是对海量资料进行储存、计算、统计、分析处理的一系列处理手段，处理的资料量通常是TB级，甚至是PB或EB级的资料，这是传统资料处理手段所无法完成的，其涉及的技术有分散式计算、高并发处理、高可用处理、丛集、实时性计算等，汇集了当前IT领域热门流行的IT技术。
想要学好大资料需掌握以下技术：
1. Java程式设计技术
Java程式设计技术是大资料学习的基础，Java是一种强型别语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分散式系统和嵌入式系统应用程序等，是大资料工程师最喜欢的程式设计工具，因此，想学好大资料，掌握Java基础是必不可少的!
如果你想要学好大资料最好加入一个好的学习环境，可以来这个Q群529867072 这样大家学习的话就比较方便，还能够共同交流和分享资料
2.Linux命令
对于大资料开发通常是在Linux环境下进行的，相比Linux操作系统，Windows操作系统是封闭的操作系统，开源的大资料软件很受限制，因此，想从事大资料开发相关工作，还需掌握Linux基础操作命令。
3. Hadoop
Hadoop是大资料开发的重要框架，其核心是HDFS和MapReduce，HDFS为海量的资料提供了储存，MapReduce为海量的资料提供了计算，因此，需要重点掌握，除此之外，还需要掌握Hadoop丛集、Hadoop丛集管理、YARN以及Hadoop高阶管理等相关技术与操作!
4. Hive
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的资料档案对映为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行执行，十分适合资料仓库的统计分析。对于Hive需掌握其安装、应用及高阶操作等。
5. Avro与Protobuf
Avro与Protobuf均是资料序列化系统，可以提供丰富的资料结构型别，十分适合做资料储存，还可进行不同语言之间相互通讯的资料交换格式，学习大资料，需掌握其具体用法。
6.ZooKeeper
ZooKeeper是Hadoop和Hbase的重要元件，是一个为分散式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分散式同步、元件服务等，在大资料开发中要掌握ZooKeeper的常用命令及功能的实现方法。
7. HBase
HBase是一个分散式的、面向列的开源数据库，它不同于一般的关系数据库，更适合于非结构化资料储存的数据库，是一个高可靠性、高效能、面向列、可伸缩的分散式储存系统，大资料开发需掌握HBase基础知识、应用、架构以及高阶用法等。
8.phoenix
phoenix是用Java编写的基于JDBC API操作HBase的开源SQL引擎，其具有动态列、杂凑载入、查询服务器、追踪、事务、使用者自定义函式、二级索引、名称空间对映、资料收集、行时间戳列、分页查询、跳跃查询、检视以及多租户的特性，大资料开发需掌握其原理和使用方法。
9. Redis
Redis是一个key-value储存系统，其出现很大程度补偿了memcached这类key/value储存的不足，在部分场合可以对关系数据库起到很好的补充作用，它提供了Java，C/C++，C#，PHP，Java，Perl，Object-C，Python，Ruby，Erlang等客户端，使用很方便，大资料开发需掌握Redis的安装、配置及相关使用方法。
10. Flume
Flume是一款高可用、高可靠、分散式的海量日志采集、聚合和传输的系统，Flume支援在日志系统中定制各类资料传送方，用于收集资料;同时，Flume提供对资料进行简单处理，并写到各种资料接受方(可定制)的能力。大资料开发需掌握其安装、配置以及相关使用方法。
11. SSM
SSM框架是由Spring、SpringMVC、MyBatis三个开源框架整合而成，常作为资料来源较简单的web专案的框架。大资料开发需分别掌握Spring、SpringMVC、MyBatis三种框架的同时，再使用SSM进行整合操作。
12.Kafka
Kafka是一种高吞吐量的分散式释出订阅讯息系统，其在大资料开发应用上的目的是通过Hadoop的并行载入机制来统一线上和离线的讯息处理，也是为了通过丛集来提供实时的讯息。大资料开发需掌握Kafka架构原理及各元件的作用和使用方法及相关功能的实现!
13.Scala
Scala是一门多正规化的程式语言，大资料开发重要框架Spark是采用Scala语言设计的，想要学好Spark框架，拥有Scala基础是必不可少的，因此，大资料开发需掌握Scala程式设计基础知识!
14.Spark
Spark是专为大规模资料处理而设计的快速通用的计算引擎，其提供了一个全面、统一的框架用于管理各种不同性质的资料集和资料来源的大资料处理的需求，大资料开发需掌握Spark基础、SparkJob、Spark RDD、spark job部署与资源分配、Spark shuffle、Spark内存管理、Spark广播变数、Spark SQL、Spark Streaming以及Spark ML等相关知识。
15.Azkaban
Azkaban是一个批量工作流任务排程器，可用于在一个工作流内以一个特定的顺序执行一组工作和流程，可以利用Azkaban来完成大资料的任务排程，大资料开发需掌握Azkaban的相关配置及语法规则。
16.Python与资料分析
Python是面向物件的程式语言，拥有丰富的库，使用简单，应用广泛，在大资料领域也有所应用，主要可用于资料采集、资料分析以及资料视觉化等，因此，大资料开发需学习一定的Python知识。
只有完整的学完以上技术，才能算得上大资料开发人才，真正从事大资料开发相关工作，工作才更有底气，升职加薪不成问题
