Hadoop-MapReduce介绍
Hadoop MapReduce是基于HDFS的MapReduce程式设计框架,MapReduce是一个能够在大量的普通配置的计算机上处理和生成超大资料集的程式设计模型的具体实现:"Map(对映)"和"Reduce(归约)"采用MapReduce架构可以使那些没有平行计算和分散式处理系统开发经验的程序员有效利用分散式系统的丰富资源。将整个计算的过程称为作业 (Job),作业分解为任务 (Task),有两种任务:1)Map把输入的键/值对转换成一组中间结果的键/值对2)Reduce把Map任务产生的一组具有相同键的中间结果根据逻辑转换生成较小的最终结果

背景
Hadoop MapReduce是基于HDFS的MapReduce程式设计框架,MapReduce是一个能够在大量的普通配置的计算机上处理和生成超大资料集的程式设计模型的具体实现:"Map(对映)"和"Reduce(归约)"采用MapReduce架构可以使那些没有平行计算和分散式处理系统开发经验的程序员有效利用分散式系统的丰富资源。
将整个计算的过程称为作业 (Job),作业分解为任务 (Task),有两种任务:1)Map把输入的键/值对转换成一组中间结果的键/值对2)Reduce把Map任务产生的一组具有相同键的中间结果根据逻辑转换生成较小的最终结果

MapReduce示例

1、输入:档案将以每行一个key/value的形式分割输入2、Map:每个档案处理都开启一个Map执行绪,Map方法将按单词规则对文字进行分割,每个单词成形成一个key/value3、排序:在对单词进行划分后,会按key值规则进行排序4、Combine合并:在完成Map操作后,在本地先对结果按key进行合并,Value形成List列表。以减少reduce的工作量5、合并排序:将所有Map的结果进行合并、排序。基开启多个Reduce执行绪时,需要进行分割槽,形成新的Reduce输入。6、Reduce:Reduce执行绪开启,每个Reduce处理一部分Key/Value。此处统计每个单词出现的次数即可。Reduce过程对每个键值对进行合并、逻辑计算处理。7、输出结果。
MapReduce处理流程

Map端
1.每个输入分片会让一个map任务来处理,预设情况下,以HDFS的一个块的大小(预设为64M)为一个分片。Map的工作就是按业务逻辑对资料进行拆分,形成key/value的键值对资料。map输出的结果会暂且放在一个环形内存缓冲区中(该缓冲区的大小预设为100M,由mapreduce.task.io.sort.mb属性控制),当该缓冲区快要溢位会在本地档案系统中建立一个溢位档案,将该缓冲区中的资料写入这个档案。
2、在做Map资料拆分的同时,map执行绪会将本地负责的key/value资料列表按key值进行排序,并且会进行分割槽平均。分割槽的数量是根据reduce执行绪的个数来确定的,以便在完成map操作之后,将后续的工作平均分配给每个reduce执行绪,这样做是为了避免有些reduce任务分配到大量资料,而有些reduce任务却分到很少资料,甚至没有分到资料的尴尬局面。
3、如果此时设定了Combiner方法,会将排序后的结果进行Combine操作,也就是将相同key值的资料进行合并,合并的过程中会不断地进行排序和combine操作,目的有两个:1.尽量减少每次写入磁盘的资料量;2.尽量减少下一复制阶段网络传输的资料量。最后合并成了一个已分割槽且已排序的档案。
4.Shuffle "洗牌" :一个map产生的资料,一般按照key值进行hash算法,平均的将各个map节点上的资料分别分配给reduce执行绪对应的节点。
Reduce端
1.Reduce会接收到不同map任务传来的资料,并且每个map传来的资料都是有序的。如果reduce端接受的资料量相当小,则直接储存在内存中如果资料量超过了该缓冲区大小的一定比例(由mapreduce.map.sort.spill.percent决定),则对资料合并后溢写到磁盘中。
2、Reduce执行绪在接收到各节点的key/value资料之后,会按照预先编写的reduce算法,对每个key/value值进行处理计算。
3.最终reduce端会将所有处理过的资料同样的以key/value的形式合并写入同一个档案存放hdfs系统。
在我们进行map/reduce操作时,一般只需要写map和reduce的算法;并且对key/value值进行合理的定义,即可以实现各种业务逻辑的分散式算法。
MapReduce工作原理

1.在客户端启动一个作业。
2.向JobTracker请求一个Job ID。
3.将执行作业所需要的资原始档复制到HDFS上,包括MapReduce程式打包的JAR档案、配置档案和客户端计算所得的输入划分资讯。这些档案都存放在JobTracker专门为该作业建立的资料夹中。资料夹名为该作业的Job ID。输入划分资讯告诉了JobTracker应该为这个作业启动多少个map/reduce任务等资讯。
4.JobTracker接收到作业后,将其放在一个作业伫列里,等待作业排程器对其进行排程,当作业排程器根据自己的排程算法排程到该作业时,会根据输入划分资讯建立多个map/reduce任务,并将任务分配给不同节点上的TaskTracker执行。根据资料本地化(Data-Local)原则,一般会将map任务分配给含有该map处理的资料块的TaskTracker节点上,同时将程式JAR包复制到该TaskTracker上来执行,这叫"运算移动,资料不移动"。而分配reduce任务时并不考虑资料本地化。
5.TaskTracker每隔一段时间会给JobTracker传送一个心跳,告诉JobTracker它依然在执行,同时心跳中还携带着很多的资讯,比如当前map任务完成的进度等资讯。当JobTracker收到作业的最后一个任务完成资讯时,便把该作业设定成"成功"。当JobClient查询状态时,它将得知任务已完成,便返回一条讯息给使用者。
下一代MapReduce - Yarn

在Hadoop1.x中,由于MapReduce模组的主服务(Jobtracker)任务太多,当丛集中MR任务非常多时,会造成大量内存开销。于是在hadoop2之后,将 JobTracker 两个主要功能进行拆分(资源管理、任务排程 / 监控)。1、新的资源管理器全域性管理所有应用程序计算资源的分配(Resource Manager)2、任务排程协调被分配给hadoop丛集的每个节点单独进行管理(Node Manager)
其他:首先客户端不变,其呼叫 API 及界面大部分保持相容但是原框架中核心的 JobTracker 和 TaskTracker 不见了,取而代之的是 ResourceManager, ApplicationMaster 与 NodeManager 三个部分。首先 ResourceManager 是一个中心的服务,它做的事情是排程、启动每一个 Job 所属的 ApplicationMaster、另外监控 ApplicationMaster 的存在情况
NodeManager 功能比较专一,就是负责 Container 状态的维护,并向 RM 保持心跳。ApplicationMaster 负责一个 Job 生命周期内的所有工作,类似老的框架中 JobTracker。这个设计大大减小了 JobTracker(也就是现在的 ResourceManager)的资源消耗,并且让监测每一个 Job 子任务 (tasks) 状态的程式分散式化了,更安全、更优美。
Container 是 Yarn 为了将来作资源隔离而提出的一个框架。