Flume技术原理
Flume简介
Flume概述:
Flume是开源日志系统。是一个分散式、可靠性和高可用的海量日志聚合系统,支援在系统中定制各类资料传送方,用于收集资料;同时,FLume提供对资料进行简单处理,并写到各种资料接收方(可定制)的能力。
Flume是什么?
Flume是流式日志采集工具,FLume提供对资料进行简单处理并且写到各种资料接收方(可定制)的能力,Flume提供从本地档案(spooling directory source)、实时日志(taildir、exec)、REST讯息、Thift、Avro、Syslog、Kafka等资料来源上收集资料的能力。
Flume能干什么?
提供从固定目录下采集日志资讯到目的地(HDFS,HBase,Kafka)能力。
提供实时采集日志资讯(taidir)到目的地的能力。
FLume支援级联(多个Flume对接起来),合并资料的能力。
Flume支援按照使用者定制采集资料的能力。
Flume在FusionInsight中的位置:
图:Flume在FusionInsight中的位置

Flume是收集、聚合事件流资料的分散式框架。
Flume系统架构
Flume基础架构:

图:Flume基础架构图
Flume基础架构:Flume可以单节点直接采集资料,主要应用于丛集内资料。
Flume多agent架构:

图:Flume多agent架构
Flume多agent架构:Flume可以将多个节点连线起来,将最初的资料来源经过收集,储存到最终的储存系统中。主要应用于丛集外的资料汇入到丛集内。
Flume架构:

图:Flume架构图
各元件具体介绍如下:
events:Flume当中对资料的一种封装。是一个数据单元。flume传输资料最基本的单元。
Interceptor:拦截器,主要作用是将采集到的资料根据使用者的配置进行过滤和修饰。
Channel Selector:通道选择器,主要作用是根据使用者配置将资料放到不同的Channel当中。
Channel:主要作用是临时的快取资料。
Sink Runner:sink的执行器,主要是通过它来驱动Sink Processor,Sink Processor驱动Sink来从Channel当中获取资料。
Sink Processor:主要策略有,负载均衡,故障转移以及直通。
Sink:主要作用是从Channel当中取出资料,并将资料放到不同的目的地。
基本概念- Source:
Source负责接收events或通过特殊机制产生events,并将events批量放到一个或多个Channels。有驱动和轮询2中型别的Source。
驱动型Source:是外部主动传送资料给Flume,驱动Flume接收资料。
轮询source:是FLume周期性主动去获取资料。
Source必须至少和一个channel关联。
Source的型别如下:

基本概念 - Channel:
Channel位于Source和Sink之间,Channel的作用类似伫列,用于临时快取进来的events,当Sink成功地将events传送到下一跳的channel或最终目的,events从Channel移除。
不同的Channel提供的持久化水平也是不一样的:
Memory Channel:不会持久化。讯息存放在内存中,提供高吞吐,但提供可靠性;可能丢失资料。
File Channel:对资料持久化;基于WAL(预写式日志Write-Ahaad Log)实现。但是配置较为麻烦,需要配置资料目录和checkpoint目录;不同的file channel均需要配置一个checkpoint目录。
JDBC Channel:基于嵌入式Database实现。内建derby数据库,对event进行了持久化,提供高可靠性;可以取代同样持久特性的file channel。
Channels支援事物,提供较弱的顺序保证,可以连线任何数量的Source和Sink。
基本概念 - Sink:
Sink负责将events传输到下一跳或最终目的,成功完成后将events从channel移除。
必须作用于一个确切的channel。
Sink型别:

Flume关键特性介绍
Flume支援采集日志档案:

图:Flume采集日志档案
Flume支援将丛集外的日志档案采集并归档到HDFS、HBase、Kafka上,供上层应用对资料分析、清洗资料使用。
Flume支援多级级联和多路复制:

图:Flume级联
Flume支援将多个Flume级联起来,同时级联节点内部支援资料复制。
这个场景主要应用于:收集FusionInsight丛集外上的节点上的日志,并通过多个Flume节点,最终汇聚到丛集当中。
Flume级联讯息压缩、加密:

图:Flume级联讯息压缩、加密
Flume级联节点之间的资料传输支援压缩和加密,提升资料传输效率和安全性。
在同一个Flume内部进行传输时,不需要加密,为程序内部的资料交换。
Flume资料监控:
图:Flume资料监控

Source接收的资料量,Channel快取的资料量,Sink写入的资料量,这些都可以通过Manager图形化界面呈现出来。
Flume传输可靠性:

图:Flume传输可靠性原理
Flume在传输资料过程中,采用事物管理方式,保证资料传输过程中资料不会丢失,增强了资料传输的可靠性,同时快取在channel中的资料如果采用了file channel,程序或者节点重启资料不会丢失。

图:Flume传输过程中出错情况
Flume在传输资料过程中,如果下一跳的Flume节点故障或者资料接收异常时,可以自动切换到另外一路上继续传输。
Flume传输过程中资料过滤:

图:过滤原理
Flume在传输资料过程中,可以见到的对资料简单过滤、清洗,可以去掉不关心的资料,同时如果需要对复杂的资料过滤,需要使用者根据自己的资料特殊性,开发过滤外挂,Flume支援第三方过滤外挂呼叫。
原文出自:https://blog.csdn.net/qq_38265137/article/details/80565079
