Flume 概念和流程初步了解

最近接触了Flume这个日志框架,还蛮不错的,当今大数据遍不天下,采集数据,变得尤为珍贵。

Flume框架优点:
1、它是一个分布式,高可用的日志采集框架,很多公司都应用它进行二次改造,进行日志收集。
2、应用了事务机制保证消息的可靠性传递。
3、特别喜爱它的一点是,它是Java开发,很容易进行二次开发,或线上出现问题了,很容易找到问题的所在,而且配置文件可配置JVM。
4、最后、功能组件模块分的清楚,很容易上手。

Flume基本组件以及基础概念:
Sources:采集源,也是数据来源,就是说你要采集的目标。
Channels:数据通道,Sources数据采集到这里,暂存,直到给Sink组件
Sink:目标地,数据采集到了最终要传递到一个地方,Sink是干这个工作的。
Events:事件,Flume整个流程中,Events是贯穿整个流程,是最小的事件单位,
Agent:一个agent对应一个java进程,它使用JVM启动,可配置JVM参数。

Flumes运行流程:
sources监听到特定的source type数据来源,存入到channels通道,它保存的都是以事件为单位的数据,等待sink来消费,sink负责将channels里存入的event事件推送到目标地。

Flume常用的模型(来自官网)
地址:http://flume.apache.org/FlumeUserGuide.html#

模型一:
Flume 概念和流程初步了解

模型二:

Flume 概念和流程初步了解

模型三:

Flume 概念和流程初步了解

模型四:

Flume 概念和流程初步了解

后续还在学习中,如有不对的地方,可一起学习。

猜你喜欢

转载自blog.51cto.com/shangdc/2178128