flume 是一套日志收集,转发/转存工具。NG的架构非常简单,整个只是AGENT,分3个部分,SOURCE (数据源连接器),CHANNEL (缓存),SINK(数据目的地连接器)。
整个应用有5个部分组成:数据源,SOURCE(只是数据源的连接器),CHANNEL,SINK(只是数据目的地的连接器),数据目的地。数据源和数据目的地数据flume系统之外的东西,中间3个属于FLUME。
CHANNEL的作用就是解耦SOURCE 和SINK。能很好的保障系统可靠性。比如使用文件系统做CHANNEL。
启动: bin/flume-ng agent -c conf/ -f conf/a1.properties -Dflume.root.logger=DEBUG,console -n a1