1.Flume Introduction
flume:是一个分布式的数据采集系统。
flume的主要作用:最主要的就是收集日志文件。
现在采用的是ng版本,是cloudera公司作为自身一款产品开发的。
flume的运行机制
最核心的角色:agent(代理),由我们设定一个数据收的方式,一个代理代表一个服务
agent的组成:
source:指定从什么地方进行数据数据,指定数据源
channel:管道(信道),用于source和sink之间数据的传递。
event:传递的数据,传递的都是一个个的event
sink:(水槽),数据的下沉点,就是数据最终保存到什么位置 。
2.Flume of installation and deployment
略
服务的启动
bin / flume-ng agent - start a proxy
-c conf - specified configuration file directory
-f conf / netcat-logger.conf - reads the specified configuration file
-n a1 - the name of the startup agent
-Dflume.root.logger = INFO, console - the reception log Print