Hadoop 相关组件
Flume 入门学习
前言
无
一、flume是什么？
flume是一个可分布式日志收集系统，为hadoop相关组件
可采集数据文件，socket数据包，文件夹，kafka，mysql数据库等各种形式源数据，并将采集数据下沉sink输出到hdfs，kafka，hbase，hive等众多外部存系统中
二、flume特性
flume是一个分布式，可靠，和高可用的海量日志采集，汇聚和传输的系统。
三、flume核心
1.agent
每个agent相当于一个数据传递员，内部有3个核心组件
- Source：采集组件，用于跟数据源对接，以获得数据；
- Sink：下沉组件，用于往下级agent传递数据或向最终存储系统传递数据
- Channel：传输通道组件，用于从source讲数据传递到sink