Flume之source分类

Flume 不仅仅局限于日志文件的聚集.

因为数据源可以自定义, Flume 可以用来传输大量的事件数据(event data), 比如: 网络流量数据(network traffic data), 社交媒体产生的数据(social-media-generated data), 电子邮件信息(email messages)和其他任何可能的数据源.

1.avro source

监听Avro端口,从Avro client streams接收events。当与另一个(前一跳)Flume agent内置的Avro Sink配对时,它可以创建分层收集拓扑。

2.ThriftSource

ThriftSource 与Avro Source 基本一致。只要把source的类型改成thrift即可,例如a1.sources.r1.type = thrift,比较简单,不做赘述。

3.ExecSource

ExecSource的配置就是设定一个Unix(linux)命令,然后通过这个命令不断输出数据。如果进程退出,Exec Source也一起退出,不会产生进一步的数据。(通常用于监控单个文件

4.JMS source

从JMS系统(消息、主题)中读取数据,ActiveMQ已经测试过

5.Spooling Directory Source

Spooling Directory Source监测配置的目录下新增的文件,并将文件中的数据读取出来。其中,Spool Source有2个注意地方,第一个是拷贝到spool目录下的文件不可以再打开编辑,第二个是spool目录下不可包含相应的子目录。这个主要用途作为对日志的准实时监控

猜你喜欢

转载自blog.csdn.net/qq_43193797/article/details/86568808