经典面试题-Flume的Source,Sink,Channel的作用?你们Source是什么类型?

Flume的Source,Sink,Channel的作用?你们Source是什么类型?

1、作用
(1)Source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy
(2)Channel组件对采集到的数据进行缓存,可以存放在Memory或File中。
(3)Sink组件是用于把数据发送到目的地的组件,目的地包括Hdfs、Logger、avro、thrift、ipc、file、Hbase、solr、自定义。

2、我公司采用的Source类型为:
(1)监控后台日志:exec
(2)监控后台产生日志的端口:netcat Exec spooldir

发布了1706 篇原创文章 · 获赞 1763 · 访问量 16万+

猜你喜欢

转载自blog.csdn.net/weixin_42528266/article/details/105048165
今日推荐