文章作者邮箱：[email protected] 地址：广东惠州
▲ 本章节目的
⚪ 掌握Source的AVRO Source；
⚪ 掌握Source的Exec Source；
⚪ 掌握Source的Spooling Directory Source；
⚪ 掌握Source的Netcat Source；
⚪ 掌握Source的Sequence Generator Source；
⚪ 掌握Source的HTTP Source；
⚪ 掌握Source的Custom Source；
一、AVRO Source
1. 概述
1. AVRO Source监听指定的端口，接收其他节点发送来的被AVRO序列化的数据。
2. AVRO Source结合AVRO Sink可以实现更多的流动模型，包括多级流动、扇入流动以及扇出流动。
2. 配置属性
| 属性 |
解释 |
| type |
必须是avro |
| bind |
要监听的主机的主机名或者IP |
| port |
要监听的端口 |
3. 案例
1. 编辑格式文件，在格式文件中需要添加指定内容：
a1.sources = s1
a1.channels = c1
a1.sinks = k1
# 配置AVRO Source
# 必须是avro
a1.sources.s1.type = avro
# 指定要监听的主机
a1.sources.s1.bind = hadoop01
# 指定要监听的端口
a1.sources.s1.port = 8090
a1.channels.c1.type = memory
a1.sinks.k1.type = logger
a1.sources.s1.channels = c1
a1.sinks.k1.channel = c1
2. 启动Flume。
../bin/flume-ng agent -n a1 -c ../conf -f avrosource.conf -
Dflume.root.logger=INFO,console
3. 在另一个窗口中，进入指定目录，编辑文件。
cd /home/software/apache-flume-1.9.0-bin/data
vim a.txt
4. 运行AVRO客户端。
../bin/flume-ng avro-client -H hadoop01 -p 8090 -F a.txt
二、Exec Source
1. 概述
1. Exec Source会运行指定的命令，然后将命令的执行结果作为日志进行收集。
2. 利用这个Source可以实现对文件或者其他操作的实时监听。