文章目录
前言
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。
| flume组件 | 说明 |
|---|---|
| source 组件 | 指定数据源 |
| channel 组件 | 作为一个缓存，连接 source 和 sink |
| sink 组件 | 指定数据目的地 |
扩展资料
一、启动hadoop集群
路径：cd /opt/server/hadoop/bin
二、进入指定路径
1.在flume中新建一个file目录 （放各种配置文件）
（也可以直接到
flume的conf目录下进行操作，这里为了更好的区分所以新建了一个目录）
三、编辑配置文件
vim + 文件名.后缀如果该文件是当前目录下没有的会直接新建并进入到编辑状态下
1.在配置文件中写入内容
2.编辑被监测的文件
只要确保文件有内容存在即可
四、启动flume并查看
启动flume 的命令：flume-ng -n a1 --conf-file monitor-flume.conf -Dflume.root.logger=INFO,console
这里的monitor-flume.conf是配置文件的名称
1.另起hadoop01的节点
2.在两个节点中来回切换一下即可在终端中查看文件内容
总结
Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。