Flume的安装与使用方法

一：安装flume

通过SSH工具将flume文件从window系统发送到Ubuntu中，如下图。
在这里插入图片描述

1.解压安装包

 cd ~
 cd 下载
 sudo tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local # 将apache-flume-1.9.0-bin.tar.gz解压到/usr/local目录下，这里一定要加上-C否则会出现归档找不到的错误
 cd /usr/local
 sudo mv ./apache-flume-1.9.0-bin ./flume   #将解压的文件修改名字为flume，简化操作
 sudo chown -R hadoop:hadoop ./flume  #把/usr/local/flume目录的权限赋予当前登录Linux系统的用户，这里假设是hadoop用户

2.配置环境变量

  sudo vim ~/.bashrc

然后在首行加入如下代码：

 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
 export FLUME_HOME=/usr/local/flume                   
 export FLUME_CONF_DIR=$FLUME_HOME/conf
 export PATH=$PATH:$FLUME_HOME/bin

注意，上面的JAVA_HOME，如果以前已经在.bashrc文件中设置过，就不要重复添加了，使用以前的设置即可。JAVA-HOME根据自己jdk版本和地址设定。

接下来使环境变量生效：

  source ~/.bashrc

修改 flume-env.sh 配置文件：

cd /usr/local/flume/conf 
sudo cp ./flume-env.sh.template ./flume-env.sh
sudo vim ./flume-env.sh

打开flume-env.sh文件以后，在文件的最开始位置增加一行内容，用于设置JAVA_HOME变量：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

在这里插入图片描述
然后，保存flume-env.sh文件，并退出vim编辑器。

3.查看flume版本信息

  cd /usr/local/flume
    ./bin/flume-ng version #查看flume版本信息；

在这里插入图片描述
注意：如果系统里安装了hbase，会出现错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty。如果没有安装hbase，这一步可以略过。

  cd  /usr/local/hbase/conf
  sudo vim hbase-env.sh

  #1、将hbase的hbase.env.sh的这一行配置注释掉,即在export前加一个#
  #export HBASE_CLASSPATH=/home/hadoop/hbase/conf
  #2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
  export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  #笔者用的是第一种方法

二：测试flume

1.案例1：Avro source
　　　　Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。
a) 创建agent配置文件

  cd /usr/local/flume
  sudo vim ./conf/avro.conf #在conf目录下编辑一个avro.conf空文件

然后，我们在avro.conf写入以下内容

  a1.sources = r1
  a1.sinks = k1
  a1.channels = c1
 
# Describe/configure the source
  a1.sources.r1.type = avro
  a1.sources.r1.channels = c1
  a1.sources.r1.bind = 0.0.0.0
  a1.sources.r1.port = 4141
    #注意这个端口名，在后面的教程中会用得到
 
# Describe the sink
  a1.sinks.k1.type = logger
 
# Use a channel which buffers events in memory
  a1.channels.c1.type = memory
  a1.channels.c1.capacity = 1000
  a1.channels.c1.transactionCapacity = 100
 
# Bind the source and sink to the channel
  a1.sources.r1.channels = c1
  a1.sinks.k1.channel = c1

b) 启动flume agent a1

  /usr/local/flume/bin/flume-ng agent -c . -f /usr/local/flume/conf/avro.conf -n a1 -Dflume.root.logger=INFO,console #启动日志控制台

这里我们把这个窗口称为agent窗口。
在这里插入图片描述
c) 创建指定文件
先打开另外一个终端，在/usr/local/flume下写入一个文件log.00,内容为hello,world:

  cd /usr/local/flume
  sudo sh -c 'echo "hello world" > /usr/local/flume/log.00'

我们再打开另外一个终端，执行：

  cd /usr/local/flume
  bin/flume-ng avro-client --conf conf -H localhost -p 4141 -F /usr/local/flume/log.00 #4141是avro.conf文件里的端口名

此时我们可以看到第一个终端（agent窗口）下的显示，也就是在日志控制台，就会把log.00文件的内容打印出来：

---------------------------------------------------------------------提示---------------------------------------------------------------------
如果你在部署过程中，遇到什么问题，可以通过评论区加我微信，我们相互讨论。共同成长！！！

---------------------------------------------------------------------提示---------------------------------------------------------------------