Flume快速入门

其他 2020-02-11 10:37:26 阅读次数: 0

前言

在一个完整的离线大数据处理系统中，除了HDFS+MapReduce+Hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在Hadoop生态体系中都有便捷的开源框架，如图所示：

图：典型大规模离线数据处理平台

 

一、Flume日志采集框架

1.1    概述

  1. Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
  2. Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、HBase、Hive、kafka等众多外部存储系统中
  3. 一般的采集需求，通过对Flume的简单配置即可实现
  4. Flume针对特殊场景也具备良好的自定义扩展能力，

因此，flume可以适用于大部分的日常数据采集场景。

1.2    Flume运行机制

  1. Flume分布式系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成
  2. 每一个agent相当于一个数据传递员 ，内部有三个组件：
      1. Source：采集组件，用于跟数据源对接，以获取数据
      2. Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据
      3. Channel：传输通道组件，用于从source将数据传递到sink

Source 到Channel 到Sink之间传递数据的形式是Event事件；Event事件是一个数据流单元。

 

1.3   Flume采集系统结构图

单个agent采集数据：

多级agent之间串联：

Agent1-3上的avro sink【相当于socket客户端，需要有目标地址：agent4的ip地址:26666】、

Agent4上的avro source【相当于socket服务端，需要有监听端口，如监听端口为26666】

实际上avro是一种通用跨平台跨语言的序列化协议，类似于jdk中的Serializable、Hadoop的Writable

具体配置文件如下：

vi  tail-avro.conf

#从tail命令获取数据发送到avro端口
#另一个节点可配置一个avro源来中继数据，发送外部存储

##################
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /root/log/access.log


# Describe the sink
a1.sinks.k1.type = avro
a1.sinks.k1.hostname = hdp-01
a1.sinks.k1.port = 26666
a1.sinks.k1.batch-size = 100



# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

后启动，应先启动avro-hdfs.conf，启动命令：

bin/flume-ng agent -c conf -f conf/tail-avro.conf -n a1 -Dflume.root.logger=INFO,console

vi  avro-hdfs.conf

# 充当服务端从avro-hdfs.conf
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
##source中的avro组件是一个接收者服务
a1.sources.r1.type = avro
a1.sources.r1.bind = hdp-01
a1.sources.r1.port = 26666


# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/taildata/%y-%m-%d/
a1.sinks.k1.hdfs.filePrefix = tail-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 24
a1.sinks.k1.hdfs.roundUnit = hour
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollCount = 5000
a1.sinks.k1.hdfs.batchSize = 100
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是Sequencefile，可用DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

先启动avto-hdfs.conf【充当服务端的角色】

bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

原理图：

二、Flume安装配置与实战

2.1    Flume的安装部署

1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境
上传安装包到数据源所在节点上
然后解压  tar -zxvf apache-flume-1.6.0-bin.tar.gz
然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME

2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

3、指定采集方案配置文件，在相应的节点上启动flume agent

1、先在flume的conf目录下新建一个配置文件（采集方案）
vi   netcat-logger.properties

# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# 描述和配置source组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# 描述和配置sink组件：k1
a1.sinks.k1.type = logger

# 描述和配置channel组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 描述和配置source  channel   sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动agent去采集数据

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf   指定flume自身的配置文件所在目录
-f conf/netcat-logger.con  指定我们所描述的采集方案
-n a1  指定我们这个agent的名字

3、测试
先要往agent的source所监听的端口上发送数据，让agent有数据可采
随便在一个能跟agent节点联网的机器上
telnet anget-hostname  port   （telnet localhost 44444）

2.2    采集日志目录中的文件到HDFS

结构示意图：

采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中
根据需求，首先定义以下3大要素：数据源组件，即source --监控文件目录 :  spooldir
spooldir特性：
   1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容
   2、采集完成的文件，会被agent自动添加一个后缀：COMPLETED
   3、所监视的目录中不允许重复出现相同文件名的文件
     下沉组件，即sink--HDFS文件系统  :  hdfs sink
     通道组件，即channel--可用file channel 也可以用内存channel

配置文件编写：

在flume目录下创建文件  vi dir-hdfs.conf(名称可随意)

#定义三大组件的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# 配置source组件
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /root/log/
agent1.sources.source1.fileSuffix=.FINISHED
agent1.sources.source1.deserializer.maxLineLength=5120

# 配置sink组件
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path =hdfs://hdp-01:9000/access_log/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = app_log
agent1.sinks.sink1.hdfs.fileSuffix = .log
agent1.sinks.sink1.hdfs.batchSize= 600
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text

## roll：滚动切换：控制写文件的切换规则
## 按文件体积（字节）切分
agent1.sinks.sink1.hdfs.rollSize = 512000
## 按event条数切
agent1.sinks.sink1.hdfs.rollCount = 1000000
## 按时间间隔切换文件
agent1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成目录的规则(10分钟换一次目录)
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 10
agent1.sinks.sink1.hdfs.roundUnit = minute

#使用本地时间戳来获取时间
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true

# channel组件配置
agent1.channels.channel1.type = memory
## event条数
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.keep-alive = 120
##flume事务控制所需要的缓存容量600条event
agent1.channels.channel1.transactionCapacity = 600

# 绑定source、channel和sink之间的连接
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

Channel参数解释：
capacity：默认该通道中最大的可以存储的event数量
trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量
keep-alive：event添加到通道中或者移出的允许时间

测试阶段，启动flume agent的命令：

bin/flume-ng  agent  -c  ./conf  -f ./dir-hdfs.conf -n  agent1 -Dflume.root.logger=DEBUG,console

-D后面跟的是log4j的参数，用于测试观察

生产中，启动flume，应该把flume启动在后台：

nohup bin/flume-ng  agent  -c  ./conf  -f ./dir-hdfs.conf -n  agent1 1>/dev/null 2>&1 &

2.3    采集文件到HDFS

与前一种不同：spooldir采集的是静态文件，log4j打印的是动态文件

access.log
access.log.1
access.log.2
access.log.3
......

采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到HDFS

思路：我们只需要采集access.log文件即可，每增加一行采集一行，这样数据就不会丢失，那么Flume中是否有这样的组件，即可以读取某个文件不断新增的行？source exec组件  ，且必须使用tail -F

科普：

#等同于--follow=descriptor，根据文件描述符进行追踪，当文件改名或被删除，追踪停止
tail -f

#等同于--follow=name  --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪
tail -F

#等同于tail -f -n 10（貌似tail -f或-F默认也是打印最后10行，然后追踪文件），与tail -f不同的是，
#如果文件不增长，它不会去访问磁盘文件，所以tailf特别适合那些便携机上跟踪日志文件，因为它减少了磁盘访问，可以省电
tailf


根据需求，首先定义以下3大要素

  •      采集源，即source--监控文件内容更新 :  exec  'tail -F file'
  •      下沉目标，即sink--HDFS文件系统  :  hdfs sink
  •      Source和sink之间的传递通道--channel，可用file channel 也可以用 内存channel

配置文件编写：  vi  tail-hdfs.conf

#定义三大组件的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1

# 配置source组件
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /root/log/access.log

# 配置sink组件
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path =hdfs://hdp-01:9000/access_log/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = app_log
agent1.sinks.sink1.hdfs.fileSuffix = .log
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text

## roll：滚动切换：控制写文件的切换规则
## 按文件体积（字节）切分
agent1.sinks.sink1.hdfs.rollSize = 512000
## 按event条数切
agent1.sinks.sink1.hdfs.rollCount = 1000000
## 按时间间隔切换文件
agent1.sinks.sink1.hdfs.rollInterval = 60

## 控制生成目录的规则(10分钟换一次目录)
agent1.sinks.sink1.hdfs.round = true
agent1.sinks.sink1.hdfs.roundValue = 10
agent1.sinks.sink1.hdfs.roundUnit = minute

#使用本地时间戳来获取时间
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true

# channel组件配置
agent1.channels.channel1.type = memory
## event条数
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.keep-alive = 120
##flume事务控制所需要的缓存容量600条event
agent1.channels.channel1.transactionCapacity = 600

# 绑定source、channel和sink之间的连接
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

如果想测试可以书写一个shell脚本

[root@hdp-02 log]# while true
> do
> echo `date` >> access.log
> sleep 0.1
> done

执行：

[root@hdp-02 flume-1.6.0]# bin/flume-ng agent -c conf -f tail-hdfs.conf -n agent1 -Dflume.root.logger=INFO,console

三、常见的坑【The channel is full...】

3.1    The channel is full  , and cannot write data now....

agent1.sinks.sink1.hdfs.batchSize 为sink每次写的批次大小，如果为100，则100条一批，一次拿100条写

agent1.channels.channel1.transactionCapacity表示flume事务控制所需要的缓存容量，sink在写的时候是有事务控制的，如值为100表示100条为一个事务，写成功100条则提交事务，100条有1条失败都需要重新回滚事务。

底层是阻塞队列。

解决办法：

agent1.channels.channel1.transactionCapacity 需要大于或等于 agent1.sinks.sink1.hdfs.batchSize(批次大小)

3.2    文件滚动太频繁

滚动写入太频繁，也是配置的问题，解决方法：

agent1.sinks.sink1.hdfs.rollSize = 5120000

该配置是5M一个文件，可以适当调大。

itcats_cn
发布了162 篇原创文章 · 获赞 237 · 访问量 26万+
私信 关注

猜你喜欢

转载自blog.csdn.net/itcats_cn/article/details/89398884
今日推荐
基于大语言模型的开源知识库问答系统 MaxKB GitHub Star 数量突破 5,000 个！
美国拟限制 AI 大模型出口中国和俄罗斯
苹果将与 OpenAI 达成协议，将 ChatGPT 应用于 iPhone
openKylin 社区生态委员会第六次会议圆满召开
阿里云正式发布通义千问 2.5
Python 3.13 发布首个 Beta：实验性自由线程模式和 JIT、改进交互式解释器
Stack Overflow 拿我的代码去训练 AI 大模型，还封了我的账号
Pop!_OS 的 COSMIC 桌面完成 App Store 上架工作
《2024 年一季度互联网投融资运行情况》研究报告
报告：Django 仍然是 74% 开发者的首选
15 年前上了“FFmpeg 耻辱柱”，今天他还得谢谢咱——腾讯QQPlayer一雪前耻？
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
周排行
记一下去大梅沙的准备（2018-05-26）
Spring 注解 事务
基于HTTP协议的客户端缓存
阿里云rds 备份和还原
[PHP] 几个拖慢 PHP 程序/API 运行速度的点
python 代码风格------------PEP8规则
js控制json生成菜单——自制菜单（一）
将字符串: 'k:1|k1:2|k2:3|k3:4 ' ,处理成 python 字典: {'k':1, 'k1':2, ...}
微信小程序转支付宝小程序
Qt551.窗口滚动条
每日归档
更多
2024-05-13(18)
2024-05-12(0)
2024-05-11(38)
2024-05-10(38)
2024-05-09(35)
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022