四十一、使用Ganglia监控Flume

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。本文主要介绍使用Ganglia监控Flume。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

---

目录

一、Ganglia的安装与部署

1.1 首先需要安装epel源

1.2 安装相关插件

1.3 修改配置文件

1.4 启动Ganglia

1.5 查看

二、使用Ganglia监控Flume

2.1 修改flume-env.sh配置文件

2.2 测试

---

一、Ganglia的安装与部署

1.1 首先需要安装epel源

yum -y install epel-release

1.2 安装相关插件

yum -y install httpd php rrdtool perl-rrdtool rrdtool-devel apr-devel ganglia-gmetad ganglia-web ganglia-gmond

1.3 修改配置文件

1、/etc/httpd/conf.d/ganglia.conf

Require all granted

2、/etc/ganglia/gmetad.conf

data_source "master" 192.168.0.82

3、/etc/ganglia/gmond.conf

1.4 启动Ganglia

systemctl start httpd.service
systemctl start gmetad.service
systemctl start gmond.service

1.5 查看

在浏览器中输入如下地址进行查看：

http://192.168.0.82/ganglia

二、使用Ganglia监控Flume

2.1 修改flume-env.sh配置文件

在/opt/modules/flume/conf目录下修改flume-env.sh配置文件：

export JAVA_OPTS="-Dflume.monitoring.type=ganglia -Dflume.monitoring.hosts=192.168.0.82:8649 -Xms100m -Xmx200m"

2.2 测试

启动Flume，并使用44444端口发送数据：

bin/flume-ng agent \
--conf conf/ \
--name a1 \
--conf-file conf/flume-netcat-logger.conf \
-Dflume.root.logger==INFO,console \
-Dflume.monitoring.type=ganglia \
-Dflume.monitoring.hosts=192.168.0.82:8649

通过Ganglia监控界面可以发现相关Flume的数据，如下所示：

本文到此已经接近尾声了，本文主要讲述了如何安装部署Ganglia以及怎样使用Ganglia来监控Flume。你们在此过程中遇到了什么问题，欢迎留言，让我看看你们都遇到了哪些问题~