文章作者邮箱:[email protected] 地址:广东惠州
▲ 本章节目的
⚪ 了解Ganglia的概念;
⚪ 了解Ganglia的拓扑结构和执行流程;
⚪ 掌握Ganglia的安装操作;
一、简介
1. 概述
1. Flume原本是由Cloudera公司开发的后来贡献给了Apache的一套分布式的、可靠的、针对日志数据进行收集(collecting)、汇聚(aggregating)和传输(moving)的机制。
2. 在大数据中,实际开发中有超过70%的数据来源于日志 - 日志是大数据的基石。
3. Flume针对日志提供了非常简单且灵活的流式传输机制。
4. 版本:
a. Flume0.X:又称之为Flume-og。依赖于Zookeeper,结构配置相对复杂,现在市面上已经停用这个版本。
b. Flume1.X:又称之为Flume-ng。不依赖于Zookeeper,结构配置相对简单,是市面上常用的版本。
2. 基本概念
1. Event:
a. 在Flume中,会将收集到的每一条日志封装成一个Event对象 - 在Flume中,一个Event就对应了一条日志。
b. Event本质上是一个json串,固定的包含两部分ÿ