大数据课程E1——Flume的概述

文章作者邮箱:[email protected]              地址:广东惠州

 ▲ 本章节目的

⚪ 了解Ganglia的概念;

⚪ 了解Ganglia的拓扑结构和执行流程;

⚪ 掌握Ganglia的安装操作;

一、简介

1. 概述

1. Flume原本是由Cloudera公司开发的后来贡献给了Apache的一套分布式的、可靠的、针对日志数据进行收集(collecting)、汇聚(aggregating)和传输(moving)的机制。

2. 在大数据中,实际开发中有超过70%的数据来源于日志 - 日志是大数据的基石。

3. Flume针对日志提供了非常简单且灵活的流式传输机制。

4. 版本:

a. Flume0.X:又称之为Flume-og。依赖于Zookeeper,结构配置相对复杂,现在市面上已经停用这个版本。

b. Flume1.X:又称之为Flume-ng。不依赖于Zookeeper,结构配置相对简单,是市面上常用的版本。

2. 基本概念

1. Event:

a. 在Flume中,会将收集到的每一条日志封装成一个Event对象 - 在Flume中,一个Event就对应了一条日志。

b. Event本质上是一个json串,固定的包含两部分ÿ

猜你喜欢

转载自blog.csdn.net/u013955758/article/details/132024521