导读：如想直接获知配置agent的方法，请阅读Setting up an agent小节。
Overview
概述
Apache Flume是一个高可靠、高可用的分布式的海量日志收集、聚合、传输系统。它可以从不同的日志源采集数据并集中存储。
Flume也算是Hadoop生态系统的一部分，源于Cloudera，目前是Apache基金会的顶级项目之一。Flume有两条产品线，0.9.x版本和1.x版本。本文主要介绍Flume 1.3.0，即"NG"产品线上的最新稳定版。(BTW，Flume是Apache 2.0 License)
Resource
资源
Architecutre
架构
数据流模型
Flume以agent为最小的独立运行单位。一个agent就是一个JVM。单agent由Source、Sink和Channel三大组件构成，如下图(图片摘自Flume官方网站)：
Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source，比如上图中的Web Server生成。当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。
很直白的设计，其中值得注意的是，Flume提供了大量内置的Source、Channel和Sink类型。不同类型的Source,Channel和Sink可以自由组合。组合方式基于用户设置的配置文件，非常灵活。比如：Channel可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink可以把日志写入HDFS, HBase，甚至是另外一个Source等等。
如果你以为Flume就这些能耐那就大错特错了。Flume支持用户建立多级流，也就是说，多个agent可以协同工作，并且支持Fan-in、Fan-out、Contextual Routing、Backup Routes。
高可靠性
作为生产环境运行的软件，高可靠性是必须的。
从单agent来看，Flume使用基于事务的数据传递方式来保证事件传递的可靠性。Source和Sink被封装进一个事务。事件被存放在Channel中直到该事件被处理，Channel中的事件才会被移除。这是Flume提供的点到点的可靠机制。
从多级流来看，前一个agent的sink和后一个agent的source同样有它们的事务来保障数据的可靠性。
可恢复性
还是靠Channel。推荐使用FileChannel，事件持久化在本地文件系统里(性能较差)。
概念到此为止，下面开始实战。
Setting up an agent
Agent需要知道哪些组件将被启用，组件如何连接来构成数据流。用户只需要简单地提供一个配置文件来告诉agent该如何去做即可。
例子：事件源于一个netcat source，使用内存Channel，最后使用logger Sink把日志输出到控制台上。(例子源于Flume官方文档，请准备好Linux环境)
Agent是用一个名为flume-ng的脚本来启动的：
Flume 1.3:
$ bin/flume-ng agent -n $agent_name -c conf -f $property_file_path
Flume 1.2和之前版本:
$ bin/flume-ng node -c conf -f $property_file_path -n $agent_name
$agent_name: agent的名字，随便给个名吧，注意和property文件里agent名一致
$property_file_path: 配置文件路径。
下面给出配置文件。(新建一个文件example.conf，粘贴以下内容，并保存)
# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks.k1.type = logger # Use a channel which buffers events in memory a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
该配置文件中agent的名字是a1，所以修改启动命令：
$ bin/flume-ng agent --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console
1.2及更低版本的用户，请把命令中的agent改为node。
接着速速启动Flume agent吧。启动前确保44444端口没有被占用。
启动成功后，使用telnet向Agent发送日志：
$ telnet localhost 44444
会看到如下日志：
Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'.
输入你的日志内容，比如：Hello world!回车发送。
得到如下日志，说明你已经成功发送日志：
$ telnet localhost 44444 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. Hello world! <ENTER> OK
在Flume agent的控制台里你可以看到如下信息：
12/06/19 15:32:19 INFO source.NetcatSource: Source starting
12/06/19 15:32:19 INFO source.NetcatSource: Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
12/06/19 15:32:34 INFO sink.LoggerSink: Event: { headers:{} body: 48 65 6C 6C 6F 20 77 6F 72 6C 64 21 0D Hello world!. }
至此，恭喜你！一个最简单的Flume agent已经正常工作了！
Setting multi-agent flow
设置多agent的流
先给几张官网的图：
大家可以按照官方用户手册来深入学习。