flume
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
http://baike.baidu.com/view/9540485.htm
http://baike.baidu.com/view/9540485.htm
Scribe是
Facebook
开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央
存储系统
(可以是
NFS
,
分布式文件系统
等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央
存储系统
的网络或者机器出现故障时,scribe会将
日志
转存到本地或者另一个位置,当中央
存储系统
恢复后,scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用,scribe用于向
HDFS
中push日志,而
Hadoop
通过
MapReduce
作业进行定期处理。
[1]