scribe,flume

flume

 
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
http://baike.baidu.com/view/9540485.htm
http://baike.baidu.com/view/9540485.htm
Scribe是 Facebook 开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央 存储系统 (可以是 NFS 分布式文件系统 等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央 存储系统 的网络或者机器出现故障时,scribe会将 日志 转存到本地或者另一个位置,当中央 存储系统 恢复后,scribe会将转存的日志重新传输给中央存储系统。其通常与Hadoop结合使用,scribe用于向 HDFS 中push日志,而 Hadoop 通过 MapReduce 作业进行定期处理。 [1]

猜你喜欢

转载自haiker.iteye.com/blog/1815450