大数据之Flume

知识点:
旧知识request,session
HttpServletRequrst request
request.getParameter("") 用于获取前台向后台发送的数据,通过表单的name属性获取
request.setAttribute()用于把对象放到request请求对象中,前台可以接受值。
HttpServletRequrst request.getSession()获取session对象
session.setAttribute()用于把对象放到session回话或者作用域中,前台也可以接收的到。。
session.getAttribute()用于获取session对象中的值
联想知识点:
三大指令:page taglib include 
四大作用域:page或pagecontext < request < session < application
新知识flume 是一个日志检测收集系统
flume有两个版本:Flume NG(新),Flume OG(旧)
flume是Cloudera提供的一个分布式,可靠的用于处理不同数据源的海量日志数据,收集(source),
处理(channel),输出(sink)到存储数据的数据源上
Agent是flume的最小运行单元 可以有多个Agent
event是数据传输过程中储存数据的基本单元
单个Agent中的三个组件:source收集资源(avro,端口,文件内部变化数据,文件夹变化),通过event运输到channel的缓冲区,channel可以输出到内存或者hdfs中,最后通过sink将数据发送到指定的地方(logger,hdfs,file,es,solr)
因为在分布式服务中服务器不可能只是一台,所以当两台以上服务器的Agent往一台总得机器上发送数据时

数据类型采用Avro,而且sink可以将数据输出到下一个机器的source上,这样就可以连起来处理了。

猜你喜欢

转载自blog.csdn.net/qq_41950069/article/details/80656342