统一日志系统


GrayLog2    准实时告警/用户权限管理/输出其他系统  

1.    GrayLog2.3 安装 : 

       http://docs.graylog.org/en/2.3/

       只需 [mongoDB配置信息不存数据] + [elasticsearch5.6存储数据]



2.   logstash-gelf插件

      https://marketplace.graylog.org/addons?search=log4j

      通过插件直接发到Graylog2-server,将StackTrace以及自定标记字段,存成json 


3 . 考虑日志流量过大,缓流增加kafka

       增加kafka(版本kafka_2.11-0.10.0.1)后,则不是实时日志告警,分析,准实时。

       通过logstash(2.3.4比较早的版本,用新的5.6有点问题,暂时放弃),他强大的插件   fiter-json  kafka-out

input {
  tcp {
    type => "tcp"
    port => 6666
    mode => "server"
  }
#  stdin{}
}
filter {

      #message里多了一个 \u0000' =====‘'空',替换掉

       mutate {
                gsub => [ "message", '\u0000', '' ]
        }
        json{
            source => "message"
        }      
}
output{
  kafka {

   #如果需要多个系统不同的topic
      topic_id => "%{_self_name}"
      codec => plain {
            format => "%{message}"
            charset => "UTF-8"
        }
      bootstrap_servers => "192.168.xxx.xxx:9092"
   }
}



4.GrayLog2 建一个kafka-input拉取数据显示
  




猜你喜欢

转载自blog.csdn.net/u011739062/article/details/78520671