02篇ELK日志系统——升级版集群(加入kafka消息中间件)之kibana和logstash的搭建整合

  前言:01篇LK日志系统已经把es集群搭建好了,接下来02篇搭建kibana和logstash,并整合完成整个ELK日志系统的初步搭建。

 1、安装kibana

     3台服务器:

        192.168.2.119  (119服务器当做集群的主服务器)

        192.168.2.115

        192.168.2.116

     我在119服务器,也就是elasticsearch主节点机上安装kibana

    

     把kibana的安装包放在/usr/local/dev/kibana/目录 下并解压如下:

     1.1、修改kibana的配置,内容如下:

 
 

#配置kibana的端口
server.port: 5601

 
 

#配置kibana监听的ip
server.host: 192.168.2.119

 
 

#配置es服务器的ip,如果是es集群,则配置该集群的主节点ip
elasticsearch.url: "http://192.168.2.119:9200"

 
 

#配置kibana的日志文件路径,不然默认的是messages文件夹里记录日志
logging.dest: /usr/local/dev/kibana/kibana-6.4.2-linux-x86_64/logs/kibana.log

 

      

     1.2、配置完kibana.yml之后,就可以直接启动了,不过我要用service kibana start 命令启动,需要配置此服务命令,如下:

#使用service kibana start  命令来启动kibana服务  (跟昨天配置elasticsearch命令一样,logstash配置此命令也是如此)
cd /etc/init.d
touch kibana
chmod +x kibana

#打开kibana
vi kibana


#输入以下配置内容:

》》》》》》》》》》》》》》》》》》》》》》》》》》》


#!/bin/bash

# chkconfig: 2345 98 02
# description: kibana


KIBANA_HOME=/usr/local/dev/kibana/kibana-6.4.2-linux-x86_64
case $1 in
start) $KIBANA_HOME/bin/kibana &;;
*) echo "require start";;
esac

》》》》》》》》》》》》》》》》》》》》》》》》》》》

     1.3、使用service kibana start命令启动:

    1.4、查看是否成功启动了kibana服务:

     kibana启动成功,浏览器输入192.168.2.119:5601,成功如下:

 

》》》kibana配置成功搞定》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》

     

2、安装logstash

  2.1、接下来在115上安装logstash,我把logstash的安装包放在了/usr/local/dev/logstash/目录下,如下:

   

   2.2、logstash的配置,内容如下:

      要先在logstash的config目录下,新建一个logback-elk.conf配置文件,应该我暂时用logback传输日志到logstash,所以就建了个logback-elk.conf的配置文件,命名随意。

      (暂时还没玩透kafka,所以当前先不用kafka传输日志)

    logback-elk.conf配置的内容如下:

input {
    tcp {  
        port => 9601  #logstash服务开启的端口号
        mode => "server"
        tags => ['tags']
        codec => json_lines    #解析方式为json格式打印
    }
}
output {
        elasticsearch {
                hosts => ["192.168.2.119:9200"]  #elasticsearch 主节点
                index =>"%{[appname]}-%{+YYYY.MM.dd}"  #appname 为在springboot项目中配置logback时用到,指向项目名
        }
        stdout { codec => rubydebug}
}

   

    2.3、检查logback-elk.conf的配置是否有错:出现Configuration OK说明内容配置没什么问题

  

#进入logstash安装目录的bin目录中,使用下面命令检查

./logstash -f ../config/logback-elk.conf --config.test_and_exit


命令说明:
–path.settings 用于指定logstash的配置文件所在的目录
-f 指定需要被检测的配置文件的路径
–config.test_and_exit 指定检测完之后就退出,不然就会直接启动了

     

    2.4、然后再配置logstash的命令启动:service logstash start

#使用service logstash start  命令来启动kibana服务  (跟昨天配置elasticsearch命令一样,logstash配置此命令也是如此)
cd /etc/init.d
touch logstash
chmod +x logstash

#打开logstash
vi logstash


#输入以下配置内容:

》》》》》》》》》》》》》》》》》》》》》》》》》》》

#!/bin/bash

 
 

# chkconfig: 2345 50 50
# description: logstash

 
 


#JAVA_HOME=/usr/local/dev/java/jdk1.8.0_141

 
 

LS_HOME=/usr/local/dev/logstash/logstash-6.4.2
case $1 in
start) $LS_HOME/bin/logstash -f $LS_HOME/config &;;
*) echo "require start";;
esac




》》》》》》》》》》》》》》》》》》》》》》》》》》》

    2.5、启动logstash服务:service logstash start

    

      可能会报错:

        could not find java; set JAVA_HOME or ensure java is in PATH

      解决办法:进入logstash的bin目录,打开logstash.lib.sh文件

      

vi logstash.lib.sh


#在文件里加入JAVA_HOME的地址

JAVA_HOME="/usr/local/dev/java/jdk1.8.0_141"
export JAVA_HOME

 

    

     

      成功如下:

 》》》》》》》到此logstash的安装和启动就完成了》》》》》》》》》》》》》》》》》》》》》》》》

     

   

   当3台服务器上的es集群启动、logstash服务启动、kibana服务启动,都完全启动成功,完美整合,浏览器打开kibana:192.168.2.119:5601,如下:kibana还没有整合配置x-Pack权限插件所以是不用登录的

   

搞完放牛去

猜你喜欢

转载自www.cnblogs.com/spll/p/10948473.html
今日推荐