Elasticsearch+Logstash+Kibana整合Springboot收集日志

1.ELK环境搭建

参考我以前的博客：https://blog.csdn.net/qq_33371766/article/details/103322707

先启动ES、Kibana

2.Logstash添加日志config

D:\workTool\logstash-6.3.2\config 添加test.conf

input{
	tcp {
		mode => "server"
		host => "192.168.75.1"
		port => 9061
		codec => json_lines
	}
}
output{
	elasticsearch{
			hosts=>["192.168.75.1:9200"]
			index => "springboot-study-%{+YYYY.MM.dd}"
	}
	stdout{codec => rubydebug}
}

上面是采用 TCP的方式去采集日志，还可以指定日志文件, 修改 input

input{
	tcp {
		mode => "server"
		host => "192.168.75.1"
		port => 9061
		codec => json_lines
	}
	file {
			path => "D:/logs/elk_info.log"
			type => "systemlog"
			start_position => "beginning"
			stat_interval => "3"
        }
}
output{
	elasticsearch{
			hosts=>["192.168.75.1:9200"]
			index => "springboot-study-%{+YYYY.MM.dd}"
	}
	stdout{codec => rubydebug}
}

启动 logstash： logstash -f ../config/test.conf

3.环境搭建完成，现在集成springboot

3.1 添加依赖

<!--logstash 日志收集-->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>4.9</version>
        </dependency>

3.2 在resources下添加logback-spring.xml 只需把下面ip地址修改自己的ip即可

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/base.xml" />

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>192.168.75.1:9061</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
    </root>
</configuration>

3.3 application.properties 修改配置：

logging:
  level:
    # 配置的日志输出等级
    com.frank: debug
  config: classpath:logback-spring.xml

3.4 在springboot项目的controller打印日志，然后就可以看到启动 Logstash 的控制台有所输出，就可以了。

4. 登录kibana http://192.168.75.1:5601/ ，点击导航栏 monitoring 模块 ---> 点击 Indices ：

4.1 可以看到在 es 里面已经产生该 index、说明日志成功收集。点击 Management 里面的 Index Patterns：

4.2 然后点击 Create index pattern 输入我们在 Logstash 里面配置的 index 的名称进行匹配搜索

4.3 这里因为之前已经创建过一次，这次选择2020.11那个index，点击 next step

4.4 点击Create Index pattern 创建完成

4.5 然后回到 Discover ，保持服务是启动状态，选择刚刚创建的index 可以看到

5.对于 Kibana 提供了很多的可视化图表

你可以选择任意一种图表。接下来选择刚刚创建的index

选择完以后，然后需要构建 X、Y轴(多访问几次，图示效果更好)：

在这里我们可以添加不同的统计方式，然后如上图，我们可以点击右上角的 save 按钮，将我们构造出来的视图保存起来，然后可以通过 Dashboard 将这些试图组装到一个仪表盘上进行展示。

上图就是刚刚保存的结果。