Filebeat中文指南

Filebeat中文指南

下面的博客是公司里使用filebeat的实例,可以直接借鉴,有问题可以向我反馈。

Filebeat 快速开始: http://www.cnblogs.com/kerwinC/p/8866471.html

一、概述

Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读),并且转发这些信息到elasticsearch或者logstarsh中存放。

以下是filebeat的工作流程:当你开启filebeat程序的时候,它会启动一个或多个探测器(prospectors)去检测你指定的日志目录或文件,对于探测器找出的每一个日志文件,filebeat启动收割进程(harvester),每一个收割进程读取一个日志文件的新内容,并发送这些新的日志数据到处理程序(spooler),处理程序会集合这些事件,最后filebeat会发送集合的数据到你指定的地点。

(个人理解,filebeat是一个轻量级的logstash,当你需要收集信息的机器配置或资源并不是特别多时,使用filebeat来收集日志。日常使用中,filebeat十分稳定,笔者没遇到过宕机。)

二、Filebeat入门

开始配置使用filebeat之前,你需要安装并配置好这些依赖程序:

Elasticsearch 作为存储和索引这些数据。

Kibana 作为展示平台。

Logstash(可选)去插入数据到elasticsearch。

详见 beat和elastic的入门

在安装完毕elastic集群之后,阅读接下来的选项学习怎样安装,配置,与运行filebeat。

第一步:安装filebeat
请选择你系统中的下载安装命令来下载安装filebeat。(deb for Debian/Ubuntu, rpm for Redhat/Centos/Fedora, mac for OS X, and win for Windows).

如果你使用yum或者apt,你可以从我们的安装仓库中更方便的安装或更新到新版本。

deb:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-amd64.deb

sudo dpkg -i filebeat-5.1.1-amd64.deb

rpm:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-x86_64.rpm

sudo rpm -vi filebeat-5.1.1-x86_64.rpm

mac:

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.1.1-darwin-x86_64.tar.gz

tar xzvf filebeat-5.1.1-darwin-x86_64.tar.gz

win:

略。

第二步:配置filebeat
编辑配置文件来配置filebeat,对于rpm或者deb来说,配置文件是/etc/filebeat/filebeat.yml这个文件,对于MAC或者win来说,请查看你的解压文件中。

这里有一个简单的filebeat的配置文件filebeat.yml的样本,filebeat会使用很多默认的选项。

---------------prospectors块----------------

filebeat.prospectors:

  • input_type: log
    paths:
    • /var/log/*.log

      - c:\programdata\elasticsearch\logs*

让我们来配置filebeat:

1、定义你的日志文件的路径(一个或多个)

对于大多数的基本filebeat配置,你可以定义一个单一探测器针对一个单一的路径,例如:

#---------------prospectors块----------------

1
2
3
4
filebeat.prospectors:

  • input_type: log
    paths:
    • /var/log/*.log
      #json.keys_under_root: true 若收取日志格式为json的log,请开启此配置
        

在这个例子中,探测器会收集/var/log/*.log的所有匹配文件,这意味这filebeat会手机所有的/var/log下以.log结尾的文件,此处还支持Golang Glob支持的所有模式。

在预定义级别的子目录中获取所有文件,可以使用这个配置:/var/log//.log,这会找到/var/log下所有子目录中所有的以.log结尾的文件。但它并不会找到/var/log文件夹下的以.log结尾的文件。现在它还不能递归的在所有子目录中获取所有的日志文件。

如果你设置输出到elasticsearch中,那么你需要在filebeat的配置文件中设置elasticsearch的IP地址与端口。

#-----------------elastic output(一般都不直接输出到elastic,不建议配置)-----------

output.elasticsearch:
hosts: ["192.168.1.42:9200"]
  

如果你设置输出到logstarsh,那么请参考第三步,配置filebeat使用logstarsh

第三步:配置filebeat或elasticsearch使用logstarsh

如果要使用logstash对filebeat收集起来的数据执行其他处理,你需要配置filebeat使用logstash。

你需要编辑filebeat的配置文件,注释elasticsearch的选项,并打开logstash的配置的注释:

----------------------------- Logstash output --------------------------------

output.logstash:
hosts: ["127.0.0.1:5044"]

hosts选项需要指明logstash服务所监听的地址和它的端口。

注:若要测试你的配置文件,切换到你安装好的filebeat的可执行文件的目录,然后在命令行运行以下选项:./filebeat -configtest -e ,确保您的配置文件在默认配置文件目录下,见 目录布局。

在使用这个配置之前,你需要提前设置好logstash来接收数据。

如果想不通过logstash直接入库到elasticsearch,可注释掉logstash入库部分,直接打开elasticsearch入库部分即可。不建议直接写入es。

output.elasticsearch:

hosts: ["localhost:9200"]

第四步:启动filebeat

rpm安装:

sudo /etc/init.d/filebeat start

现在,filebeat已经准备好读取你的日志文件并发送到你定义的输出中了!

2018.04.17 更新 Filebeat 快速开始: http://www.cnblogs.com/kerwinC/p/8866471.html

Filebeat 快速开始

Filebeat可以做什么
条目
filebeat
编写语言 GO
是否支持多输出 支持
是否支持多输入 支持
是否支持修改日志内容 支持
是否会丢数据 不会
对多行文件的合并 支持
对多层目录的模糊匹配 支持
安装配置 简单
内存占用 10MB
filebeat安装
系统版本:Centos7.2

filebeat版本:5.5.1。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-x86_64.rpm

安装命令

rpm -Uvh filebeat-5.5.1-x86_64.rpm

配置文件路径

/etc/filebeat/filebeat.yml

日志文件路径

/var/log/filebeat

注意 每次新启动都会生成一个新的filebeat,上次启动的会被mv为filebeat.1

启动命令

systemctl restart filebeat

配置文件模板

注意!文件格式为yml,对格式(缩进必须使用空格,注意不要遗漏“-”)有严格要求。

复制代码

=========================== Filebeat prospectors 文件探测器 =============================

filebeat.prospectors:  #文件探测器

  • input_type: log  #探测类型,日志文件
    paths: #路径
    • /data/w/www//logs/request.log  #注意,通配符的存在使得相同目录结构的工程日志都会被收集到。
      #json.keys_under_root: true 若收取日志格式为json的log,请开启此配置
      document_type: request #日志类型,也就是elastic索引的type,请见文章随后详细解释1
      fields:
      topic: log_common #增加fields.topic:"application_log"字段,用于kafka的多topic配置。
  • input_type: log 
    paths: 
    • /data/w/www/*/logs/dubbo-access-consumer.log
      multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}' #对于多行的的日志处理,请见文章随后的详细解释2
      multiline.negate: true
      multiline.match: after
      document_type: dubbo_consumer
      topic: application_log  

----------------------------- kafka output --------------------------------

output.kafka:  #输出到kafka
hosts: ["kafka4.dp.data.cn1.wormpex.com:9092", "kafka5.dp.data.cn1.wormpex.com:9092", "kafka6.dp.data.cn1.wormpex.com:9092"] #kafka-broker地址
topic: '%{[fields.topic]}' #输出到哪个topic(就是日志探测哪里定义的fields.topic,利用变量自动发送到不同topic)
partition.round_robin:
reachable_only: false
required_acks: 1
compression: gzip
max_message_bytes: 100000000 #单条日志大小不超过10MB(笔者公司日志出现过单条好几MB的情况。。。)

----------------------------- Logstash output --------------------------------

output.logstash:

# The Logstash hosts

hosts: ["logstash1.ops.sys.cn1.wormpex.com:5044"] #logstash需要开启input beta插件,启动监听5044端口

复制代码
注解:

注解1:fields.topic

  定义了这种类型的日志将要发到哪个topic里面,在kafka配置中的topic作为变量使用。

注解2:multiline.pattern

  公司有java工程做web服务器的同学都知道,在我们生产中,java经常会在日志中打印堆栈信息,类似:

2018-04-17 15:12:25.185 IndexNotFoundException[no such index]
at org.elasticsearch.cluster.metadata.IndexNameExpressionResolver$WildcardExpressionResolver.resolve(IndexNameExpressionResolver.java:566)
at org.elasticsearch.cluster.metadata.IndexNameExpressionResolver.concreteIndices(IndexNameExpressionResolver.java:133)
at org.elasticsearch.cluster.metadata.IndexNameExpressionResolver.concreteIndices(IndexNameExpressionResolver.java:77)
at org.elasticsearch.action.admin.indices.delete.TransportDeleteIndexAction.checkBlock(TransportDeleteIndexAction.java:75)
若直接按行收集的话,在kibana里展示没有上下文,令人无法观看。
此配置的功能就是把堆栈信息合并到带有日期的开头的日志中,并作为一条发送出去,这样在kibana里展示就清晰可见了。

猜你喜欢

转载自www.cnblogs.com/Leo_wl/p/8975435.html

相关文章