filebeat的配置文件说明

filebeat.prospectors:

- input_type: log

  paths:

    - /tmp/fblog/*        #指定采集文件的路径，可多级匹配

  fields:                 #为采集的信息中添加字段

    topicName: TEST2

hostIP: 192.168.100.130

Line_breaker: \n  #指定换行符

  fields_under_root: true

  encoding: gbk     #设置信息的编码格式  

clean_removed: true     #当文件被删除时，filebeat关闭文件的读取处理和clearn_remove一起使用

close_removed: true   #当文件在磁盘中找不到时，清理注册表中的文件信息

ignore_older: 25h  #超过该时间之前更新的文件filebeta不采集，默认关闭

close_inactive: 1m  #当harvester读取文件最后一行后，在该时间内文件内容没有变化就关闭文件句柄(file handle)。官方建议将这个参数设置为一个比文件最大更新间隔大的值默认值为5min.

close_timeout: 5m  #harvester采集文件的生命周期，超过设定时间就关闭采集，等待scan_frequency下一次重新开始读取文件

clean_inactive: 26h  #从注册表中删除先前收获的文件的状态 设置需要大于ignore+scan_frequency,确保在文件仍收集时不被删除状态

scan_frequency: 30s  #设置filebeat搜索新更新文件的频率

 

  #多行合并匹配规则，实例是根据时间为开头的信息为一行

multiline.pattern: '^(.?)[0-9]{1,4}[-|:][0-9]{1,}'

  multiline.negate: true

  multiline.match: after   #多行内容添加到模式匹配行之后

 

#================================ Outputs =====================================

output.kafka:

  enabled: true

  hosts: ["192.168.1.145:9092"]  #kafka的ip和port

  topic: filebeat     #指定输出到的topicname