ELK logstash 配置语法

数据类型

logstash支持的数据类型有：

• array
  数组可以是单个或者多个字符串值。
  path => [ "/var/log/messages", "/var/log/*.log" ]
  path => "/data/mysql/mysql.log"
  如果指定了多次，追加数组。此实例path数组包含三个字符串元素。
• boolean
  布尔值必须是TRUE或者false。true和false不能有引号。
  ssl_enable => true
• bytes
  指定字节单位。支持的单位有SI (k M G T P E Z Y) 和 Binary (Ki Mi Gi Ti Pi Ei Zi Yi)。Binary单位基于1024，SI单位基于1000。不区分大小写和忽略值与单位之间的空格。如果没有指定单位，默认是byte。
  my_bytes => "1113" # 1113 bytes
  my_bytes => "10MiB" # 10485760 bytes
  my_bytes => "100kib" # 102400 bytes
  my_bytes => "180 mb" # 180000000 bytes
• Codec
  logstash编码名称用来表示数据编码。用于input和output段。便于数据的处理。如果input和output使用合适的编码，就无需单独的filter对数据进行处理。
  codec => "json"
• hash
  键值对，注意多个键值对用空格分隔，而不是逗号。
  match => {
  "field1" => "value1"
  "field2" => "value2"
  ... }
• number
  必须是有效的数值，浮点数或者整数。
  port => 33
• password
  一个单独的字符串。
  my_password => "password"
• path
  一个代表有效的操作系统路径。
  my_path => "/tmp/logstash"
• string
  name => "Hello world"
  name => 'It\'s a beautiful day'

字段引用

logstash字段引用语法。要在 Logstash 配置中使用字段的值，只需要把字段的名字写在中括号 [] 里就行了，这就叫字段引用。还需注意字段层次。如果引用的是一个顶级字段，可以省略[]，直接指定字段名。要引用嵌套的字段，需要指定完整的路径，如[top-level field][nested field]。

下面有五个顶级字段(agent, ip, request, response, ua) 和三个嵌套字段 (status, bytes, os)。

 

1 2 3 4 5 6 7 8 9 10 11 12

{    "agent" : "Mozilla/5.0 (compatible; MSIE 9.0)" ,    "ip" : "192.168.24.44" ,    "request" : "/index.html"    "response" : {      "status" : 200 ,      "bytes" : 52353    } ,    "ua" : {      "os" : "Windows 7"    } }

为了引用os字段，需指定[ua][os]。引用顶级字段如request，可以简单指定request即可。

sprintf格式

字段引用格式也可以用于logstash调用sprintf格式。这种格式可以从其他字符串中引用字段值。如：

 

1 2 3 4 5

output {    statsd {      increment = > "apache.%{[response][status]}"    } }

也可以格式化时间。如：

 

1 2 3 4 5

output {    file {      path = > "/var/log/%{type}.%{+yyyy.MM.dd.HH}"    } }

 

条件判断

使用条件来决定filter和output处理特定的事件。

logstash条件类似于编程语言。条件支持if、else if、else语句，可以嵌套。

条件语法如下：

 

1 2 3 4 5 6 7

if EXPRESSION {    . . . } else if EXPRESSION {    . . . } else {    . . . }

比较操作有：

• 相等: ==, !=, <, >, <=, >=