ELK-日志收集工具nxlog
文章目录
前言
nxlog配置有6个可配置的部分，Extension，Processor，Input，Output，Route。其中Route是路由，不需要指定模块，其它都有各自的模块可指定。
官方文档地址-英文
一些内置函数,左侧的3.6章节
安装
官网下载地址,下载nxlog-ce-2.10.2150.msi，点击安装。
64位默认安装路径：C:\Program Files (x86)\nxlog，
32位默认安装路径：C:\Program Files\nxlog，
日志文件默认路径：C:\Program Files (x86)\nxlog\data\nxlog.log。
配置文件路径：C:\Program Files (x86)\nxlog\conf\nxlog.conf。
语法
默认配置文件：
Panic Soft
#NoFreeOnExit TRUE
define ROOT C:\Program Files (x86)\nxlog
define CERTDIR %ROOT%\cert
define CONFDIR %ROOT%\conf
define LOGDIR %ROOT%\data
define LOGFILE %LOGDIR%\nxlog.log
LogFile %LOGFILE%
Moduledir %ROOT%\modules
CacheDir %ROOT%\data
Pidfile %ROOT%\data\nxlog.pid
SpoolDir %ROOT%\data
<Extension _syslog>
Module xm_syslog
</Extension>
<Extension _charconv>
Module xm_charconv
AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
</Extension>
<Extension _exec>
Module xm_exec
</Extension>
<Extension _fileop>
Module xm_fileop
# Check the size of our log file hourly, rotate if larger than 5MB
<Schedule>
Every 1 hour
Exec if (file_exists('%LOGFILE%') and \
(file_size('%LOGFILE%') >= 5M)) \
file_cycle('%LOGFILE%', 8);
</Schedule>
# Rotate our log file every week on Sunday at midnight
<Schedule>
When @weekly
Exec if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
</Schedule>
</Extension>
宏变量
宏可以理解为定义一个变量并赋值。比如
define ROOT C:\Program Files (x86)\nxlog
define指令可以定义宏变量，使用时用两个%号包裹，比如%ROOT %
例子
define BASEDIR /var/log
<Input messages>
Module im_file
File '%BASEDIR%/messages'
</Input>
配置文件默认定义了很多宏，了解即可。
通用模块指令格式
Module 模块名
模块名在C:\Program Files (x86)\nxlog\modules下以.dll后缀结尾(linux以.so格式结尾)，前缀分别是im_, pm_, om_, or xm_。
im:input module缩写，pm：processor module,om:output module,xm:extension module
FlowControl
是否启用流程控制，建议在使用im_uds模块从/dev/log采集本地syslog 的时候禁用掉，不然syslog会阻塞所有写入的动作，假如输出队列还满掉了，系统可能就不响应了
InputType:指定输入类型
只对im_exec, im_ssl, im_tcp, im_udp, and im_uds模块有效，一般不会特意设置
有效值如下
1. LineBased：一行为一个日志，用\n或者\r\n区分
2. Dgram：一旦Buffer用完了，考虑合成一份日志，im_udp模块的时候是默认选项，因为UDP syslog 是分批到达的
3. Binary：转成Nxlog二进制格式
例如
<Input tcp>
Module im_tcp
Port 2345
InputType Binary
</Input>
OutputType：指定输出类型
只能用于 om_file, om_exec, om_ssl, om_tcp, om_udp, and om_uds模块
有效值如下：
1. LineBased：一行为一个日志
2. Dgram：一旦缓冲满了就把缓冲数据作为一行日志，om_udp输出默认是开着的
3. Binary：用nxlog binary格式化输出
Exec: 执行命令
每接收到一条日志信息都会执行一次。在input, processor, and output模块里完全支持，大部分extension模块都不支持（除了 xm_multiline 和 xm_rewrite模块）。每行是一条Exec指令，多行指令使用</kbd>换行,使用分号结尾，放在模块的最后面。
比如单行指令：
Exec $Hostname = 'myhost';
在每行记录里定义了一个变量$Hostname
比如多行指令：
Exec log_info("first"); \
log_info("second");
多行指令也可抱成块形势，上面和下面语句意思一样
<Exec>
log_info("first");
log_info("second");
</Exec>
Schedule：定时器
Every
比如Every 1 sec表示每秒执行。一个整型数字加上单位组成值，缺省单位是秒，有sec, min, hour, day, or week单位可选
First
设置首次执行时间，使用datetime类型的值，比如First 2010-12-17 00:19:06
Exec
执行的指令
When
@yearly Run once a year, "0 0 1 1 *".
@annually (same as @yearly)
@monthly Run once a month, "0 0 1 * *".
@weekly Run once a week, "0 0 * * 0".
@daily Run once a day, "0 0 * * *".
@midnight (same as @daily)
@hourly Run once an hour, "0 * * * *".
这些都是语法，例子
<Input in>
Module im_tcp
Port 2345
<Schedule>
Every 1 sec
First 2010-12-17 00:19:06
Exec log_info("scheduled execution at " + now());
</Schedule>
<Schedule>
When 1 */2 2-4 * *
Exec log_info("scheduled execution at " + now());
</Schedule>
</Input>
Route模块
这个是最简单模块。指定路由方式。
语法
<Route ROUTE_NAME>
Path IN_NAME => PRO_NAME => OUT_NAME
</Route>
比如
<Input in_file>
Module im_file
File "D:\\jar\\dongli\\logs\\spring-boot.log"
SavePos TRUE
Exec convert_fields("auto", "utf-8");
</Input>
<Output out_file>
Module om_file
File 'D:\666.log'
</Output>
<Route 1>
Path in_file => out_file
</Route>
Extension模块
一些前期引入的操作
这个模块一般我们不用动它，默认配置了几个
<Extension _syslog>
Module xm_syslog #收集事件日志，所有的事件日志默认都被收集
</Extension>
将 xm_syslog换成xm_json表示系统日志格式为json。
<Extension charconv>
Module xm_charconv
</Extension>
解决文件内容中解析失败问题
Input
参考
数据输入，可选模块如下图：
常用的是im_msvistalog和im_file
<Input in_win_system>
#im_msvistalog支持的是2003之后的版本
Module im_msvistalog
#im_mseventlog支持的是2003之前版本
# Module im_mseventlog
</Input>
<Input in_win_system>
Module im_msvistalog
</Input>
具体例子
im_file模块：获取springboot.log日志
注意文件使用\
<Input test11>
Module im_file
File "D:\\jar\\dongli\\logs\\spring-boot.log"
SavePos TRUE
Exec convert_fields("auto", "utf-8");
Exec $name="chenyuan";
</Input>
比如文件存在多个，使用,如：File "D:\jar\dongli\logs\.log"
支持的配置：
- SavePos：保存上次读取位置，默认true
- Recursive：是否递归子目录文件，例如目录设置为/var/log/*.log，那么/var/log/apache2/access.log也会被匹配，默认是true
- ReadFromLast:从最新文件去读，默认true,和SavePos配合使用，一般不设置。具体可参考英文描述
This optional boolean directive instructs the module to only read logs which arrived after NXLog was started if the saved position could not be read (for example on first start). When SavePos is TRUE and a previously saved position value could be read, the module will resume reading from this saved position. If ReadFromLast is FALSE, the module will read all logs from the file. This can result in quite a lot of messages, and is usually not the expected behavior. If this directive is not specified, it defaults to TRUE.
- PollInterval：多久检查文件变化，默认是1秒(1 second),如果设置为2秒，就是2 second
- DirCheckInterval:检查目录下文件变化，比如增加新文件，如果PollInterval设置了就以PollInterval时间为准，默认是2秒（2 seconds）
im_exec执行命令：使用tail命令读取文件 - CloseWhenIdle:空闲时是否关闭输入流，默认是FALSE
<Input messages>
Module im_exec
Command /usr/bin/tail
Arg -f
Arg /var/log/messages
</Input>
output
数据输入，可选模块如下图：
模块指定发送方式
om_tcp/om_udp：以tcp、udp方式发送
om_http：http方式发送
on_ssl:加密方式发送
on_file:输出到文本
on_tcp/om_udp
<Output out_tcp>
Module om_tcp
Host 192.168.1.238
Port 514
</Output>
on_file
<Output out_file>
Module om_file
File 'D:\666.log'
</Output>
on_ssl
语法
<Output out>
Module om_ssl
Host DST_IP
Port DST_PORT
CAFile CA_CERT
CertFile CLIENT_CERT
CertKeyFile CLENT_KET
KeyPass PASSWORD
AllowUntrusted TRUE
Exec $raw_event = to_json();
</Output>
说明：
- DST_IP：为发送的目的主机IP地址，或者也可以是域名
- DST_PORT: 为发送目的主机端口
- CA_CERT：为CA证书路径
- CLIENT_CERT：为在服务端为客户机生成的证书
- CLIENT_KEY：为在服务端为客户主机生成的key
- PASSWORD：证书密码，默认设置为“123456”可修改，根据证书生成时的密码决定
<Output out>
Module om_ssl
Host 192.168.161.96
Port 1514
CAFile %CERTDIR%\ca-cert.pem
CertFile %CERTDIR%\client-cert.pem
CertKeyFile %CERTDIR%\client-key.pem
KeyPass 123456
AllowUntrusted TRUE
Exec $raw_event = to_json();
</Output>
修改输出内容
使用$raw_event变量
比如，下面在输出的日志状况添加一个ip
<Output out_file>
Module om_file
File 'D:\666.log'
Exec $raw_event = "192.168.161.63 " + $raw_event;
</Output>
例子
读取/var/log/message传给logstash
<Input messages>
Module im_file
File "/var/log/messages"
</Input>
<Output tcp>
Module om_tcp
Host 192.168.1.238
Port 514
</Output>
<Route messages_to_tcp>
Path messages => tcp
</Route>
读取windows事件发送给logstash
<Extension _syslog>
Module xm_syslog
</Extension>
<Input in>
Module im_msvistalog
# For windows 2003 and earlier use the following:
# Module im_mseventlog
ReadFromLast FALSE
SavePos FALSE
Query <QueryList>\
<Query Id="0">\
<Select Path="Security">*</Select>\ #配置为只发送Security Log
</Query>\
</QueryList>
</Input>
<Output out>
Module om_tcp
Host 192.168.1.238
Port 514
Exec to_syslog_snare();
</Output>
<Route 1>
Path in => out
</Route>
配置为同时接收多个事件日志
<Input in>
Module im_msvistalog
# For windows 2003 and earlier use the following:
# Module im_mseventlog
ReadFromLast FALSE
SavePos FALSE
Query <QueryList>\
<Query Id="0">\
<Select Path="Application">*</Select>\
<Select Path="System">*</Select>\
<Select Path="Security">*</Select>\
</Query>\
</QueryList>
</Input>