syslog-ng 开源项目教程
项目地址: https://gitcode.com/gh_mirrors/sy/syslog-ng 1. 项目介绍
syslog-ng 是一个增强型的日志守护进程，支持广泛的输入和输出方法，包括系统日志（syslog）、非结构化文本、消息队列、SQL 和 NoSQL 数据库等。它能够接收和发送 RFC3164 和 RFC5424 风格的系统日志消息，以及 JSON 格式的消息。syslog-ng 还提供了强大的日志分类、结构化、归一化和处理功能，能够将日志转发到各种大数据工具，如 Elasticsearch、Apache Kafka 和 Apache Hadoop。
2. 项目快速启动
2.1 安装
首先，确保你已经安装了必要的依赖。然后，你可以通过以下命令从源代码编译和安装 syslog-ng：
$ ./configure && make && make install
如果你没有 configure 脚本（例如从 Git 克隆项目时），可以运行以下命令生成它：
$ ./autogen.sh
2.2 配置
以下是一个简单的配置示例，它从 /dev/log 接收系统日志，并将所有日志写入一个文件：
@version: 4.8
@include "scl.conf"
log {
source { system(); };
destination { file("/var/log/syslog"); };
};
如果你想从网络接收日志（默认使用 TCP/514 端口），可以使用以下配置：
@version: 4.8
@include "scl.conf"
log {
source { system(); network(); };
destination { file("/var/log/syslog"); };
};
2.3 启动
配置完成后，启动 syslog-ng 服务：
$ syslog-ng -f /path/to/your/config/file
3. 应用案例和最佳实践
3.1 日志分类与结构化
syslog-ng 提供了多种内置解析器（如 csv-parser()、db-parser()、kv-parser() 等），可以帮助你分类和结构化日志。例如，以下配置使用 JSON 格式接收结构化日志，并将其输出为键值对格式：
@version: 4.8
@include "scl.conf"
log {
source { system(); };
destination { file("/var/log/app.log" template("$(format-welf --subkeys cim)\n")); };
};
你可以使用 logger 命令提交结构化日志：
$ logger '@cim: ["name1":"value1", "name2":"value2"]'
3.2 日志转发
syslog-ng 可以将日志转发到各种目标，如文件、消息队列（如 AMQP）或数据库（如 PostgreSQL 或 MongoDB）。以下是一个将日志转发到 Elasticsearch 的示例配置：
@version: 4.8
@include "scl.conf"
log {
source { system(); };
destination { elasticsearch(
index("syslog-ng")
type("syslog")
cluster("elasticsearch")
client-mode("http")
time-zone("UTC")
); };
};
4. 典型生态项目
4.1 Elasticsearch
Elasticsearch 是一个分布式搜索和分析引擎，常用于日志和时间序列数据的存储和分析。syslog-ng 可以与 Elasticsearch 集成，将日志数据直接发送到 Elasticsearch 进行存储和分析。
4.2 Apache Kafka
Apache Kafka 是一个分布式流处理平台，常用于构建实时数据管道和流应用。syslog-ng 可以将日志数据发送到 Kafka，以便进一步处理和分析。
4.3 MongoDB
MongoDB 是一个面向文档的 NoSQL 数据库，适用于存储和查询结构化和非结构化数据。syslog-ng 可以将日志数据存储到 MongoDB 中，以便进行高效的查询和分析。
通过这些生态项目的集成，syslog-ng 能够构建强大的日志处理和分析系统，满足各种复杂的日志管理需求。