【Logstash宏观了解】

前言

最近学习了一下logstash,简要来宏观阐述一下.

核心

定义

是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理,

是一款开源的数据搜索引擎,具备实时数据传输能力.可以统一过滤来自不同源的数据,并按照开发者的制定规范输出到目的地.

组成结构    

通过管道进行运作,管道有两个必要的元素,输入和输出,还有一个元素:过滤器

输入插件从数据源获取数据,过滤器插件根据用户指定的数据格式修改数据,输出插件则将数据写入到目的地

• input 数据输入端，可以接收来自任何地方的源数据
• Filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，常用的过滤器如下

• output 是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用

配置文件

input { 
# 从文件读取日志信息 
file {
path => "/var/log/error.log" 
type => "error" 
start_position => "beginning" } }
# filter { # # } 
output {
# 输出到 elasticsearch 
elasticsearch {
hosts => ["ip:端口号"] 
index => "error-%{+YYYY.MM.dd}" } }

总结    
具体详细的配置后面再详细介绍.