ELK6部署及基本使用

ELK可集中式、收集管理各服务器节点的日志信息，可视化统一展示，方便开发、运维技术等人员查看日志。

• 环境准备
  1). ELK软件版本
  elastic系列6.8.0版本，使用rpm包安装。
  elastic系列软件下载地址：https://www.elastic.co/cn/downloads/past-releases
  2). OS环境
  CentOS7
  3). JDK版本
  JDK8版本
  4). ELK架构实现方案
  ELK + Filebeat方式实现，架构如下图：
  
  Filebeat负责收集各服务器节点系统、应用的日志，并发送给Logstash。
  Logstash负责处理来自Filebeat的日志，处理后日志保存ElasticSearch索引。
  ElasticSearch存储来自Logstash的日志。
  Kibana从ElasticSearch搜索日志，并可视化展示。
• 安装部署
  1). 安装Java8

  yum install -y java-1.8.0-openjdk

  2). 配置elastic的yum仓库
  导入PGP Key

  rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

  配置yum源

  cat >>/etc/yum.repos.d/elk.repo<<EOF
  [ELK-6.x]
  name=ELK repository for 6.x packages
  baseurl=https://artifacts.elastic.co/packages/6.x/yum
  gpgcheck=1
  gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  autorefresh=1
  type=rpm-md
  EOF

  3). 安装配置ElasticSearch

  yum install -y elasticsearch

  ElasticSearch主配置文件修改 /etc/elasticsearch/elasticsearch.yml

  cluster.name: preventfraud-elk
  node.name: preventfraud-node
  path.data: /data/elasticsearch/data
  path.logs: /data/elasticsearch/logs
  network.host: 10.20.1.75
  http.port: 9200

  主要修改cluster集群、node节点名称，这里ElasticSearch为单节点；还有data数据节点，ElasticSearch存储大量索引信息，需要大容量磁盘空间；log日志目录；网络及端口信息。
  启动ElasticSearch服务

  systemctl daemon-reload
  systemctl enable elasticsearch
  systemctl start elasticsearch

  4). 安装Logstash

  yum install -y logstash

  生成SSL证书，crt文件后面需加入到Filebeat中。

  openssl req -subj '/CN=server.example.com/' -x509 -days 3650 -nodes -batch -newkey rsa:2048 -keyout /etc/pki/tls/private/logstash.key -out /etc/pki/tls/certs/logstash.crt

  启动Logstash服务

  systemctl enable logstash
  systemctl start logstash

  处理来自Filebeat的系统、应用的配置文件目录。
  /etc/logstash/conf.d/
  4). 安装Kibana

  yum install -y kibana

  启动kibana服务

  扫描二维码关注公众号，回复： 11714084 查看本文章

  systemctl daemon-reload
  systemctl enable kibana
  systemctl start kibana

  5). 安装Filebeat
  各日志目标客户端配置yum源

  cat >>/etc/yum.repos.d/elk.repo<<EOF
  [ELK-6.x]
  name=ELK repository for 6.x packages
  baseurl=https://artifacts.elastic.co/packages/6.x/yum
  gpgcheck=1
  gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  enabled=1
  autorefresh=1
  type=rpm-md
  EOF

  安装filebeat

  yum install -y filebeat

  从ELK服务端copy SSL证书 logstash.crt文件到filebeat的/etc/pki/tls/certs/中。

  scp server.example.com:/etc/pki/tls/certs/logstash.crt /etc/pki/tls/certs/

  启动filebeat服务

  systemctl enable filebeat
  systemctl start filebeat

• 实施