ELK实战之Elasticsearch

其他 2018-06-22 10:35:56 阅读次数: 3

ELKStack简介

ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。

ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：

• 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用； 
• 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计； 
• 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应； 
• 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的； 
• 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。

ELK地址：https://www.elastic.co/ 
Logstash 最佳实践：http://udn.yyuap.com/doc/logstash-best-practice-cn/index.html 
Elasticsearch 权威指南：http://www.learnes.net/index.html 
ELKStack中文社区：https://kibana.logstash.es/content/

　　对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Logstash(jruby)、Kibana技术栈的结合，一个通 用的架构如下图所示： 
image_1bb3edvi17us1nkvaokvi5arv9.png-142.1kB
图片解释：elk 前面主要靠logstash来进行收集日志，logstash将日志上传到broker上，后面还有一个logstash用来读取broker中的日志，在将日志存储到es里面，最后用kibana练到es上进行展示

提示：我们可以将Elasticsearch简称为es

Elasticsearch介绍

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。

Elasticsearch部署

　　Elasticsearch首先需要Java环境，所以需要提前安装好JDK，可以直接使用yum安装。也可以从Oracle官网下载JDK进行安装。开始之前要确保JDK正常安装并且环境变量也配置正确：

环境介绍

 
 
     
  
  1. [root@abcdocker ~]# 
    2.  
  
  2. [root@abcdocker ~]# df -h
    3.  
  
  3. Filesystem Size Used Avail Use% Mounted on
    4.  
  
  4. /dev/sda1 20G 2.4G 18G 12% /
    5.  
  
  5. devtmpfs 903M 0 903M 0% /dev
    6.  
  
  6. tmpfs 912M 0 912M 0% /dev/shm
    7.  
  
  7. tmpfs 912M 8.6M 904M 1% /run
    8.  
  
  8. tmpfs 912M 0 912M 0% /sys/fs/cgroup
    9.  
  
  9. tmpfs 183M 0 183M 0% /run/user/0
    10.  
  
  10. [root@abcdocker ~]# free -m
    11.  
  
  11.  total used free shared buff/cache available
    12.  
  
  12. Mem: 1823 328 1113 8 381 1322
    13.  
  
  13. Swap: 0 0 0
    14.  
  
  14. [root@abcdocker ~]# cat /etc/redhat-release 
    15.  
  
  15. CentOS Linux release 7.3.1611 (Core) 
    16.  
  
    17.  
  
  17. 本次使用2台服务器来进行模拟集群，所以请准备2台服务器
    18.  
 
 
 
安装JDK
 
 
 
 
 
 
     
  
  1. [root@linux-node1 ~]# yum install -y java
    2.  
  
  2. [root@linux-node1 ~]# java -version
    3.  
  
  3. openjdk version "1.8.0_65"
    4.  
  
  4. OpenJDK Runtime Environment (build 1.8.0_65-b17)
    5.  
  
  5. OpenJDK 64-Bit Server VM (build 25.65-b01, mixed mode)
    6.  
 
 
 
源码安装JDK
 
 
 
 
 
 
     
  
  1. 下载安装http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    2.  
  
    3.  
  
  3. 配置Java环境
    4.  
  
  4. # tar zxf jdk-8u91-linux-x64.tar.gz -C /usr/local/
    5.  
  
  5. # ln –s /usr/local/jdk1.8.0_91 /usr/local/jdk
    6.  
  
    7.  
  
  7. # vim /etc/profile
    8.  
  
  8. export JAVA_HOME=/usr/local/jdk
    9.  
  
  9. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    10.  
  
  10. export PATH=$PATH:$JAVA_HOME/bin
    11.  
  
  11. # source /etc/profile
    12.  
  
    13.  
  
  13. 看到如下信息，java环境配置成功
    14.  
  
  14. # java -version
    15.  
  
  15. java version "1.8.0_91"
    16.  
  
  16. Java(TM) SE Runtime Environment (build 1.8.0_91-b14)
    17.  
  
  17. Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
    18.  
 
 
 
 
 
配置安装ElasticSearch
 
 
可以使用源码，或者yum 
一、yum安装
 
 
 
 
 
 
     
  
  1. 1.下载并安装GPG key
    2.  
  
  2. [root@linux-node1 ~]# rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
    3.  
  
    4.  
  
  4. 2.添加yum仓库
    5.  
  
  5. [root@linux-node1 ~]# cat /etc/yum.repos.d/elasticsearch.repo
    6.  
  
  6. [elasticsearch-2.x]
    7.  
  
  7. name=Elasticsearch repository for 2.x packages
    8.  
  
  8. baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
    9.  
  
  9. gpgcheck=1
    10.  
  
  10. gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
    11.  
  
  11. enabled=1
    12.  
  
    13.  
  
  13. 3.安装elasticsearch
    14.  
  
  14. [root@hadoop-node1 ~]# yum install -y elasticsearch
    15.  
 
 
 
二、源码安装
 
 
 
 
 
 
     
  
  1. [root@CentOS6 home]# wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz #下载elasticsearch
    2.  
  
    3.  
  
  3. [root@CentOS6 home]# tar xf elasticsearch-1.7.2.tar.gz -C /usr/local/ #解压elasticsearch
    4.  
  
  4. [root@CentOS6 home]# ln -s /usr/local/elasticsearch-1.7.2 /usr/local/elasticsearch #创建软连接
    5.  
 
 
 
三、配置elasticsearch
 
 
 
 
 
 
     
  
  1. 修改配置文件
    2.  
  
  2. [root@abcdocker ~]# vim /etc/elasticsearch/elasticsearch.yml
    3.  
  
  3. cluster.name: myes 　 #ES集群名称
    4.  
  
  4. node.name: abcdocker-node-1 　#节点名称
    5.  
  
  5. path.data: /data/es-date #数据存储的目录（多个目录使用逗号分隔）
    6.  
  
  6. path.logs: /var/log/elasticsearch #日志格式
    7.  
  
  7. bootstrap.memory_lock: true #锁住es内存，保证内存不分配至交换分区
    8.  
  
  8. network.host: 192.168.56.11 #设置本机IP地址
    9.  
  
  9. http.port: 9200 #端口默认9200
    10.  
 
 
 
四、设置数据目录权限
 
 
 
 
 
 
     
  
  1. [root@abcdocker ~]# chown -R elasticsearch:elasticsearch /data/es-date/
    2.  
  
  2. #这个是我们存放数据的目录，手动创建
    3.  
 
 
 
es默认发现有组播和单播，组播就是都加入到一个组里面，单播就是一对一通信
 
 
提示： yum安装时会少了许多配置，如果编译安装就会产生很多。
 
 
五、启动
 
 
 
 
 
 
     
  
  1. 启动es
    2.  
  
  2. [root@abcdocker ~]# systemctl start elasticsearch.service
    3.  
  
  3. [root@abcdocker ~]# netstat -lntup
    4.  
  
  4. Active Internet connections (only servers)
    5.  
  
  5. Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name 
    6.  
  
  6. tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 532/sshd 
    7.  
  
  7. tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 724/master 
    8.  
  
  8. tcp6 0 0 192.168.56.11:9200 :::* LISTEN 2125/java 
    9.  
  
  9. tcp6 0 0 192.168.56.11:9300 :::* LISTEN 2125/java 
    10.  
  
  10. tcp6 0 0 :::22 :::* LISTEN 532/sshd 
    11.  
  
  11. tcp6 0 0 ::1:25 :::* LISTEN 724/master 
    12.  
  
    13.  
  
  13. 端口默认：9200
    14.  
 
 
 
本次环境我们使用2台服务器，这2台服务器的服务搭建可以跟上面的步骤相同即可
 
 
访问测试：http://IP:9200 
image_1bb3et6fe649jq01520iad1deum.png-43.7kB
 
 
Elasticsearch提供了非常多的插件，还可以使用curl进行通讯
 
 
我们可以使用curl来查看es里面有什么内容
 
 
 
 
 
 
     
  
  1. [root@abcdocker ~]# curl -i -XGET 'http://192.168.56.11:9200/_count?'
    2.  
  
  2. HTTP/1.1 200 OK
    3.  
  
  3. Content-Type: application/json; charset=UTF-8
    4.  
  
  4. Content-Length: 59
    5.  
  
    6.  
  
  6. {"count":0,"_shards":{"total":0,"successful":0,"failed":0}}[
    7.  
  
  7. 解释：
    8.  
  
  8. 返回头部200，执行成功0个，返回0个
    9.  
 
 
 
Elasticsearch有很多插件，但是有的插件好用但是收费
 
 
 
 
Elasticsearch插件介绍
 
 
一、Haed插件 
插件作用：主要是做es集群管理的插件 
Github下载地址：https://github.com/mobz/elasticsearch-head
 
 
 
 
 
 
     
  
  1. 下载方式：
    2.  
  
  2. [root@abcdocker ~]# /usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head
    3.  
  
    4.  
  
  4. -> Installing mobz/elasticsearch-head...
    5.  
  
  5. Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...
    6.  
  
  6. Downloading ...................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
    7.  
  
  7. Verifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...
    8.  
  
  8. NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
    9.  
  
  9. Installed head into /usr/share/elasticsearch/plugins/head
    10.  
  
    11.  
  
  11. 下载完会在/usr/share/elasticsearch/plugins/目录下产生插件目录
    12.  
 
 
 
访问：http://ip地址:9200/_plugin/head/ 
image_1bb3f1s51128mt2hhk41ip51gdq13.png-45.7kB
 
 
二、Bigdesk插件 
插件作用：性能监控 
Github下载：https://github.com/lukas-vlcek/bigdesk
 
 
提示：因为我们使用yum安装的最新版本，bigdesk暂时不支持最新版本
 
 
 
 
 
 
     
  
  1. [root@abcdocker ~]# /usr/share/elasticsearch/bin/elasticsearch -V
    2.  
  
  2. OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N
    3.  
  
  3. Version: 2.4.4, Build: fcbb46d/2017-01-03T11:33:16Z, JVM: 1.8.0_121
    4.  
 
 
 
image_1bb3f3q6h1vo217aa5vkbgu2rr1g.png-21.6kB
 
 
正常访问地址：http://localhost:9200/_plugin/bigdesk/
 
 
Bigdesk 1.x 
image_1bb3f4gl21t6i5th1lr8it21mv1t.png-151.1kB
 
 
Bigdesk 2.X 
image_1bb3f4qkpofg1rli17eq1tu4100j2a.png-147.1kB
 
 
三、Kopf插件 
插件作用：kopf是一个简单的网络管理工具 
Kopf不再维护。已经开发了替代品（cerebro），目前维护在https://github.com/lmenezes/cerebro。在这一点上，cerebro应该有相当于kopf的功能，顶部有一些新的功能。
 
 
Github地址：https://github.com/lmenezes/elasticsearch-kopf
 
 
 
 
 
 
     
  
  1. 安装
    2.  
  
  2. [root@abcdocker ~]# /usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf
    3.  
  
  3. -> Installing lmenezes/elasticsearch-kopf...
    4.  
  
  4. Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip ...
    5.  
  
  5. Downloading ................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONE
    6.  
  
  6. Verifying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip checksums if available ...
    7.  
  
  7. NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)
    8.  
  
  8. Installed kopf into /usr/share/elasticsearch/plugins/kopf
    9.  
 
 
 
访问地址：http://192.168.56.11:9200/_plugin/kopf/ 
image_1bb3fm4pn10s960c1gaoajcfg62n.png-26.4kB
 
 
 
 
插件使用
 
 
1、Head插件使用介绍 
现在我们已经将插件安装完成，这时候里面还没有数据。我们现在往里面写一些数据 
image_1bb3fnf4r1249aaa7qs1b731akn34.png-62kB
点击提交
 
 
image_1bb3fnnu11948d611p4v2q3ptg3h.png-40kB
_index：创建了一个索引index-demo 
_type：创建了一个类型test 
total：分片2个 
Successful：成功1个 
Failed：失败0个 
Created：状态成功
 
 
我们点击概览，点击连接 
image_1bb3fo72lpkl58qib5b9k1e483u.png-47.7kB
我们写一篇文档会帮我们分成5片（0-4，可以修改成多个），粗线代表主分片细线代表副本分片（可以理解为一主一备）正常情况下会将主分片和副本分片放在2台机器上
 
 
集群健康值介绍： 
黄色代表没有主分片数据丢失，但是现在不是健康的状态（警告）应该有10个分片，现在只有5个。 
红色代表有数据丢失 
绿色代表正常
 
 
提示：es支持一个类似于快照的功能，方便我们用于数据备份
 
 
Es索引信息 
image_1bb3fpc8vt6jjpjo3ssoiu274b.png-57.7kB
 
 
这里索引信息是open代表我们可以将它给关闭掉，这样就不会继续使用这个索引进行搜索 
image_1bb3fpmi3sv1p3r1rlq1kft1s6g4o.png-42.6kB
关闭索引 
image_1bb3fpu4e14ucj2bsn311471uss55.png-36.1kB
image_1bb3fq30112ukudi77kiii1ad05i.png-34.4kB
 
 
除了支持关闭和开启索引，同样也支持删除 
image_1bb3fqdvp8h51p7f2441vtj6df5v.png-56.5kB
提示：删除之后索引数据是无法恢复的
 
 
 
  
Head插件小缺点： 当我们索引特别多的时候，打开head至少需要五分钟。因为它要把所有的索引都扫描一遍进行展示，这时候打开使用的带宽也会特别大（不会出现超时，一直等待就可以）
 
 
 
 
2、kopf插件使用介绍 
访问地址：http://192.168.56.11:9200/_plugin/kopf/ 
image_1bb3frrl31ltrl1c1d5g1mm71ot56c.png-21.4kB
我们可以看到索引、分片、文档数量、大小以及jvm使用情况、disk、cpu、load等 
image_1bb3fs3bqjqf82m1h9j1v9s1d3l6p.png-13kB
我们点击节点，就可以看到更详细的硬件信息（实时变化） 
image_1bb3fsbd31ipaf781ksk1e662dn76.png-24.6kB
 
 
同样kopf也支持head的插件，支持请求 
（生产场景这个信息主要给开发使用） 
image_1bb3fspfir7v141i1frnf9r19g67j.png-18.3kB
提示：es是有自己的查询语言，可以写的很复杂。
 
 
其他功能 
image_1bb3fte4ooub13n8eci1k0crc80.png-48.3kB
 
 
 
  
▲ Create index： 创建索引: 
▲ Cluster settings： 集群设置: 
▲ Aliases： 别名: 
▲ Analysis： 分析: 
▲ Percolator： 过滤器: 
▲ Snapshot： 快照 
▲ Index templates： 索引模板: 
▲ Cat apis： api 
▲ Hot threads： 热线程:
 
 
 


                    
                    
                    
                    
                    
                    
                    
                    
                    

                        
猜你喜欢

                        

                            
                            
                        

                    


                    
转载自blog.csdn.net/weixin_37934134/article/details/79892146

                    

                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                        
                    

                    


                

            

            


                

                    

                        
                        
                        
                        
                    


                    

                        

                            

                                今日推荐
                            


                            

                        

                    

                    

                        

                            

                                LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
                            

                        

                        

                            

                                国产云输入法——仅华为无云端数据上传安全问题
                            

                        

                        

                            

                                开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
                            

                        

                        

                            

                                开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
                            

                        

                        

                            

                                开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
                            

                        

                        

                            

                                “百模大战”必有一战 | 2024中国“百模大战”竞争格局分析
                            

                        

                        
                        
                    

                


                

                    

                        

                            

                                周排行
                            

                            

                        

                    

                    

                        

                            

                                Family Tree 题解
                            

                        

                        

                            

                                BZOJ 1093 最大半连通子图 SCC + DP
                            

                        

                        

                            

                                幂等处理
                            

                        

                        

                            

                                Spring----学习（2）----XML 配置Bean 自动装配
                            

                        

                        

                            

                                SQL Server 远程更新目标表数据
                            

                        

                        

                            

                                HIbernate3.6 环境搭建
                            

                        

                        

                            

                                特殊符号正则表达式
                            

                        

                        

                            

                                【Linux】第一章 进程的理解
                            

                        

                        

                            

                                843. n-皇后问题（dfs+输出各种情况）
                            

                        

                        

                            

                                空间数据库2
                            

                        

                    

                

                

                    

                        

                            

                                每日归档
                            

                            

                                更多
                            

                            

                        

                    

                    

                        

                            2024-04-26(39)
                        

                        

                            2024-04-25(22)
                        

                        

                            2024-04-24(36)
                        

                        

                            2024-04-23(26)
                        

                        

                            2024-04-22(39)
                        

                        

                            2024-04-21(0)
                        

                        

                            2024-04-20(6)
                        

                        

                            2024-04-19(5)
                        

                        

                            2024-04-18(0)
                        

                        

                            2024-04-17(5)
                        

                    

                


            


            
        

    






















    


        

            
代码天地 © 2018 codetd.com

            境外服务器
             
            最新电视剧2022