Docker安装Elasticsearch搜索引擎与使用

1、什么是 Elasticsearch

Elasticsearch 是一个分布式的，基于 Lucene 的开源搜索和分析引擎。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful WEB 接口。Elasticsearch 是用 Java 开发的，并作为 Apache 许可条款下的开放源码发布，是当前流行的企业级搜索引擎！

2、Docker 安装 Elasticsearch

可以使用以下命令快速启动Elasticsearch以进行开发或测试：

1.拉取镜像

docker pull elasticsearch:6.4.0

2.运行设置容器

docker run --name es -p 9200:9200 -p 9300:9300 -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d elasticsearch:6.4.0

# -d 表示在后台运行

# 也可以设置ES_JAVA_OPTS内存使用限制

3.查看是否在运行

docker ps

可以看到已经有了

那咱们就来测试一下能不能连接 输入 { 服务器的IP}:9200

出现上面的消息说明成功了

3、Docker 安装 IK分词器

1.进入容器

docker exec -it es /bin/bash

2.在线下载并安装

./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.4/elasticsearch-analysis-ik-6.5.4.zip

3.进入plugins文件夹可以看到IK分词器

ik是一个中文切词插件，elasticSearch自带的中文切词很不专业，ik对中文切词支持的比较好。

4、安装可视化插件 Kibana

建议使用和 elasticsearch 相同版本镜像 6.4.0 （不一样可能会出现问题）

1.下载Kibana镜像

docker pull kibana:6.4.0

2、编辑kibana.yml配置文件

kibana.yml配置文件放在宿主机**/data/elk/**目录下，内容如下：

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://（你的服务器IP）:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true

3.运行 Kibana

docker run –name kibana -p 5601:5601 -v /data/elk/kibana.yml:/usr/share/kibana/config/kibana.yml --restart=always -d kibana:6.4.0

4.查看容器启动状态

docker ps

5.启动kibana

访问 http://{服务器的IP}:5601 （启动可能会较慢，如失败等几秒再尝试刷新一下）

5、ES使用（基本查询、聚合查询

1.创建索引库

ES的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档。它就相当于MySQL中的表，或相当于Mongodb中的集合。
关于索引这个语：
索引（名词）：ES是基于Lucene构建的一个搜索服务，它要从索引库搜索符合条件索引数据。
索引（动词）：索引库刚创建起来是空的，将数据添加到索引库的过程称为索引。
下边介绍两种创建索引库的方法，它们的工作原理是相同的，都是客户端向ES服务发送命令。
1）使用postman或curl这样的工具创建：
put http://localhost:9200/索引库名称

{
    
    
"settings":{
    
    
"index":{
    
    
"number_of_shards":1,
"number_of_replicas":0
  }
    }
      }

number_of_shards：设置分片的数量，在集群中通常设置多个分片，表示一个索引库将拆分成多片分别存储不同的结点，提高了ES的处理能力和高可用性，入门程序使用单机环境，这里设置为1。
number_of_replicas：设置副本的数量，设置副本是为了提高ES的高可靠性，单机环境设置为0.
如下是创建的例子，创建xc_course索引库，共1个分片，0个副本：

• 使用head插件创建

  

2 创建映射

2.1 概念说明

在索引中每个文档都包括了一个或多个field，创建映射就是向索引库中创建field的过程，下边是document和field与关系数据库的概念的类比：

文档（Document）----------------Row记录
字段（Field）-------------------Columns 列
注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES官方将在ES9.0版本中彻底删除type。
上边讲的创建索引库相当于关系数据库中的数据库还是表？
1、如果相当于数据库就表示一个索引库可以创建很多不同类型的文档，这在ES中也是允许的。
2、如果相当于表就表示一个索引库只能存储相同类型的文档，ES官方建议 在一个索引库中只存储相同类型的文档。

2.2 创建映射

我们要把信息存储到ES中，这里我们创建信息的映射，先来一个简单的映射，如下：
发送：post http://localhost:9200/索引库名称/类型名称/_mapping
创建类型为xc_course的映射，共包括三个字段：name、description、studymondel
由于ES6.0版本还没有将type彻底删除，所以暂时把type起一个没有特殊意义的名字。
post 请求：http://localhost:9200/xc_course/doc/_mapping
表示：在xc_course索引库下的doc类型下创建映射。doc是类型名，可以自定义，在ES6.0中要弱化类型的概念，给它起一个没有具体业务意义的名称。

{
    
    
"properties": {
    
    
"name": {
    
    
"type": "text"
},
"description": {
    
    
"type": "text"
},
"studymodel": {
    
    
"type": "keyword"
    }
  }
 }

映射创建成功，查看head界面：

image.png

3.创建文档

ES中的文档相当于MySQL数据库表中的记录。
发送：put 或Post http://localhost:9200/xc_course/doc/id值
（如果不指定id值ES会自动生成ID）
http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

{
    
    
"name":"Bootstrap开发框架",
"description":"Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器限制的精美界面效果。",
"studymodel":"201001"
}

使用postman测试:

通过head查询数据：

4 搜索文档

1、根据课程id查询文档
发送：get http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000
使用postman测试：

2、查询所有记录
发送 get http://localhost:9200/xc_course/doc/_search
3、查询名称中包括spring 关键字的的记录
发送：get http://localhost:9200/xc_course/doc/_search?q=name:bootstrap
4、查询学习模式为201001的记录
发送 get http://localhost:9200/xc_course/doc/_search?q=studymodel:201001

4.1查询结果分析

{
    
    
    "took": 4,
    "timed_out": false,
    "_shards": {
    
    
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
    
    
        "total": 1,
        "max_score": 1,
        "hits": [
            {
    
    
                "_index": "xc_course",
                "_type": "doc",
                "_id": "4028e58161bcf7f40161bcf8b77c0000",
                "_score": 1,
                "_source": {
    
    
                    "name": "Bootstrap开发框架",
                    "description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器限制的精美界面效果。",
                    "studymodel": "201001"
                }
            }
        ]
    }
}

took：本次操作花费的时间，单位为毫秒。
timed_out：请求是否超时
_shards：说明本次操作共搜索了哪些分片
hits：搜索命中的记录
hits.total ： 符合条件的文档总数 hits.hits ：匹配度较高的前N个文档
hits.max_score：文档匹配得分，这里为最高分
_score：每个文档都有一个匹配度得分，按照降序排列。
_source：显示了文档的原始内容。

5 映射类型

1. 映射维护方法

1、查询所有索引的映射：
GET： http://localhost:9200/_mapping
2、创建映射
post 请求：http://localhost:9200/xc_course/doc/_mapping
一个例子：

{
    
    
"properties": {
    
    
"name": {
    
    
"type": "text"
},
"description": {
    
    
"type": "text"
},
"studymodel": {
    
    
"type": "keyword"
    }
  }
}

3、更新映射
映射创建成功可以添加新字段，已有字段不允许更新。
4、删除映射
通过删除索引来删除映射。

2. 常用映射类型

2.1 text文本字段

字符串包括text和keyword两种类型：
1、text
1）analyzer
通过analyzer属性指定分词器。
下边指定name的字段类型为text，使用ik分词器的ik_max_word分词模式。

"name": {
    
    
"type": "text",
"analyzer":"ik_max_word"
}

上边指定了analyzer是指在索引和搜索都使用ik_max_word，如果单独想定义搜索时使用的分词器则可以通过search_analyzer属性。

对于ik分词器建议是索引时使用ik_max_word将搜索内容进行细粒度分词，搜索时使用ik_smart提高搜索精确性

"name": {
    
    
"type": "text",
"analyzer":"ik_max_word",
"search_analyzer":"ik_smart"
}

2）index
通过index属性指定是否索引。
默认为index=true，即要进行索引，只有进行索引才可以从索引库搜索到。
但是也有一些内容不需要索引，比如：商品图片地址只被用来展示图片，不进行搜索图片，此时可以将index设置
为false。
删除索引，重新创建映射，将pic的index设置为false，尝试根据pic去搜索，结果搜索不到数据

pic": {
"type": "text",
"index":false
}

3）store
是否在source之外存储，每个文档索引后会在 ES中保存一份原始文档，存放在"_source"中，一般情况下不需要设置store为true，因为在_source中已经有一份原始文档了。

2.2 keyword关键字字段

上边介绍的text文本字段在映射时要设置分词器，keyword字段为关键字字段，通常搜索keyword是按照整体搜索，所以创建keyword字段的索引时是不进行分词的，比如：邮政编码、手机号码、身份证等。keyword字段通常用于过虑、排序、聚合等。

2.3 date日期类型

日期类型不用设置分词器。
通常日期类型的字段用于排序。
1)format
通过format设置日期格式
例子：
下边的设置允许date字段存储年月日时分秒、年月日及毫秒三种格式。

{
    
    
"properties": {
    
    
"timestamp": {
    
    
"type": "date",
"format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd"
    }
  }
}

2.4 数值类型

下边是ES支持的数值类型
1、尽量选择范围小的类型，提高搜索效率
2、对于浮点数尽量用比例因子，比如一个价格字段，单位为元，我们将比例因子设置为100这在ES中会按 分 存储，映射如下：

"price": {
    
    
"type": "scaled_float",
"scaling_factor": 100
}

由于比例因子为100，如果我们输入的价格是23.45则ES中会将23.45乘以100存储在ES中。
如果输入的价格是23.456，ES会将23.456乘以100再取一个接近原始值的数，得出2346。
使用比例因子的好处是整型比浮点型更易压缩，节省磁盘空间。