elasticsearch学习（四）——ES集群搭建与整合SpringBoot

一、ES集群管理

1.1、ES是如何解决高并发

ES是一个分布式全文检索框架，隐藏了复杂的处理机制，核心内容 分片机制、集群发现、分片负载均衡请求路由。

1.2、ES基本概念名词

（1）Cluster

代表一个集群。

集群中有多个节点，其中一个为主节点（通过选举产生）这是集群内部来说的。ES是去中心化的（无中心节点），这是集群外部来说的，因为外部来看ES集群是一个整体，与任何一个节点的通信和与整个ES集群通信是等价的。

（2）Shards——主分片

代表索引分片。

ES可以把一个完整的索引分成多个分片，好处是把一个大的索引拆分成多个，分布到不同节点上，构成分布式搜索。（分片数量只能在索引创建前指定，创建之后不能更改）

（3）replicas——副分片

代表索引副本。

ES可以说设置多个索引副本，副本的作用1：是提高系统的容错性，当某个节点某个分片损坏或者丢失时可以从副本中恢复；作用2：提高ES的查询效率，ES会自动对搜索请求进行负载均衡。

注意：做主分片和副分片，是为了做容错

注意：分片数，设置为服务器（节点）的平方个最好

（4）Recovery

代表数据恢复（数据重新恢复）。

ES在节点加入或者退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。

1.3、ES为什么要集群

ES集群中的索引可能由多个分片构成，并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片，可以处理不能在一个单一服务器上面运行的大型索引。由于每个分片有一个或者多个副本，通过将副本分配到多个服务器上，可以提高查询的负载能力。

1.4、ES集群原理分析

（1）每个索引会被分成多个分片shards进行存储（默认5个分片），每个分片都会分布式部署在多个不同的节点上进行部署。

注意：索引主分片primary shards定义好后，后面不能做修改。

（2）主分片可以有对应的备份片replics shards，replic shards分别承载了容错、请求的负载均衡。

注意：主分片对应的备分片不能存放在同一台服务器上，主分片primary shards可以和其他副分片replics shards不能存放在同一个node节点（服务器）上。

1.5、一些常见问题

（1）为什么主分片定义好后不能再修改（副分片可以改）？

（1）主分片为什么不能和副分片放在同一个服务器上？

 

二、集群环境搭建

（1）准备三台服务器集群

服务器名称	IP地址
node-1	192.168.212.182
node-2	192.168.212.183
node-3	192.168.212.184

（2）服务集群配置

其中一台服务器配置：

vi elasticsearch.yml cluster.name: myes  ###保证三台服务器节点集群名称相同 node.name: node-1 #### 每个节点名称不一样 其他两台为node-1 ,node-2 network.host: 192.168.212.180 #### 实际服务器ip地址 discovery.zen.ping.unicast.hosts: ["192.168.212.184", "192.168.212.185","192.168.212.186"]##多个服务集群ip discovery.zen.minimum_master_nodes: 1

关闭防火墙 systemctl stop firewalld.service

默认底层开启9300 集群

其余两台直接克隆就行了。 

（3）验证集群效果

http://192.168.212.185:9200/_cat/nodes?pretty

注意克隆data文件会导致数据不同步

报该错误解决办法

failed to send join request to master

因为克隆导致data文件也克隆呢，直接清除每台服务器data文件。

三、 SpringBoot整合ES

案例：SpringBoot整合ES实现网盘搜索引擎

3.1、数据结构分析

OST /clouddisk/_mapping/disk
{
        "disk": {
        "properties": {
          "baiduaddres": {
            "type": "keyword"
          },
          "browsetimes": {
            "type": "long"
          },
          "collectiontime": {
            "type": "date"
          },
          "describe": {
            "type": "text",
            "analyzer": "ik_smart"
          },
          "filesize": {
            "type": "float"
          },
          "name": {
            "type": "text",
            "analyzer": "ik_smart"
          },
          "sharpeople": {
            "type": "keyword"
          },
          "shartime": {
            "type": "date"
          },
          "source": {
            "type": "keyword"
          }
        }
      }
  
}

3.2、Maven依赖

<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.0.0.RELEASE</version>
		<relativePath /> <!-- lookup parent from repository -->
	</parent>
	<dependencies>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-web</artifactId>
		</dependency>
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
		</dependency>
		<dependency>
			<groupId>org.projectlombok</groupId>
			<artifactId>lombok</artifactId>
		</dependency>

		<dependency>
			<groupId>com.google.collections</groupId>
			<artifactId>google-collections</artifactId>
			<version>1.0-rc2</version>
		</dependency>
		<!-- springboot整合freemarker -->
		<dependency>
			<groupId>org.springframework.boot</groupId>
			<artifactId>spring-boot-starter-freemarker</artifactId>
		</dependency>

	</dependencies>

3.3、application信息

spring:
  data:
    elasticsearch:
    ####集群名称
     cluster-name: myes
    ####地址 
     cluster-nodes: 192.168.212.180:9300
  freemarker:
    # 设置模板后缀名
    suffix: .ftl
    # 设置文档类型
    content-type: text/html
    # 设置页面编码格式
    charset: UTF-8
    # 设置页面缓存
    cache: false
    # 设置ftl文件路径
    template-loader-path:
      - classpath:/templates
  # 设置静态文件路径，js,css等
  mvc:
    static-path-pattern: /static/**

三层结构：

3.4、实体类层

@Data
@Document(indexName = "clouddisk", type = "disk")
public class CloudDiskEntity {
	@Id
	private String id;
	// 名称
	private String name;
	// 来源
	private String source;
	// 描述
	private String describe;
	// 分享时间
	private Date shartime;
	// 浏览次数
	private Long browsetimes;
	// 文件大小
	private Double filesize;
	// 分享人
	private String sharpeople;
	// 收录时间
	private String collectiontime;
	// 地址
	private String baiduaddres;

3.5、repository（dao层）层

ElasticsearchRepository是整合好的矿建，直接继承它就可以用

public interface CloudDiskDao extends ElasticsearchRepository<CloudDiskEntity, String> {

}

3.6、控制层

@RestController
public class CloudDiskController {
	@Autowired
	private CloudDiskDao cloudDiskDao;

	// springboot 整合 es 查询
	// 根据id查询文档信息
	@RequestMapping("/findById/{id}")
	public Optional<CloudDiskEntity> findById(@PathVariable String id) {
		return cloudDiskDao.findById(id);

	}

	// 实现分页查询
	@RequestMapping("/search")
	public List<CloudDiskEntity> search(String name, String describe,
			@PageableDefault(page = 0, value = 2) Pageable pageable) {
		// 1.创建查询对象
		BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
		if (!StringUtils.isEmpty(name)) {
			MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("name", name);
			boolQuery.must(matchQuery);
		}
		if (!StringUtils.isEmpty(describe)) {
			MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("describe", describe);
			boolQuery.must(matchQuery);
		}
		// 2.调用查询接口
		Iterable<CloudDiskEntity> search = cloudDiskDao.search(boolQuery, pageable);
		// 3.将迭代器转换为集合
		return Lists.newArrayList(search);
	}
}

 

条件查询：

@Controller
public class SearchController {
	@Autowired
	private CloudDiskDao cloudDiskDao;

	@RequestMapping("/search")
	public String search(String keyword, String describe, @PageableDefault(page = 0, value = 5) Pageable pageable,
			HttpServletRequest req) {
		Long startTime = System.currentTimeMillis();
		// 1.创建查询对象
		BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
		if (!StringUtils.isEmpty(keyword)) {
            //模糊查询
			MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("name", keyword);
			boolQuery.must(matchQuery);
		}
		if (!StringUtils.isEmpty(describe)) {
            //精确查询
			MatchQueryBuilder matchQuery = QueryBuilders.matchQuery("describe", describe);
			boolQuery.must(matchQuery);
		}
		// 2.调用查询接口
		Page<CloudDiskEntity> page = cloudDiskDao.search(boolQuery, pageable);

		req.setAttribute("page", page);
		// 记录总数
		req.setAttribute("total", page.getTotalElements());
		req.setAttribute("keyword", keyword);
		// 计算分页总数
		int totalPage = (int) ((page.getTotalElements() - 1) / pageable.getPageSize() + 1);
		// 分页总数
		req.setAttribute("totalPage", totalPage);
		Long emdTime = System.currentTimeMillis();
		req.setAttribute("time", emdTime - startTime);
		return "search";
	}

}