Elasticsearch核心技术与实战学习笔记第三章10 基本概念：节点，集群，分片及副本

一序

本文属于极客时间Elasticsearch核心技术与实战学习笔记系列。

本节继续介绍es的基本概念。因为pdf没有下载，所以就是对着码字，或者视频截个图。

二分布式

elasticsearch其实就是一个分布式系统，需要满足分布式系统具备的高可用性和可扩展性

2.1分布式系统的可用性与扩展性

高可用性
- 服务可用性-允许有节点停止服务
- 数据可用性-部分节点丢失，不会丢失数据
可扩展性
- 请求量提升/数据的不断增长（将数据分布到所有节点上）

2.2 分布式特性

elasticsearch的分布式架构好处
- 存储的水平扩容
- 提高系统的可用性，部分节停止服务，整个集群的服务不受影响
ElasticSearch的分布式架构

3 节点

3.1 节点

是一个elasticsearch的实例
- 本质上是一个java进程
- 一台机器上可以运行多个elasticsearch进程，但是生产环境一般建议一台机器上运行一个elasticsearch实例
每一个节点都有名字，通过配置文件配置，或者启动时候 -E node.name=node1 指定
每一个节点在启动之后，会分配一个UID，保存在data目录下

3.2 Master-eligible nodes和Master Node

每个节点启动后，默认就是一个Master eligible节点
- 可以设置node.master:false禁止
Master-eligible节点可以参加选主流程，成为master节点
当第一个节点启动时候，它会将自己选举成Master节点
每个节点上保存了集群的状态，只有master节点才能修改集群的状态信息
- 集群状态（Cluster State)，维护了一个集群中，必要的信息
  - 所有的节点信息
  - 所有的索引和其相关的Mapping与Setting信息
  - 分片的路由信息
- 任意节点都能修改信息会导致数据的不一致性

3.3 Data Node & Coordinate Node

Data Node
- 可以保存数据的节点，叫做Data Node，负责保存分片数据。在数据扩展上起到了至关重要的作用
Coordinate Node
- 负责接受Client的请求，将请求分发到合适的节点，最终将结果汇集到一起
- 每个节点默认起到了Coordinate Node的职责

3.4其他的节点类型

Hot & Warm Node
- 不同硬件配置的Data Node（冷节点配置低），用来实现Hot & Warm架构，降低集群部署的成本
Machine Learning Node
- 负责跑机器学习的 Job,用来做异常检测
Tribe Node
- 5.3开始使用Cross Cluster Search ，Tribe Node连接到不同的Elasticsearch集群，并且支持将这些集群当成一个单独的集群处理

3.5配置节点类型

开发环境中一个节点可以承担多种角色
生产环境配置单一角色：更好性能，单一角色

4 分片（Primary Shard & Replica Shard)

主分片，用以解决数据水平扩展的问题。通过主分片，可以将数据分布到集群内的所有节点之上
- 一个分片是一个运行的 Lucene 的实例
- 主分片数在索引创建时指定，后续不允许修改，除非通过Reindex方式进行
副本，用以解决数据高可用的问题，分片是主分片的拷贝
- 副本分片数，可以动态调整
- 增加副本数，还可以在一定程度上提高服务的可用性（读取的吞吐）

一个例子：

4.1分片的设定

对于生成环境分片的设定，需要提前做好容量规划（这个很重要）
- 分片数设置过小
  - 导致后续无法增加节点实现水平扩展
  - 单个分片的数据量太大，导致数据重新分配耗时
- 分片数设置过大，7.0开始，默认主分片设置为1，解决了over-sharding的问题
  - 影响搜索结果的相关性打分，影响统计结果的准确性
  - 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

5 查看集群的健康状况

再dev tools运行：GET _cluster/health

{
  "cluster_name" : "geektime",
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : 2,
  "number_of_data_nodes" : 2,
  "active_primary_shards" : 5,
  "active_shards" : 10,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 0,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 100.0
}

根据不同的状态对应的颜色区分。

Green-主分片与副本都正常分配
Yellow-主分片全部正常分配，副本分片未能正常分配
Red-有主分片未能分配

其他命令：查看节点： GET _cat/nodes

172.24.0.4 37 96 7 0.53 0.26 0.21 mdi * es72_02
172.24.0.5 33 96 7 0.53 0.26 0.21 mdi - es72_01

查看分片

使用cerebro ，访问本地9000端口。

这个就是02是主的，

小结：

后面第三部分学完之后，自己应该大概有个判断的尺度了。对生产环境中，分片设置很重要，需要最好容量评估与规划.

有的同学咨询的问题，老师有些宽泛的建议：

磁盘，推荐 SSD，JVM最大Xmx 不要超过30G。副本分片至少设置为1。主分片，单个存储不要超过 30 GB（按照这个你推算出分片数，进行设定）。
集群中磁盘快满的时候，你再增加机器，确实可能导致新建的索引全部分配到新节点上去的可能性。最终导致数据分配不均。所以要记得监控集群，到70%就需要考虑删除数据或是增加节点.

Elasticsearch核心技术与实战学习笔记 第三章10 基本概念：节点，集群，分片及副本

一 序

二 分布式