ElasticSearch性能优化方案

ElasticSearch性能优化主要分为4个方面的优化。 

一、服务器部署   

1、增加1-2台服务器,用于负载均衡节elasticSearch的配置文件中有2个参数:node.master和node.data。这两个参数搭配使用时,能够帮助提供服务器性能。  

node.master: false   

node.data: true         

该node服务器只作为一个数据节点,只用于存储索引数据。使该node服务器功能 单一,只用于数据存储和数据查询,降低其资源消耗率。     

node.master: true    

node.data: false         

该node服务器只作为一个主节点,但不存储任何索引数据。该node服务器将使用

自身空闲的资源,来协调各种创建索引请求或者查询请求,讲这些请求合理分发到相关 的node服务器上。      

node.master: false    

node.data: false    

该node服务器即不会被选作主节点,也不会存储任何索引数据。

该服务器主要用 于查询负载均衡。在查询的时候,通常会涉及到从多个node服务器上查询数据,并请求分发到多个指定的node服务器,并对各个node服务器返回的结果进行一个汇总处理, 最终返回给客户端。   

注:服务器充足情况下可以根据上述配置

 

2、在生产环境尽量关闭data节点服务器中的http功能同时也不要安装head, bigdesk, marvel等监控 插件,这样保证data节点服务器只需处理创建/更新/删除/查询索引数据等操作。http功能可以在非数据节点服务器上开启,上述相关的监控插件也安装到这些服 务器上,用于监控ElasticSearch集群状态等数据信息这样做一来出于数据安全考虑,二来出于服务性能考虑。

参数这样设置:http.enabled: false

  

3、一台服务器上最好只部署一个Node一台物理服务器上可以启动多个Node服务器节点(通过设置不同的启动port), 但一台服务器上的CPU,内存,硬盘等资源毕竟有限,从服务器性能考虑,在生产环境下不建议一台 服务器上启动多个node节点。   

 

二、服务器配置   

1.配置索引线程池的大小ElastiSearch服务器有多个线程池大小配置。主要有:index,search,suggest,get,bulk,percolate,snapshot,snapshot_data,warmer,refresh。   

在此主要针对index和search进行一个配置调整。

index:创建/更新/删除索引数据。

Search主要针对用户的各种搜索操作。  

具体配置如下:   

 threadpool:

     index:

         type: fixed

         size: 24逻辑核心数*3

         queue_ size: 1000

 

     search:

         type: fixed

         size: 24逻辑核心数*3

         queue_ size: 1000 

    

2.确定分片(shard)的数量和副本(replica)的数量  ElasticSearch在创建索引数据时,最好指定相关的shards数量和replicas,否则会使用服务器中的默认配置参数shards=5,replicas=1。  因为这两个属性的设置直接影响集群中索引和搜索操作的执行。假设你有足够的机器来持有碎片和副本,那么可以按如下规则设置这两个值:

1) 拥有更多的碎片可以提升索引执行能力,并允许通过机器分发一个大型的索引

2) 拥有更多的副本能够提升搜索执行能力以及集群能力。对于一个索引来说,number_of_shards只能设置一次,而number_of_replicas可以使用索引更新设置API在任何时候被增加或者减少。这两个配置参数在配置文件的配置如下:  

index.number_of_shards: 5(第一次分片的数值)  

index.number_of_replicas: 1(可变)     

 

3.elasticsearch.yml log日志其具体配置如下:  

 index.search.slowlog.level: INFO

 index.search.slowlog.threshold.query.warn: 5s

 index.search.slowlog.threshold.query.info: 2s

 index.search.slowlog.threshold.query.debug: 500s

 index.search.slowlog.threshold.query.trace: 500ms

 index.search.slowlog.threshold.fetch.warn: 5s

 index.search.slowlog.threshold.fetch.info: 2s

 index.search.slowlog.threshold.fetch.debug: 500ms

 index.search.slowlog.threshold.fetch.trace: 200ms

 http://sempter.blog.51cto.com/4340646/1664680

猜你喜欢

转载自m635674608.iteye.com/blog/2254943