【Linux开发环境搭建】之Solr及Solr集群安装

前言

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

环境准备

VMware，centos7.3， XShell5，Xftp5

安装部署

Solr安装部署

Solr 需要 Java 环境和Tomcat，可参考另两篇博文【Linux开发环境搭建】之Java安装、【Linux开发环境搭建】之Tomcat安装（在 /usr/local/ 目录下新建一个 solr目录，mkdir solr, 把 tomcat 安装在 solr 目录下）

1.从官网：http://lucene.apache.org/solr/ 下载 Solr，用 Xftp 传输到 Linux

2.解压 Solr

[root@localhost ~]# tar -zxvf solr-4.10.3.tgz.tgz

3.cd 进入到 solr 的webapp目录，把 solr.war 复制到tomcat的webapp目录中，启动tomcat，解压 war。
这里写图片描述

4.复制 solr-4.10.3/example/lib/ext目录下的所有的jar包，添加到solr工程中。
这里写图片描述

5.在 /usr/local/solr 中创建一个 solrhome 目录，solr-4.10.3/example/solr目录就是一个solrhome。复制此目录到/usr/local/solr/solrhome

[root@localhost example]# cp -r solr /usr/local/solr/solrhome

6.关联 solr 及 solrhome，需要修改 solr 工程的 web.xml 文件

[root@localhost ~]# vim /usr/local/solr/apache-tomcat-7.0.47/webapps/solr/WEB-INF/web.xml

这里写图片描述

7.启动 Tomcat，访问http://192.168.25.128:8080/solr
这里写图片描述

Solr 集群安装部署

SolrCloud

先来了解一下 SolrCloud（Solr云），是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用可以 SolrCloud。当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。

SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。
Zookeeper的几个特色功能：

集中式的配置信息（数据库连接池的配置）
自动容错
近实时搜索
查询时自动负载均衡

Solr 集群的系统架构图
这里写图片描述

物理结构

三个Solr实例（每个实例包括两个Core），组成一个SolrCloud。

逻辑结构

索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。

用户发起索引请求分别从shard1和shard2上获取，解决高并发问题。

Zookeeper作为集群的管理工具。
1、集群管理：容错、负载均衡。
2、配置文件的集中管理
3、集群的入口

需要实现zookeeper 高可用。需要搭建集群。建议是奇数节点。需要三个zookeeper服务器。

搭建solr集群需要7台服务器。
zookeeper有自己的投票机制，类似于redis. 需要半数以上的节点判断其他的节点挂掉，才能算挂掉。

搭建伪分布式：
需要三个zookeeper节点
需要四个tomcat节点。

建议配置虚拟机的内存为1G以上。

zookeeper 集群搭建步骤

1.下载 zookeeper，https://zookeeper.apache.org/releases.html，传输到 Linux上,，并解压缩

2.把 zookeeper 复制三份

[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solr-cloud/zookeeper03

3.在每个zookeeper目录下创建一个data目录。

4.在data目录下创建一个myid文件，文件名就叫做“myid”。内容就是每个实例的id。例如1、2、3

[root@localhost data]# echo 1 >> myid
[root@localhost data]# cat myid 
1

5.改配置文件。把每一个zookeeper下的conf目录下的zoo_sample.cfg文件改名为zoo.cfg
在zookeeper01目录下的配置如下：（注意：配置的端口都不能冲突）同理在zookeeper02、03下配置，注意端口不能冲突。
这里写图片描述

server.1=192.168.25.154:2881:3881
server.2=192.168.25.154:2882:3882
server.3=192.168.25.154:2883:3883

6.启动每个zookeeper实例。
a) 创建启动实例的批处理文件：在solr-cloud下创建，命令如下

[root@localhost solr-cloud]# vim zookeeper_start_all.sh

b) 使用vim 编辑内容如下

cd /usr/local/solr-cloud/zookeeper01/bin
./zkServer.sh start

cd /usr/local/solr-cloud/zookeeper02/bin
./zkServer.sh start

cd /usr/local/solr-cloud/zookeeper03/bin
./zkServer.sh start

按 ESC,输入 :wq 保存退出.

修改执行权限

[root@localhost solr-cloud]# chmod u+x zookeeper_start_all.sh

c) 启动所有zookeeper实例

[root@localhost solr-cloud]# ./zookeeper_start_all.sh

查看zookeeper的状态：

[root@localhost solr-cloud]# zookeeper01/bin/zkServer.sh status

这里写图片描述

Solr 集群搭建步骤

1.创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480
这里写图片描述
2.部署solr的war包。把单机版的solr工程复制到集群中的tomcat中。

3.为每个solr实例创建一个对应的solrhome。使用单机版的solrhome复制四份。

4.需要修改solr的web.xml文件。把solrhome关联起来，参考前面单机配置

5.配置solrCloud相关的配置。每个solrhome下都有一个solr.xml，把其中的ip及端口号配置好。

这里写图片描述

6.让zookeeper统一管理配置文件。需要把solrhome/collection1/conf目录上传到zookeeper。上传任意solrhome中的配置文件即可。（需要保证zookeeper集群是启动的状态）
使用工具上传配置文件：/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

./zkcli.sh -zkhost 192.168.25.154:2181,192.168.25.154:2182,192.168.25.154:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：
使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件：
注意点(如果不是默认的端口2181，要连接使用命令：
./zkCli.sh -server 192.168.25.154:2181)
解释：
-server :指定ip地址
：2181 ：指定连接的端口。

[root@localhost bin]# ./zkCli.sh 
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf
[admin-extra.menu-top.html, currency.xml, protwords.txt, mapping-FoldToASCII.txt, _schema_analysis_synonyms_english.json, _rest_managed.json, solrconfig.xml, _schema_analysis_stopwords_english.json, stopwords.txt, lang, spellings.txt, mapping-ISOLatin1Accent.txt, admin-extra.html, xslt, synonyms.txt, scripts.conf, update-script.js, velocity, elevate.xml, admin-extra.menu-bottom.html, clustering, schema.xml]
[zk: localhost:2181(CONNECTED) 3] 
#退出：
[zk: localhost:2181(CONNECTED) 3] quit

7.修改（4个）每一个tomcat/bin目录下的catalina.sh 文件，关联solr和zookeeper。
把此配置添加到配置文件中：

JAVA_OPTS="-DzkHost=192.168.25.128:2181,192.168.25.128:2182,192.168.25.128:2183"

这里写图片描述
8.启动每个tomcat实例。要保证zookeeper集群是启动状态。
创建启动实例的批处理文件

[root@localhost solr-cloud]# vim tomcat_start_all.sh

输入以下内容，保存。

cd /usr/local/solr-cloud/tomcat01/bin
./startup.sh

cd /usr/local/solr-cloud/tomcat02/bin
./startup.sh

cd /usr/local/solr-cloud/tomcat03/bin
./startup.sh

cd /usr/local/solr-cloud/tomcat04/bin
./startup.sh

设置可执行权限

[root@localhost solr-cloud]# chmod u+x tomcat_start_all.sh

9.访问集群:http://192.168.25.154:8180/solr/，注意更改自己的虚拟机的Ip地址

这里写图片描述

10.创建新的Collection进行分片处理。
http://192.168.25.154:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
这里写图片描述

这里写图片描述

11.删除不用的Collection。
http://192.168.25.154:8180/solr/admin/collections?action=DELETE&name=collection1
这里写图片描述

这里写图片描述