0. 引言

上一节我们已经配置了新的索引，但是数据还是手动添加的，并没有实现自动从数据库同步，所以这一节，继续来实现从mysql同步数据到solr

1. 数据准备

1、要配置数据库同步，首先我们要确保我们managed-schema或者schema.xml配置文件中配置的字段和数据库中是能够对应的上的

订单表：
在这里插入图片描述
为了模拟关联表同步的效果，我们再创建一张标签子表：
订单标签表

CREATE TABLE `orders` (
  `id` bigint NOT NULL,
  `order_no` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `product_name` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `create_time` datetime DEFAULT NULL,
  `create_user` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `remarks` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `status` int DEFAULT NULL,
  `address` varchar(255) COLLATE utf8mb4_general_ci DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;


CREATE TABLE `orders_label` (
  `id` int NOT NULL,
  `name` varchar(50) COLLATE utf8mb4_general_ci DEFAULT NULL,
  `order_id` bigint DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

再准备一些数据

# 订单表
INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (1, '202306010001', '苹果', '2023-06-01 23:22:26', 'mike', '送货上门，不想下楼', 1, '贵阳市观山湖xxx路');
INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (2, '202306010002', '凤梨', '2023-05-09 23:23:12', 'lili', '挑大个的', 1, '贵阳市花溪区ttt路');
INSERT INTO `orders` (`id`, `order_no`, `product_name`, `create_time`, `create_user`, `remarks`, `status`, `address`) VALUES (3, '202306010003', '草莓', '2023-06-01 23:24:20', 'ben', '要红的，注意新鲜', 2, '无锡市滨湖区yyy路');

# 标签表
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (1, '送货上门', 1);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (2, '生鲜', 1);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (3, '24小时', 1);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (4, '生鲜', 2);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (5, '保质服务', 2);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (6, '生鲜', 3);
INSERT INTO `orders_label` (`id`, `name`, `order_id`) VALUES (7, '24小时', 3);

2. 数据同步配置文件详解

我们实现数据同步的核心在于配置同步配置文件，该配置文件的核心标签和属性如下

dataSource 标签

用于声明同步的数据库地址、账号、密码、驱动器等连接信息
其中batchSize表示每次读取数据库的数量，-1表示不限制，如果同步的数据量较大，可以设置每次读取的限制，防止solr一次性建立索引数据过多导致的内存溢出问题
dataSource标签可以配置多个，用于声明多个数据源，比如需要跨库链接查询时使用，可以通过name标签声明数据库名称

<dataSource driver="com.mysql.cj.jdbc.Driver"
                url="jdbc:mysql://192.168.244.50:3306/test?useUnicode=true&amp;characterEncoding=UTF8&amp;autoReconnect=true&amp;zeroDateTimeBehavior=convertToNull"
                name="test"
                user="root" 
                password="123456" 
                batchSize="-1"/>

document 标签

document标签用于声明主要文档配置，核心子标签是entity

entity 标签

entity标签就是用来声明我们要同步的sql以及字段映射的，核心的属性如下

name 定义对应的solr中索引/核心名称

pk 主键字段名称，确保实体每一条记录唯一

dataSource 数据源，如果只有一个数据源时可以不用配置，与dataSource标签中的name属性对应

query 定义全量同步时的查询sql

deltaImportQuery 定义增量同步时的查询sql，自带的${dataimporter.delta.id}属性表示正在同步的数据的主键

deltaQuery 定义需要增量同步的id, ${dataimporter.delta.id}的值也就来源于此，$ {dataimporter.last_index_time}表示上一次完成增量同步的时间，由系统自动记录生成

<entity name="orders"
                query="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders"
                deltaImportQuery="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders WHERE id='${dataimporter.delta.id}'"
                deltaQuery="SELECT id FROM orders WHERE create_time >= '${dataimporter.last_index_time}'">
            <field name="id" column="id"/>
            <field name="order_no" column="order_no"/>
            <field name="product_name" column="product_name"/>
            <field name="create_time" column="create_time"/>
</entity>

3. 实操

1、修改solrconfig.xml配置文件，配置数据库同步配置文件

# 进入solr安装目录
cd /data/solr-8.2.0
# orders是上一节创建的索引/核心 文件夹
vim server/solr/orders/solrconfig.xml

添加如下内容

  <lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />
  <lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql-connector-java-.*\.jar" />

  <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
     <lst name="defaults">
        <str name="config">data-config.xml</str>
     </lst>
  </requestHandler>

2、在server/solr/orders下创建data-config.xml配置文件

这里需要注意，如果要配置父子表同步时再定义一个<entity>标签即可，其中的<field>中的name要与maneged-schema文件中定义的labels保持一致，具体如下

<entity name="lables" pk="id" 
        query="select name from orders_label where order_id = '${orders.id}'">
        <field name="labels" column="name"/>
</entity>

完整配置文件：

<?xml version="1.0" encoding="UTF-8" ?>

<dataConfig>
    <dataSource driver="com.mysql.cj.jdbc.Driver"
                url="jdbc:mysql://192.168.244.50:3306/test?useUnicode=true&amp;characterEncoding=UTF8&amp;autoReconnect=true&amp;zeroDateTimeBehavior=convertToNull&amp;serverTimezone=UTC&amp;tinyInt1isBit=false"
                user="root" password="123456" batchSize="-1"/>

    <document>
        <entity name="orders"
                query="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders"
                deltaImportQuery="select id,order_no,product_name,create_time,create_user,remarks,status,address from orders WHERE id='${dataimporter.delta.id}'"
                deltaQuery="SELECT id FROM orders WHERE create_time >= '${dataimporter.last_index_time}'">
            <field name="id" column="id"/>
            <field name="order_no" column="order_no"/>
            <field name="product_name" column="product_name"/>
            <field name="create_time" column="create_time"/>
            <field name="create_user" column="create_user"/>
            <field name="remarks" column="remarks"/>
            <field name="status" column="status"/>
            <field name="address" column="address"/>
            <entity name="lables" pk="id" 
              query="select name from orders_label where order_id = '${orders.id}'">
                <field name="labels" column="name"/>
            </entity>
         </entity>
    </document>
</dataConfig>

3、在server/solr/orders/conf/下创建dataimport.properties配置文件

mkdir -p /data/solr-8.2.0/server/solr/orders/conf/
vim /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties

配置内容为最后同步的时间，如果不填将会自动生成

orders.last_index_time=2023-06-04 02\:25\:05

4、添加jar包，因为我演示的数据库是mysql8.0，所以需要引入com.mysql.cj.jdbc.Driver的驱动器jar包，同时还要引入同步用的jar包solr-dataimporthandler*

（1）将solr安装路径/dist目录下的两个solr-dataimporthandler* jar包复制到server/solr-webapp/WEB-INF/lib下

cd /data/solr-8.2.0 
cp dist/solr-dataimporthandler-* server/solr-webapp/webapp/WEB-INF/lib/

（2）将数据库驱动jar包（自己下载）也添加到server/solr-webapp/webapp/WEB-INF/lib下

我这里因为采用的是mysql8.0，所以传输8.0版本的驱动器jar包

在这里插入图片描述

5、重启 solr

6、在solr-admin管理页面，Dataimport菜单中执行同步操作，选择full-import，第一次同步进行一次全量同步

在这里插入图片描述

7、如果发现没有同步成功，可以在Logging页面查看日志，点击具体的日志即可查看详情，如下所示，根据具体日志进行问题排查

同时也可在服务端日志server/logs/solr.log中查询详细报错堆栈信息

在这里插入图片描述

8、同步成功后，在输出页面会有绿色的标识，并告知同步了多少条数据

在这里插入图片描述

9、在Query菜单，查询全部数据，发现同步成功！
在这里插入图片描述

10、数据库新增一条数据

在这里插入图片描述

11、在solr-admin中点击delta-import进行增量同步，结果显示同步了一条新增数据

在这里插入图片描述

查询可以看到新增的数据

在这里插入图片描述

至此，我们全量和增量同步都成功了！

4. 常见报错

1. Error creating document : SolrInputDocument

问题：

Error creating document : SolrInputDocument(fields: [order_no=202306010001, address=贵阳市观山湖xxx路, create_time=2023-06-01 23:22:26.0, id=1, create_user=mike, product_name=苹果, remarks=送货上门，不想下楼, status=1, version=1767733224539160576])

解决：
从问题可以看到同步数据时出现了问题，没有写入数据，这一般是字段配置的问题，但是如果仅仅只是猜测的话，可能会花费较多的时间，这时候我们可以查看solr服务端日志，了解具体的报错详情

tail -500f /data/solr-8.2.0/server/logs/solr.log

在这里插入图片描述
从上述日志可以看到是因为有一个必填字段labels，但是没有传值进来，导致新增数据失败

修改managed-schema或者schema.xml文件，将该字段设置为非必填即可

在这里插入图片描述
修改完重启solr，再重新同步即可

2. Could not write property file

问题：
solr-admin中查看Logging，发现报错DocBuilder Could not write property file
解决：

1、查看详细的服务日志

tail -500f /data/solr-8.2.0/server/logs/solr.log

在这里插入图片描述

2、通过日志可以看到是FileNotFoundException: /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties

这就非常清晰了，dataimport.properties 文件未找到，我们创建一个即可

mkdir -p /data/solr-8.2.0/server/solr/orders/conf/
touch /data/solr-8.2.0/server/solr/orders/conf/dataimport.properties

3、重启solr即可

5. 总结

mysql同步solr的核心在于配置文件的书写，当发现有错误时，可以通过服务端日志排查具体错误。

但数据同步还未完成，我们目前还没有实现自动的同步，还需要手动点击同步，下一节继续讲解，solr从mysql自动同步数据

solr快速上手：配置从mysql同步数据（五）

0. 引言

1. 数据准备

2. 数据同步配置文件详解

3. 实操

4. 常见报错

1. Error creating document : SolrInputDocument

2. Could not write property file

5. 总结

猜你喜欢