由于mysql数据量大时，like查询几乎无法使用，因此尝试采用搜索引擎ES执行like查询。

1. ES安装

1.1 升级java到11（由于logstash需要1.8的环境，此处升级被退回了）

yum -y install java-11-openjdk
mv /etc/alternatives/java /etc/alternatives/java.bak
# 此处根据实际情况修改新版本java的位置
ln -s /usr/lib/jvm/java-11-openjdk-11.0.11.0.9-1.el7_9.x86_64/bin/java /etc/alternatives/java

1.2 下载并解压es安装包

ES安装包的版本可前往官网自行选择

cd /opt/install
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.0.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.0.0-linux-x86_64.tar.gz -C /opt/
cd /opt
mv elasticsearch-7.0.0/ elasticsearch

1.3 添加启动用户（ES5.0以上需要非root用户），并配置用户资源

useradd elk 
groupadd elk
useradd elk -g elk
# 创建日志目录
mkdir  -pv  /opt/elk/{
    
    data,logs}
# 赋予用户权限
chown -R elk:elk /opt/elk/
chown -R elk:elk /opt/elasticsearch/

vim /etc/security/limits.d/20-nproc.conf

elk    soft    nproc     65536

1.4 修改es配置文件

vim /opt/elasticsearch/config/elasticsearch.yml

# 节点主机名，根据实际情况配置
node.name: postprocess01_test
path.data: /opt/elk/data
path.logs: /opt/elk/logs
network.host: 0.0.0.0
http.port: 9200
# 集群所有主机名列表
cluster.initial_master_nodes: ["postprocess01_test"]

1.5 配置资源参数和内核参数

资源大小可根据实际情况修改

vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

内核参数

vim /etc/sysctl.conf

vm.max_map_count=262144
fs.file-max=65536

使配置生效

sysctl -p

1.6 启动es，并采用supervisor来维护

sudo -u elk /opt/elasticsearch/bin/elasticsearch

采用如下命令查看服务是否启动成功

curl <node_ip>:9200

2. logstash安装

mysql的数据迁移需要采用logstash配置，logstash需要1.8的java环境

2.1 下载安装包并解压

注意logstash的版本必须与es一致，否则会报错。

cd /opt/install
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz
tar zxf logstash-7.0.0.tar.gz -C /usr/local/
cd /usr/local/
mv logstash-7.0.0/ logstash

2.2 添加用户

# 创建logstash用户
groupadd -r logstash　　
useradd -r -g logstash -d /usr/local/logstash -s /sbin/nologin -c "logstash" logstash
# 创建配置文件、日志等目录
mkdir -p /etc/logstash/conf.d/
mkdir /var/log/logstash
mkdir /var/lib/logstash
# 赋予用户权限
chown logstash /var/log/logstash
chown logstash:logstash /var/lib/logstash
chown -R logstash:logstash /usr/local/logstash/

2.3 启动logstash，并测试

配置logstash启动路径

扫描二维码关注公众号，回复： 13164019 查看本文章

vi /etc/init.d/logstash

program=/usr/local/logstash/bin/logstash

测试文件示例：

vi /opt/jlpost/simple.conf

input {
    
    
  stdin {
    
    }
}
output {
    
    
  stdout {
    
    
    codec => rubydebug }
}

运行logstash，-f可以挂载文件

/usr/local/logstash/bin/logstash -f /opt/jlpost/simple.conf

3. mysql 数据迁移

3.1 下载mysql-connector-java的jar包

版本选择与jar包下载参见：https://blog.csdn.net/dylgs314118/article/details/102677942，本项目选择版本6.0.6

创建conf脚本，sql脚本

vi /opt/jlpost/post_process/bin/merge_mysql_to_es.conf
vi /opt/jlpost/post_process/bin/sql_to_es.sql

input {
    
        
    jdbc {
    
    
      jdbc_connection_string => "jdbc:mysql://10.30.239.196:3306/jinling_post?characterEncoding=UTF8&serverTimezone=UTC"
      jdbc_user => "root"
      jdbc_password => "123456"
      jdbc_driver_library => "/opt/jlpost/mysql-connector-java-6.0.6.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      codec => plain {
    
     charset => "UTF-8"}

      jdbc_default_timezone => "Asia/Shanghai"
      statement_filepath => "/opt/jlpost/sql_to_es.sql"
      schedule => "* * * * *"
      type => "jdbc"
    }
}
 
 
output {
    
    
    elasticsearch {
    
    
        hosts => ["10.30.239.196:9200"]
        index => "abnormal_result"       
    }
    stdout {
    
            
        codec => json_lines
    }
    
}

select * from abnormal_result limit 10

运行logstash，-f可以挂载文件

/usr/local/logstash/bin/logstash -f /opt/jlpost/post_process/bin/merge_mysql_to_es.conf

导入完成后，采用如下命令查看

http://10.30.239.196:9200/abnormal_result/_search?q=*&pretty

4. ES常用语句

查看索引中总记录数

http://10.30.239.196:9200/abnormal_result/_count

清空索引

http://10.30.239.196:9200/abnormal_result/_delete_by_query

curl  -XPOST 'http://10.30.239.196:9200/abnormal_result/_delete_by_query' -H 'Content-Type: application/json'  -d'{"query": {"match_all": {}}}'

调整es返回的最大数量限制

curl -XPUT http://10.30.239.196:9200/abnormal_result/_settings -H 'Content-Type: application/json' -d '{"index": {"max_result_window": 1000000}}'

调整分组统计的桶数

curl -XPUT http://10.30.239.196:9200/_cluster/settings -H 'Content-Type: application/json' -d '{"persistent": {"search.max_buckets": 300000}}'

调整bill_no列，以便于使用agg的功能

curl -XPUT http://10.30.239.196:9200/abnormal_result/_mapping -H 'Content-Type: application/json' -d '{"properties": {"bill_no": {"type": "text",  "fielddata": true}}}'

5. ES sql查询

5.1ES dsl语法与sql语法的比较

对于一条sql语句，将其采用es的查询进行重组，ES的查询语法说明参考：https://www.elastic.co/guide/cn/elasticsearch/guide/current/_most_important_queries.html

示例如下

"select count(BILL_NO) from abnormal_result_new where (( MAIN_G_NAME like '%耳钉%' and PACK_NO='4'))  and whole_risk!= 0 limit 10,5"

es = Elasticsearch(["10.30.239.196" + ':' + "9200"])
body = {
    
    
    "from": 10,
    "size": 5,
    "query": {
    
    
        # 条件联查
        "bool": {
    
    
            # should：or查询, must: and查询
            "must": [
                {
    
    
                    # 模糊匹配，以短语形式，若使用"match"的语法，则会返回“耳环”、“钉珠”等结果
                    # 使用"match_phrase"，则返回完全符合“耳钉”的结果
                    "match_phrase": {
    
    
                        "main_g_name": '耳钉'
                    }
                },
                {
    
    
                    # 精确匹配，term适用于数字，查字符串时可能无返回值
                    "term": {
    
    
                        "pack_no": '4'
                    }
                }
            ],
            # 不等于
            "must_not": [
                {
    
    
                    "match": {
    
    
                        "whole_risk": "0"
                    }
                }
            ]
        }
    },
    # 统计符合query要求的单据的数量
    # 此处bill_no需要指定为keyword类型
    "aggs": {
    
    
        "count": {
    
    
            "cardinality": {
    
    
                "field": "bill_no"
            }
        }
    }
}
result = es.search(index="abnormal_result", body=body)

5.2 dsl语法与sql语法的转换

由于实际项目中的查询条件过于复杂，将sql语句改写为dsl语法难度较高，因此，优先考虑使用es sql插件。
启动elasticsearch-sql-cli客户端，以sql的形式查询es

/opt/elasticsearch/bin/elasticsearch-sql-cli

出现下图表明sql客户端启动成功

输入待查询的sql语句，查看结果符合预期要求，该方案可行。

6. GC管理

某次分组统计查询时，返回数据量较大，报错：[parent] Data too large
处理方法：增大内存

vim /opt/elasticsearch/config/jvm.options

# 可根据服务器内存自行配置，默认为1g
-Xms2g
-Xmx2g

es中jvm的gc管理参考：

https://blog.csdn.net/wang_zhenwei/article/details/50385720

采用如下语法在浏览器中打开查看索引中的fielddata内存情况：可以发现memory_size_in_bytes（占用内存），evictions（驱逐）为0

http://10.30.239.196:9200/abnormal_result/_stats/fielddata?fields=*&pretty

在elasticsearch.yml中配置断路器相关的参数

# 控制cache加载，默认为60%，这个设置高点会不会更好
# 当缓存区大小到达断路器所配置的大小时：会返回Data too large异常
indices.breaker.fielddata.limit: 60%
# 配置fieldData的Cache大小，cache到达约定的内存大小时会自动清理
indices.fielddata.cache.size：20%