Elasticsearch painless脚本
1.什么是painless
painless是ElasticStack在升级到5.0版本之后新增的脚本语言，而且针对性的优化了Elasticsearch的场景。由于支持了java的静态类型和Java的lambda表达式，对于Elasticsearch数据的操作更轻量和快速，而且painless脚本因此更加简单安全。 painless脚本分为inline script(api请求时使用)和stored script(存储使用)，可类比如SQL查询语句和存储过程。
es的版本与脚本的演化过程：
本文仅介绍常用的es脚本操作语句可以快速入手，如果需要深入的学习，官方文档才是最好的学习资料
官方文档地址：https://www.elastic.co/guide/en/elasticsearch/painless/7.9/painless-guide.html
2.painless的特性
-
快速性能：painless脚本的运行速度是其他脚本的数倍
-
安全性：具有方法调用/字段粒度的细粒度allowlist。有关可用类和方法的完整列表，请参阅Painless API参考
-
可选类型：变量和参数可以使用显式类型或动态定义类型
-
语法：painless就继承自java8，是扩展Java语法的一个子集，以提供额外的脚本语言功能
-
优化：专门为Elasticsearch脚本设计
3.使用kibana进行准备操作
3.1 使用kibana创建索引和映射
如果你对于kibana不是很理解，可以参考我之前的文章：使用kibana对Elasticsearch索引创建删除和文档的CRUD操作命令
建立测试索引
PUT /painless_test
建立mapping属性映射
#建立mapping属性映射
PUT /painless_test/_mapping
{
"properties": {
"author": {
"type": "text",
"analyzer": "ik_max_word",
"fields": {
"keyword": {
"type": "keyword"
}
}
},
"age": {
"type": "integer"
},
"paperCount": {
"type": "integer"
},
"coreJournal": {
"type": "keyword"
}
}
}
3.2 使用kibana添加测试数据
PUT /painless_test/_doc/1001
{
"author": "阿刘慈欣",
"paperCount": [15,20,56],
"age": 45,
"coreJournal": [
"MED",
" JCR",
" EI",
" SCIE"
]
}
PUT /painless_test/_doc/1002
{
"author": "王晋康",
"paperCount": [23,7,32],
"age": 63,
"coreJournal": [
" EI",
" SCIE"
]
}
PUT /painless_test/_doc/1003
{
"author": "周全",
"paperCount": [57,9,34],
"age": 18,
"coreJournal": [
" JCR",
" EI"
]
}
4.使用painless执行查询操作
关于脚本查询须知
_search操作的query的查询结果会输出为字段脚本（script_fields）或排序脚本（sort）中的输入。因此在脚本中的操作通过Map类型的变量doc获取值，但是_search操作不会改变document的值，就像sql中的select语句。
4.1 字段查询脚本
字段查询操作：将所有作者的作品数量数组（paperCount字段）累加后查询出来
GET painless_test/_search
{
"query": {
"match_all": {
}
},
"script_fields": {
"total_goals": {
"script": {
"lang": "painless",
"inline": "int total = 0; for (int i = 0; i < doc['paperCount'].length; ++i) { total += doc['paperCount'][i]; } return total;"
}
}
}
}
脚本查询结果如下：
4.1 排序查询脚本
自定义排序操作：通过作者的名称和年龄相加进行排序（仅作示例，不考虑有无意义）
#排序脚本执行
POST painless_test/_search
{
"query": {
"match_all": {
}
},
"sort": {
"_script": {
"type": "string",
"order": "desc",
"script": {
"lang": "painless",
"inline": "doc['author.keyword'].value+doc['age']"
}
}
}
}
5.如何使用painless执行更新操作
关于脚本查询须知
脚本更新操作推荐使用update_by_query的API，该API首先通过query语句（可以使用各种query语句）查询出满足条件的记录，再根据脚本中的操作更新查询出来的记录。需要注意的是，相对于查询使用doc访问文档的内容，更新使用的是ctx。
5.1 字段更新脚本
需求描述：原始文档中的coreJournal字段中值存在空格，现在要求将空格去除
实现步骤：首先根据查询条件为存在coreJournal字段的文档，然后再对coreJournal中的值进行遍历去除空格操作
POST cqu_dev_journal_paper/_update_by_query
{
"script": {
"source": " for (int i = 0; i < ctx._source.coreJournal.length; i++) {
ctx._source.coreJournal[i]=ctx._source.coreJournal[i].trim(); }",
"lang": "painless"
},
"query": {
"bool": {
"must": [
{
"exists": {
"field": "coreJournal"
}
}
],
"must_not": [],
"should": []
}
}
}
执行效果如下：
5.2 带参数字段更新脚本
需求描述：原始文档中年龄在30岁以上的作者字段都要以"科幻作家”开头
实现步骤：首先根据查询条件为年龄在30岁以上的文档，然后再对作者字段进行更新
POST painless_test/_update_by_query
{
"script": {
"source": " ctx._source.author=params.prefix+ctx._source.author",
"lang": "painless"
, "params": {
"prefix":"科幻作家"
}
},
"query": {
"bool": {
"must": [
{
"range": {
"age": {
"from": 30
}
}
}
],
"must_not": [],
"should": []
}
}
}
执行效果如下：
6.stored script(存储使用)
# 创建单独的脚本
POST _scripts/add-age
{
"script": {
"lang": "painless",
"source": "doc['age'].value + params.myage"
}
}
# 获取脚本
GET _scripts/add-age
# 通过指定scriptid进行调用查询
GET painless_test/_search
{
"query": {
"match_all": {
}
},
"script_fields": {
"addage": {
"script": {
"id": "add-age",
"params": {
"myage": 15
}
}
}
}
}
# 删除脚本
DELETE _scripts/calculate-score
6.使用Java API 更新ES
通过Java API实现 5.1章节的需求
需求描述：原始文档中的coreJournal字段中值存在空格，现在要求将空格去除
实现步骤：首先根据查询条件为存在coreJournal字段的文档，然后再对coreJournal中的值进行遍历去除空格操作
public static BulkByScrollResponse updateByQuery() {
BulkByScrollResponse bulkResponse = null;
try {
UpdateByQueryRequest request = new UpdateByQueryRequest("painless_test");
request.setConflicts("proceed");
request.setQuery(QueryBuilders.existsQuery("coreJournal"));
String strScript = "for (int i = 0; i < ctx._source.coreJournal.length; i++) {ctx._source.coreJournal[i]=ctx._source.coreJournal[i].trim(); }"；
Script script = new Script(
ScriptType.INLINE, "painless",
strScript,
Collections.emptyMap());
request.setScript(script);
bulkResponse = restHighLevelClient.updateByQuery(request, RequestOptions.DEFAULT);
} catch (IOException e) {
log.error("ES更新异常", e.getMessage());
}
return bulkResponse;
}
7.使用SpringDataElasticsearch执行脚本
通过SpringDataElaticsearch实现 5.1章节的需求
需求描述：原始文档中的coreJournal字段中值存在空格，现在要求将空格去除
实现步骤：首先根据查询条件为存在coreJournal字段的文档，然后再对coreJournal中的值进行遍历去除空格操作
public AjaxResult updateESScript() {
int updatedCount = 0;
try {
//构建布尔查询语句，存在coreJournal字段的值
BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
boolQueryBuilder.must(QueryBuilders.existsQuery("coreJournal"));
NativeSearchQuery query = new NativeSearchQueryBuilder()
.withQuery(boolQueryBuilder)
.build();
//构建查询更新语句
UpdateQuery updateQuery = UpdateQuery.builder(query)
.withScriptType(ScriptType.INLINE)
.withScript("for (int i = 0; i < ctx._source.coreJournal.length; i++) {ctx._source.coreJournal[i]=ctx._source.coreJournal[i].trim(); }")
.withLang("painless")
.withAbortOnVersionConflict(false)
.build();
/**
* 使用ElasticsearchOperations.updateByQuery()方法执行脚本更新
* param: updateQuery 要执行的查询更新语句
* param: IndexCoordinates.of("painless_test") 获取要执行的索引
*/
ByQueryResponse byQueryResponse = elasticsearchOperations.updateByQuery
(updateQuery, IndexCoordinates.of("painless_test"));
long updated = byQueryResponse.getUpdated();
System.out.println("本次共更新es文档数量：" + updated);
} catch (Exception e) {
log.info("==============es更新报错===========");
e.printStackTrace();
return AjaxResultGenerator.error(e.getMessage());
}
return AjaxResultGenerator.success(updatedCount);
}