ElasticSearch系列四:掌握ES聚合数据分析

1.两个核心概念

bucket:一个数据分组,类似数据库分组group by
metric:对一个数据分组执行的统计,常见的数据分析的metric操作有count,avg,max,min,sum

2.有分词的字段需要field的fielddata属性设置为true

PUT /ecommerce/_mapping/product
{
  "properties": {
"tags": {
 "type": "text",
 "fielddata": true
}
  }
}

3.常用统计示例

例1.计算每个tag下的商品数量
GET /ecommerce/product/_search
{
  "aggs": {
"group_by_tags": {
 "terms": { "field": "tags" }
}
  }
}
例2.对名称中包含yagao的商品,计算每个tag下的商品数量
GET /ecommerce/product/_search
{
  "size": 0,
  "query": {
"match": {
 "name": "yagao"
}
  },
  "aggs": {
"all_tags": {
 "terms": {
"field": "tags"
 }
}
  }
}
例3.先分组,再算每组的平均值,计算每个tag下的商品的平均价格
GET /ecommerce/product/_search
{
"size": 0,
"aggs" : {
"group_by_tags" : {
"terms" : { "field" : "tags" },
"aggs" : {
"avg_price" : {
"avg" : { "field" : "price" }
}
}
}
}
}
例4.计算每个tag下的商品的平均价格,并且按照平均价格降序排序
GET /ecommerce/product/_search
{
"size": 0,
"aggs" : {
"all_tags" : {
"terms" : { "field" : "tags", "order": { "avg_price": "desc" } },
"aggs" : {
"avg_price" : {
"avg" : { "field" : "price" }
}
}
}
}
}
例5.按照指定的价格范围区间进行分组,然后在每组内再按照tag进行分组,最后再计算每组的平均价格
GET /ecommerce/product/_search
{
  "size": 0,
  "aggs": {
"group_by_price": {
 "range": {
"field": "price",
"ranges": [
 {
"from": 0,
"to": 20
 },
 {
"from": 20,
"to": 40
 },
 {
"from": 40,
"to": 50
 }
]
 },
 "aggs": {
"group_by_tags": {
 "terms": {
"field": "tags"
 },
 "aggs": {
"average_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
  }
}

4.count、avg、max、min、sum

GET /tvs/sales/_search
{
   "size" : 0,
   "aggs": {
 "colors": {
"terms": {
"field": "color"
},
"aggs": {
"avg_price": { "avg": { "field": "price" } },
"min_price" : { "min": { "field": "price"} }, 
"max_price" : { "max": { "field": "price"} },
"sum_price" : { "sum": { "field": "price" } } 
}
 }
   }
}

5.使用内置field不分词,对string field进行聚合

GET /test_index/test_type/_search 
{
 "size": 0,
 "aggs": {
"group_by_test_field": {
 "terms": {
"field": "test_field.keyword"
 }
}
 }
}

6.下钻:多层次的下钻,即分组再分组,多层嵌套聚合

例:每个颜色的电视中的品牌的数量和平均价格是多少
GET /tvs/sales/_search 
{
 "size": 0,
 "aggs": {
"group_by_color": {
 "terms": {
"field": "color"
 },
 "aggs": {
"color_avg_price": {
 "avg": {
"field": "price"
 }
},
"group_by_brand": {
 "terms": {
"field": "brand"
 },
 "aggs": {
"brand_avg_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
 }
}

7.histogram:类似于terms,也是进行bucket分组操作,接收一个field,按照这个field的值的各个范围区间,进行bucket分组操作

例:GET /tvs/sales/_search
{
  "size" : 0,
  "aggs":{
 "price":{
"histogram":{ 
"field": "price",
"interval": 2000
},
"aggs":{
"revenue": {
  "sum": { 
"field" : "price"
  }
}
}
 }
  }
}

8.date histogram,按照我们指定的某个date类型的日期field,以及日期interval,按照一定的日期间隔,去划分bucket

  min_doc_count:区间无值补0
  extended_bounds,min,max:划分bucket的时候,会限定在这个起始日期,和截止日期内
  例:GET /tvs/sales/_search
{
  "size" : 0,
  "aggs": {
"sales": {
  "date_histogram": {
"field": "sold_date",
"interval": "month", 
"format": "yyyy-MM",
"min_doc_count": 0,
"extended_bounds" : { 
"min" : "2016-01",
"max" : "2017-12"
}
  }
}
  }
}

9.搜索结合聚合aggregation,scope

出来两个结果,一个结果,是基于query搜索结果来聚合的; 一个结果,是对所有数据执行聚合的
global:就是global bucket,就是将所有数据纳入聚合的scope,而不管之前的query
例:GET /tvs/sales/_search 
{
 "size": 0, 
 "query": {
"term": {
 "brand": {
"value": "长虹"
 }
}
 },
 "aggs": {
"single_brand_avg_price": {
 "avg": {
"field": "price"
 }
},
"all": {
 "global": {},
 "aggs": {
"all_brand_avg_price": {
 "avg": {
"field": "price"
 }
}
 }
}
 }
}
global:就是global bucket,就是将所有数据纳入聚合的scope,而不管之前的query

猜你喜欢

转载自blog.csdn.net/zhou870498/article/details/80501899