5、Exploring Your Data（探索数据）
Sample Dataset（样本数据集）
现在我们已经学会了基础知识，让我们尝试在更真实的数据集上操作。我准备了一份顾客银行账户信息的虚构的 JSON 文档样本。每个文档都有以下的schema（模式）:
{
"account_number": 0,
"balance": 16623,
"firstname": "Bradshaw",
"lastname": "Mckenzie",
"age": 29,
"gender": "F",
"address": "244 Columbus Place",
"employer": "Euron",
"email": "[email protected]",
"city": "Hobucken",
"state": "CO"
}如果您对这份数据有兴趣，我从 www.json-generator.com/ 生成的这份数据，因为这些都是随机生成的，所以请忽略实际的值和数据的语义。
Loading the Sample Dataset（下载样本数据集）
您可以从这里下载这份样本数据集（accouts.json）。提取它到当前的目录，然后加载到集群中，如下所示 :
curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_bulk?pretty&refresh" --data-binary "@accounts.json"
curl "localhost:9200/_cat/indices?v"响应如下 :
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open bank l7sSYV2cQX 4 5 1 1000 0 128.6kb 128.6kb这意味着我们刚才成功的批量索引了 1000 份文档到 bank索引（_doc类型下）。
5.1 The Search API（搜索 API）
现在让我们从一些简单的搜索开始。这里两个运行搜索的基本方法 : 一个是通过使用 REST请求URI 发送搜索参数，另一个是通过使用 REST请求体 来发送搜索参数。请求体的方法可以让您更具有表现力，并且可以在一个更可读的 JSON 格式中定义您的搜索。我们会尝试使用一个请求URI 的示例，但是在本教程的其它部分，我们将只使用请求体的方式。
搜索的 REST API 从_search的尾部开始。下例返回了bank索引中的所有文档 :
GET /bank/_search?q=*&sort=account_number:asc&pretty首先让我们剖析搜索的调用。我们在 bank 索引中执行搜索（_search 尾部），然后 q=* 参数命令 Elasticsearch 去匹配索引中所有的文档。sort = account_number：asc参数指示使用每个文档中的account_number字段对结果进行升序排序。pretty 参数告诉 Elasticsearch 返回漂亮的 JSON 结果。
响应如下（部分）:
{
"took" : 63,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1000,
"max_score" : null,
"hits" : [ {
"_index" : "bank",
"_type" : "_doc",
"_id" : "0",
"sort": [0],
"_score" : null,
"_source" : {"account_number":0,"balance":16623,"firstname":"Bradshaw","lastname":"Mckenzie","age":29,"gender":"F","address":"244 Columbus Place","employer":"Euron","email":"[email protected]","city":"Hobucken","state":"CO"}
}, {
"_index" : "bank",
"_type" : "_doc",
"_id" : "1",
"sort": [1],
"_score" : null,
"_source" : {"account_number":1,"balance":39225,"firstname":"Amber","lastname":"Duke","age":32,"gender":"M","address":"880 Holmes Lane","employer":"Pyrami","email":"[email protected]","city":"Brogan","state":"IL"}
}, ...
]
}
}在响应中，我们可以看到以下几个部分 :
took： Elasticsearch 执行查询的时间，单位是毫秒time_out： 查询是否超时_shards：查询了多少个分片，其中有几个成功的，几个失败的hits： 查询结果hits.total： 总共有多少个文档满足查询条件hits.total.value：总命中数的值（必须在hits.total.relation的上下文中解释）hits.total.relation：hits.total.value是否是确切的命中数，在这种情况下它等于“eq”。或总命中数的下限（大于或等于），在这种情况下它等于“gte。
hits.hits： 实际的查询结果（数组形式表示，默认为前 10 个文档）sort： 查询结果的排序字段（没有则按 score 排序）score和max_score：查询的得分，最高得分（现在暂时忽略这些字段）
hits.total的准确性由请求参数track_total_hits控制，当设置为true时，请求将准确跟踪总命中（“关系”：“eq”）。它默认为10,000，这意味着总命中数可以精确跟踪多达10,000个文档。您可以通过将track_total_hits显式设置为true来强制进行准确计数。有关详细信息，请参阅[request body]文档。
下例是对上面的搜索使用request 请求体方式进行的相同搜索: :
GET /bank/_search
{
"query":{"match_all":{}},
"sort":[
{"account_number":"asc"}
]
}这里的不同点就是用一个JSON风格的request请求体代替了q=*。我们将在下一部分讨论这个 JSON 查询。
一旦您搜索的结果被返回，Elasticsearch 便完成了这次请求，并且不会维护任何服务端的资源或者 cursor（游标）结果。这与其它的平台形成了鲜明的对比。例如在SQL中，您可以首先获得查询结果的子集，如果您想要使用一些服务端有状态的 cursor（光标）来抓取（或者通过分页）其它的结果，您必须再次回到服务器。
5.2 Introducing the Query Language（介绍查询语言）
Elasticsearch 提供了一个可以执行查询的 Json 风格的语句。这个被称为 Query DSL（domain-specific language 领域特定语言）。该查询语言非常全面，可能刚开始学的时候会感觉有点复杂，学习它的最好方式是从一些基础的示例开始。
回到上个例子，我们执行了这个查询 :
GET /bank/_search
{
"query":{"match_all":{}}
}分析上面的查询，query 部分告诉我们查询是如何定义的，match_all 部分就是我们要运行的查询类型。match_all表示查询索引中的所有文档。
除了query参数之外，我们也可以传递其它的参数以改变查询结果。在上部分的例子中我们传递了sort，下例我们传递size :
GET /bank/_search
{
"query":{"match_all":{}},
"size":1
}注意，如果不指定 size，其默认值为 10.
下例做了一个match_all并且返回第10~19 的文档。
GET /bank/_search
{
"query":{"match":{}},
"from"： 10,
"size": 10
}from 参数指定的是从第几条记录开始返回，其默认值为0，size参数指定的是返回结果的条数。在实现分页搜索时这个功能是很有用的。
下面的例子做了一个 match_all，结果按balance降序排序且返回了前10（默认大小）个文档。
GET /bank/_search
{
"query":{"match_all":{}},
"sort":{"balance":{"order":"desc"}}
}5.3 Executing Searches（执行查询）
现在我们已经了解了基本的搜索参数，让我们深入探讨更多的 DSL。我们首先看一下返回的文档字段。默认情况下，完整的 JSON 文档会被作为所有搜索的一部分返回。这被称为“source”（hits 中的_source 字段）。如果我们不希望返回整个 source 文档，我们可以只请求返回 source 中的一些字段。
下例演示了如何从搜索中返回account_number 和 balance（在 _source 之内）字段，如下所示 :
GET /bank/_search
{
"query":{"match_all":{}},
"_source":["account_number","balance"]
}注意，上面的的响应中将只有一个_source字段，并且里面只有account_number和balance两个字段。如果你会SQL语句，那么这个请求就类似于SQL中的SELECT FROM 字段列表
现在让我们继续关注query部分。此前，我们了解了 match_all 是如何查询所有文档的。我们现在介绍一个名为 match query 的新查询，它可以被视为基本的字段化搜索查询（例如，针对一个指定字段或一组字段来搜索）。
下面例子返回了account_number为 20 的文档 :
GET /bank/_search
{
"query":{"match":{"account_number":20}}
}下面例子返回了在address中包含mill 的账户 :
GET /bank/_search
{
"quer":{"match"：{"address":"mill"}}
}下面例子返回了在address中包含了 mill 或 lane的账户 :
GET /bank/_search
{
"query":{"match":{"address":"mill lane"}}
}下面例子是math（match_phrase）的另一种方式，它返回了在 address中所有包含mill lane 的账户 :
GET /bank/_search
{
"query":{"match_phrase":{"address":"mill lane"}}
}现在我们介绍 bool query。bool查询允许我们组合使用布尔逻辑。
下面例子构建两个 match查询，并且返回了在 address中包含了mill 和 lane的账户 :
GET /bank/_search
{
"query": {
"bool": {
"must": [
{ "match": { "address": "mill" } },
{ "match": { "address": "lane" } }
]
}
}
}这个例子中要求must大括号里面的查询条件必须都为真，才认为满足查询条件。
相反，下面这个例子用should组装两个match条件，返回的结果将是address字段里面包含mill或是包含lane的记录：
GET /bank/_search
{
"query":{
"bool":{
"should":{
{"match":{"address":"mill"}},
{"match":{"address":"lane"}}
}
}
}
}下面例子构建两个match 查询，并且回了在 address 中既不包含 “mill” 也不包含 “lane” 的账户 :
GET /bank/_search
{
"query":{
"bool":{
"must_not":[
{"match":{"address","mill"}},
{"match":{"address","lane"}}
]
}
}
}这个例子中要求must_not大括号里面的查询条件都为false。
我们可以在 bool 查询中同时联合 must，should和 must_not语句。此外，我们可以在任何一个bool语句内部构建bool查询，从而模拟出任何复杂的多级别的 boolean 逻辑。
下面的例子返回了age 为40 但是 state不为ID的账户 :
GET /bank/_search
{
"query":{
"bool":{
"must":[
{"match":{"age":40}}
],
"must_not":[
{"match":{"state":"ID"}}
]
}
}
}5.4 Executing Filters（执行过滤）
在上一节中，我们跳过了一些名为score（在搜索结果中的 _score 字段）的细节。score是一个数值，它是文档与我们指定的搜索查询匹配程度的相对度量。分数越高，文档的相关度更高，分数越低，文档的相关度越低。
并不是所有的查询都需要产生分数，特别是当它们只用于filtering文档集时。ElasticSearch检测到这些情况，并自动优化查询执行，以避免计算无用的分数。
在上一节中我们介绍的 bool 查询也支持 filter 子句，这些子句允许我们使用查询来限制将与其他子句匹配的文档，而不会更改计算得分的方式。举个例子，让我们介绍下range查询，它可以让我们通过一系列的值过滤文档。这通常用于数字或者日期过滤。
下面的例子使用了一个 bool 查询来返回balances在20000 ~ 30000 之间的账户（包含 20000 和 30000）。换言之，我们想要去找出balances大于或等于 20000 且小于或等于 30000 的账户。
GET /bank/_search
{
"query":{
"bool":{
"must":{"match_all":{}},
"filter:{
"range":{
"balance":{
"gte":20000,
"lte":30000
}
}
}
}
}
}分析上面的结构，bool 查询包含了一个 match_all 查询（query部分），和一个 range（范围）查询（filter部分）。我们可以将任何其他查询替换为query和filter部分。在上述情况下，range范围内的文档相当于匹配，即没有文档比范围内的文档更相关。
除了 match_all，match，bool 和range查询之外 ，还有很多在这里我们我没有用到的其它有用的查询类型。既然我们对于它们是如何工作的方式有了一个基本的了解，在学习和尝试其它的查询类型中应用这些知识应该不会太困难。
5.5 Executing Aggregations（执行聚合）
aggregations提供了从数据中分组和统计数据的能力。最简单的聚合方法大致等同于SQL的group by 和SQL的聚合函数。在elasticsearch中，您可以同时执行查询和聚合的结果。这是非常强大且有效的，您可以执行查询和多个聚合，并且在一次请求中得到各自的（任何一个的）返回结果，避免频繁的网络请求。
首先，下面的例子是对所有account按照state进行分组，然后返回按计数降序排序的前10个结果：
GET /bank/_search
{
"size": 0,
"aggs": {
"group_by_state": {
"terms": {
"field": "state.keyword"
}
}
}
}在 SQL 中，上面的聚合概念类似下面 :
SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;响应如下（部分显示）:
{
"took": 29,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"skipped" : 0,
"failed": 0
},
"hits" : {
"total" : {
"value": 1000,
"relation": "eq"
},
"max_score" : null,
"hits" : [ ]
},
"aggregations" : {
"group_by_state" : {
"doc_count_error_upper_bound": 20,
"sum_other_doc_count": 770,
"buckets" : [ {
"key" : "ID",
"doc_count" : 27
}, {
"key" : "TX",
"doc_count" : 27
}, {
"key" : "AL",
"doc_count" : 25
}, {
"key" : "MD",
"doc_count" : 25
}, {
"key" : "TN",
"doc_count" : 23
}, {
"key" : "MA",
"doc_count" : 21
}, {
"key" : "NC",
"doc_count" : 21
}, {
"key" : "ND",
"doc_count" : 21
}, {
"key" : "ME",
"doc_count" : 20
}, {
"key" : "MO",
"doc_count" : 20
} ]
}
}
}可以看到在 ID（Idaho）有 27 个 account（账户），在 TX（Texas）有 27 个 account（账户），在 AL（Alabama）有25 个账户等等。
注意我们设置了size=0 以不显示搜索结果，因为我们只希望在响应中看聚合结果。
基于前面的聚合，下面的例子按state计算了平均的账户balance（同样，仅针对按计数降序排序的前10个状态 ）:
GET /bank/_search
{
"size":0,
"aggs":{
"group_by_state":{
"terms":{
"fields":"state.keyword"
},
"aggs":{
"average_balanece":{
"avg":{
"field":"balance"
}
}
}
}
}
}请注意，我们如何将average_balance聚合嵌套在group_by_state内。这是所有聚合的通用模式。可以在聚合中任意嵌套聚合，以从数据中提取所需的统计信息。
基于前面的聚合，现在我们按average_balance降序排序 :
GET /bank/_search
{
"size":0,
"aggs":{
"group_by_state":{
"terms":{
"field":"state.keyword",
"order":{
"average_balance":"desc"
}
},
"aggs":{
"average_balance":{
"avg":{
"field":"balance"
}
}
}
}
}
}下面的例子演示了我们如何按age（20-29岁，30-39岁，和 40-49岁）分组，然后按gender分组，最后获得每个年龄段每个性别的平均账户余额 :
GET /bank/_search
{
"size": 0,
"aggs": {
"group_by_age": {
"range": {
"field": "age",
"ranges": [
{
"from": 20,
"to": 30
},
{
"from": 30,
"to": 40
},
{
"from": 40,
"to": 50
}
]
},
"aggs": {
"group_by_gender": {
"terms": {
"field": "gender.keyword"
},
"aggs": {
"average_balance": {
"avg": {
"field": "balance"
}
}
}
}
}
}
}
}还有一些我们这里没有细讲的其它的聚合功能。如果您想要做进一步的实验，聚合参考指南是一个比较好的起点。
6、Conclusion（总结）
Elasticsearch 既是一个简单，又是一个复杂的产品。我们现在学会了它的基础部分，如何去看它内部，以及如何使用一些 REST API 来操作它。我希望本教程可以让您更好的了解 Elasticsearch 是什么，更重要的是，可以促使你进一步尝试它更强大的功能。