Nginx请求日志输出到ELK，同时通过Elastalert监控ELK日志中的关键信息（如http状态500+错误，耗时较长的请求数达到阈值等等），这几乎是中小型互联网公司的标配。
Elastalert自带的报警方式虽然多种多样，但是不能实现根据报警信息分组发送，如研发人员也很关心这些指标，需要接受本项目的报警，运维需要接受所有项目的报警，报警方式要支持电话语音、短信、邮件、钉钉群。要实现这些，只能自己撸脚本了。
1.首先从yaml配置文件开始
yunwei:
member:
zhangshan:
phone: 15895820001
mail: [email protected]
lisi:
phone: 15895820002
mail: [email protected]
dingtoken:
e802cb4b5791bb08e1bc79cfd62c0a6bae4b77e8758b4b52522d5119478f1234
project1:
member:
zhouwu:
phone: 15895820003
mail: [email protected]
wangliu:
phone: 15895820004
mail: [email protected]
dingtoken:
0a30c27cbb9bb17e5dbcb721578b7a6a490810c2fc237e1af5a1289557d31234
project2:
member:
liudehua:
phone: 15895820005
mail: [email protected]说明：
- yunwei代表运维组；project1\porject2代表各个研发组，研发组名称必须与elastalert中的一级域名一致（这个跟各公司的具体情况有关，我们公司有n个平台，每个平台有1个或多个1级域名）
- 每个组下的member可以有1-n个user;
- 每个组有一个钉钉群；
- phone\mail\dingtoken都不是必须的，如project2没有钉钉群，则不发钉钉通知；
- 对于warning级别的报警，通过phone发送短信通知，对于disaster级别的通知，通过phone发送电话语音通知，所有级别的报警都会通过mail\dingtoken发送。
2.Elastalert的规则配置
以监控500状态为例说明配置
es_host: 10.10.10.1
es_port: 9200
name: freq-status-500
type: frequency
index: nginx-*
num_events: 30
timeframe:
minutes: 1
filter:
- bool:
must:
- terms:
status: ["500","501","502","503","504"]
use_terms_query: true
doc_type: doc
terms_size: 10
query_key:
- domain
- status
realert:
minutes: 60
alert:
- command
new_style_string_format: true
command: ["/root/elastalert-0.1.38/myalert/elastalert-alarm/alarm.py","--level=warning","--domain={domain,status}","--rulename=freq-status-500","--type=frequency","--num_events=30","--timeframe=1min"]说明：
- 官方说可以支持多个query_key，但测试过程中发现对于frequency类型的rule，多query_key死活不成功，后来发现frequency类型下并不支持多key，需要改造（见下一章节）
- 实现按组报警，与普通Elastalert报警的主要区别在于，command要输出很多自定义参数，脚本通过这些参数决定发送的组合发送的内容，具体含义见alarm.py脚本
parser.add_argument('--level',dest='level',help='warning, distater')
parser.add_argument('--domain',dest='domain',help='for instance: sina_www, if rule_name start with freq-500,then sina_www-500')
parser.add_argument('--rulename', dest='rulename', help='rulename')
parser.add_argument('--type', dest='type', help='frequence, flatline')
parser.add_argument('--num_events', dest='num_events', help='num_events')
parser.add_argument('--timeframe', dest='timeframe', help='timeframe')
parser.add_argument('--reqtime_gt', dest='reqtime_gt', help='request time greater than')3.frequency类型的规则支持多字段query_key
多query_key是非常实用的，如上文中，我要监控每个域名每种HTTP 500状态的请求数，一个rule就能实现了。可惜作者没支持好，需要稍微改造下。
配置举例（use_terms_query必须配置）：
use_terms_query: true
query_key:
- domain
- status修改elastalert.py中的方法get_terms_query：
修改前：
else:
aggs_query = query
aggs_query['aggs'] = {'counts': {'terms': {'field': field, 'size': size}}}
return aggs_query
修改后（暂且只支持2个字段）：
else:
aggs_query = query
field_list = field.split(",")
if len(field_list) == 1:
aggs_query['aggs'] = {'counts': {'terms': {'field': field, 'size': size}}}
elif len(field_list) == 2:
source= "doc['" + field_list[0] + "'].value + '-' + doc['" + field_list[1] + "'].value"
aggs_query['aggs'] = {'counts': {'terms': {'script': {'source': source}, 'size': size}}}
else:
elastalert_logger.inof("Not support more than 2 fields in query_key")
return aggs_queryalert中获取具体domain和status方式如下：
command: ["/tmp/alert_log.sh", "warning - freq 500 exceed, domain: {domain,status}"]4.具体代码
文件说明：
alarm.py --程序入口，参数解析
alert_channel.py --报警发送通道（短信、语音、邮件、钉钉群）
alert.py --构造发送对象和消息内容
aliyunsdk_SingleCallByTtsRequest.py --阿里电话语音第三方库
config-contact.yaml --报警对象配置文件
config.py --加载配置文件
requirements.txt --依赖
util.py --工具方法代码地址：https://github.com/meishd/elastalert-alarm
5.效果
如域名www.sina.com的502请求数每分钟超过30个，则报警内容如下：
注：我们ELK中将domain改成“ 一级域名_二级域名 ”的格式入库
warning: sina_www status of 502 exceed 30 per 1min