Docker实现GPA+Exporter监控告警系统
1.搭建grafana，prometheus，blackbox_exporter环境 # docker run -d -p 9090:9090 -v /tmp:/etc/prometheus --name prometheus prom/prometheus # docker run -d -p 3000:3000 --name grafana grafana/grafana:5.1.0 # docker run -d -p 9115:9115 --name blackbox_exporter -v /tmp:/config prom/blackbox-exporter --config.file=/config/blackbox.yml # docker run -d -p 9093:9093 -v /tmp/alertmanager_config.yml:/etc/alertmanager/alertmanager.yml --name alertmanager prom/alertmanager 2.配置grafana添加promethues数据源并添加图表可视化。安装pie插件并重启grafana。 # grafana-cli plugins install grafana-piechart-panel # docker restart grafana 3.blackbox_exporter和promethues修改配置文件之后使用以下命令重载： # curl -XPOST http://127.0.0.1:9115/-/reload # curl -XPOST http://127.0.0.1:9090/-/reload // 需要 --web.enable-lifecycle 参数为true 4.Debugging Blackbox exporter failures # The first is to add &debug=true to the probe URL, for example http://localhost:9115/probe?module=http_2xx&target=https://www.prometheus.io/&debug=true. This will not produce metrics, but rather detailed debug information。 5.配置文件示例： ========================================== 1.#cat blackbox.yml modules: http_2xx: # http 监测模块 prober: http http: valid_http_versions: ["HTTP/1.1", "HTTP/2"] valid_status_codes: [] # Defaults to 2xx method: GET http_post_2xx: # http post 监测模块 prober: http http: method: POST tcp_connect: # tcp 监测模块 prober: tcp timeout: 5s tcp: preferred_ip_protocol: "ip4" source_ip_address: "127.0.0.1" ping: # icmp 检测模块 prober: icmp timeout: 5s icmp: preferred_ip_protocol: "ip4" source_ip_address: "127.0.0.1" dns: prober: dns timeout: 5s dns: transport_protocol: "tcp" # defaults to "udp" preferred_ip_protocol: "ip4" # defaults to "ip6" query_name: "xxx.xxx.cn" query_type: "A" ========================================== 2.#cat promethues.yml global: scrape_interval: 15s evaluation_interval: 10s external_labels: monitor: 'monitor' alerting: alertmanagers: - static_configs: - targets: - 172.17.0.5:9093 rule_files: - "first_rules.yml" scrape_configs: - job_name: 'prometheus' scrape_interval: 5s static_configs: - targets: ['localhost:9090'] - job_name: 'blackbox_ping_all' scrape_interval: 5s scrape_timeout: 2s metrics_path: /probe params: module: [ping] file_sd_configs: - files: - /etc/prometheus/blackbox_ping.json refresh_interval: 1m relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: 172.17.0.2:9115 - job_name: 'blackbox_http_code' scrape_interval: 5s metrics_path: /probe params: module: [http_2xx] file_sd_configs: - files: - /etc/prometheus/blackbox_http_code.json refresh_interval: 1m relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: 172.17.0.2:9115 - job_name: "blackbox_tcp" metrics_path: /probe # 不是 metrics，是 probe params: module: [tcp_connect] # TCP 模块 file_sd_configs: - files: - /etc/prometheus/blackbox_tcp.json refresh_interval: 1m relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: 172.17.0.2:9115 - job_name: "blackbox_dns" metrics_path: /probe # 不是 metrics，是 probe params: module: [dns] # DNS 模块 static_configs: - targets: - xxx.xxx.xxx.xxx:53 #dns服务器的IP地址 relabel_configs: - source_labels: [__address__] target_label: __param_target - source_labels: [__param_target] target_label: instance - target_label: __address__ replacement: 172.17.0.2:9115 1）# blackbox_ping.json [ { "targets": ["172.17.0.2", "172.17.0.3", "172.17.0.4", "172.17.0.5"] } ] 2）# blackbox_http_code.json [ { "targets": ["172.17.0.4:3000", "172.17.0.5:9093", "https://www.baidu.com/"] } ] 4）# blackbox_tcp.json [ { "targets": ["xxx.xxx.xxx.xxx:53"] } ] 5）# blackbox_dns.json [ { "targets": ["xxx.xxx.xxx.xxx:53"] # 不要省略端口号 } ] ========================================== 3.#cat first_rules.yml groups: - name: http_code rules: - alert: HTTP_CODE_ERROR expr: probe_http_status_code{instance="https://xxx.xxx.com/",job="blackbox_http_2xx"} != 200 for: 10m labels: severity: page annotations: summary: High request latency # http_code alert rules - name: example rules: - alert: ProbeFailing expr: up{job="blackbox_http_code"} == 0 or probe_success{job="blackbox_http_code"} == 0 for: 10m labels: severity: page # ssl expiry alert rules - name: ssl_expiry.rules rules: - alert: SSLCertExpiringSoon expr: probe_ssl_earliest_cert_expiry{job="blackbox_http_code"} - time() < 86400 * 30 for: 10m # ping rules - name: ping_all rules: - alert: Ping_down expr: probe_success{job="blackbox_ping_all"} == 0 for: 10m ========================================== 4.#cat alertmanager.yml # 全局配置项 global: resolve_timeout: 5m #处理超时时间，默认为5min smtp_smarthost: 'smtp.xxx.xxx.com:25' # 邮箱smtp服务器代理 smtp_from: '[email protected]' # 发送邮箱名称 smtp_auth_username: '[email protected]' # 邮箱名称 smtp_auth_password: 'xxxxxx' # 邮箱密码或授权码 # 定义模板信息 templates: - 'template/*.tmpl' # 定义路由树信息 route: group_by: ['severity'] # 报警分组依据 group_wait: 10s # 当一个新的报警分组被创建后，需要等待至少group_wait时间来初始化通知，这种方式可以确保您能有足够的时间为同一分组来获取多个警报，然后一起触发这个报警信息。 group_interval: 10s # 当第一个报警发送后，等待'group_interval'时间来发送新的一组报警信息。 repeat_interval: 1m # 发送重复警报的周期,如果一个报警信息已经发送成功了，等待'repeat_interval'时间来重新发送他们,对于email配置中，此项不可以设置过低，否则将会由于邮件发送太多频繁，被smtp服务器拒绝 receiver: 'email' # 发送警报的接收者的名称，以下receivers name的名称 # 上面所有的属性都由所有子路由继承，并且可以在每个子路由上进行覆盖。 routes: - receiver: email group_wait: 10s match: instance: 172.17.0.2 # 定义警报接收者信息 receivers: - name: 'email' # 警报 email_configs: # 邮箱配置 - to: '[email protected]' # 接收警报的email配置 html: '{{ template "test.html" . }}' # 设定邮箱的内容模板 headers: { Subject: "[WARN] 报警邮件"} # 接收邮件的标题 # 一个inhibition规则是在与另一组匹配器匹配的警报存在的条件下，使匹配一组匹配器的警报失效的规则。两个警报必须具有一组相同的标签。 inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance'] ========================================== 5.#cat test.tmpl {{ define "test.html" }} <table border="1"> <tr> <td>报警项</td> <td>实例</td> <td>报警阀值</td> <td>开始时间</td> </tr> {{ range $i, $alert := .Alerts }} <tr> <td>{{ index $alert.Labels "alertname" }}</td> <td>{{ index $alert.Labels "instance" }}</td> <td>{{ index $alert.Annotations "value" }}</td> <td>{{ $alert.StartsAt }}</td> </tr> {{ end }} </table> {{ end }} ========================================== # 原理和问题总结： 1.blackbox_exporter是Prometheus监控系统中用于在agent机器上采集http，DNS,ICMP相关信息，通过prometheus传递的参数和target，映射到对应的agent的web接口上进行处理。默认情况下，Blackbox Exporter在端口9115上运行，并在/probe端点上提供指标。Blackbox Exporter的scrape_configs配置与其他出口商的配置不同。 最显着的不同是targets指令，它列出了被探测的端点而不是出口者的地址。 出口商的地址是使用适当的__address__标签设置的。 2.prometheus采集到监控数据后需要告警时发现alertmanager要等待prometheus发送数据之后再处理，也就是告警出现延时。分析验证结果：目标节点down机后，exporter很快检测到，通过查询可以知道prometheus中也更新了，但是prometheus的alert并没有更新，而是等待了一会之后由绿色变为黄色，进入pending状态，后来查看配置知道和evaluation_interval参数有关，默认是1m，该参数是评估报警规则的时间间隔，也就是更新Alert状态的时间，然后根据规则里for的设置5秒后由黄色变为红色，进入firing状态，这时发送警报到alertmanager，由alertmanager发出邮件告警。alertmanager同一个告警发送邮件的间隔时间是30s,可以通过设置Slienced来暂时屏蔽告警信息的发送。通过alertmangaer的repeat interval,group wait和group interval三个参数（配置在route树形结构下）来控制通知的发送规则和时间间隔，防止告警信息轰炸，具体配置需熟悉。注意：group_wait的时间如果设置时间过长，会导致报警发出有延迟；配置时间过短，同时会导致大量的邮件轰炸。建议根据不同警报重要性进行配置。 3.alertmanager的路由分组使用group_by配合alert rule规则配置文件中设置的labels来实现的。使得告警邮件合并了聚合后的告警信息，减少了告警邮件数。
4.还有其他的exporter可以安装后使用targets发现导入即可。
Docker实现GPA+Exporter监控告警系统
猜你喜欢
转载自www.cnblogs.com/wsjhk/p/10862200.html
今日推荐
周排行