Prometheus&Grafana 监控

企业开发 2023-09-16 01:34:16 阅读次数: 0

目录

一、Prometheus介绍

        1.Prometheus是什么？

2.Prometheus 的特点 

易于管理：

监控服务的内部运行状态：

强大的数据模型：

强大的查询语言 PromQL

高效

可扩展

易于集成

可视化

开放性

2.1 Prometheus 的架构

1.2.1 Prometheus 生态圈组件

1.2.2 架构理解

1.存储计算层

2、采集层

3、应用层

二、Prometheus 的安装

2.1 安装 Prometheus Server

1.上传安装包

2.解压安装包

3.修改目录名

4.修改配置文件 prometheus.yml

2.2 安装 Pushgateway

1.上传Pushgateway安装包

2.解压安装包

2.3 安装 Node Exporter（选择性安装）

1.上传安装包

2.解压安装包

 2.4 启 动 Prometheus Server 、 Pushgateway 和 Alertmanager

1.Prometheus Server 目录下执行启动命令

2.Pushgateway 目录下执行启动命令

3.在 Alertmanager 目录下启动

2.5 打开 web 页面查看

三.PromQL 介绍

3.1 查询时间序列

四.Prometheus 和 Grafana 集成

4.1 上传并解压Grafana（方式一）

4.2 用docker安装Grafana（方式二）

  1.拉取镜像

2.启动容器

3.查看运行中的容器

4.3 访问grafana（3000端口）账号密码默认admin

4.4 添加数据源 Prometheus

4.5 手动添加仪表盘

一、Prometheus介绍

1.Prometheus是什么？

        Prometheus 受启发于 Google 的 Brogmon 监控系统（相似的 Kubernetes 是从 Google 的 Brog 系统演变而来），从 2012 年开始由前 Google 工程师在 Soundcloud 以开源软件的 形式进行研发，并且于 2015 年早期对外发布早期版本。 2016 年 5 月继 Kubernetes 之后成为第二个正式加入 CNCF 基金会的项目，同年 6 月 正式发布 1.0 版本。2017 年底发布了基于全新存储层的 2.0 版本，能更好地与容器平台、 云平台配合。 Prometheus 作为新一代的云原生监控系统，目前已经有超过 650+位贡献者参与到 Prometheus 的研发工作上，并且超过 120+项的第三方集成。

2.Prometheus 的特点 

        Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进 行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统 监控系统，Prometheus 具有以下优点：

  • 易于管理：

  1. Prometheus 核心部分只有一个单独的二进制文件，不存在任何的第三方依赖(数据库， 缓存等等)。唯一需要的就是本地磁盘，因此不会有潜在级联故障的风险。
  2. Prometheus 基于 Pull 模型的架构方式，可以在任何地方（本地电脑，开发环境，测 试环境）搭建我们的监控系统。
  3. 对于一些复杂的情况，还可以使用 Prometheus 服务发现(Service Discovery)的能力 动态管理监控目标。

  • 监控服务的内部运行状态：

  1. Pometheus 鼓励用户监控服务的内部状态，基于 Prometheus 丰富的 Client 库，用 户可以轻松的在应用程序中添加对 Prometheus 的支持，从而让用户可以获取服务和应用 内部真正的运行状态。

  • 强大的数据模型：

  1. 所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中 (TSDB)。所有的样本除了基本的指标名称以外，还包含一组用于描述该样本特征的标签。如下所示:
http_request_status{code='200',content_path='/api/path',environment='produment'} => 
[value1@timestamp1,value2@timestamp2...] 

http_request_status{code='200',content_path='/api/path2',environment='produment'} => 
[value1@timestamp1,value2@timestamp2...]

 每一条时间序列由指标名称(Metrics Name)以及一组标签(Labels)唯一标识。每条时 间序列按照时间的先后顺序存储一系列的样本值。

  1. http_request_status：指标名称(Metrics Name)
  2. {code='200',content_path='/api/path',environment='produment'}：表示维度的 标签，基于这些 Labels 我们可以方便地对监控数据进行聚合，过滤，裁剪。
  3. [value1@timestamp1,value2@timestamp2...]：按照时间的先后顺序 存储的样本值。

  • 强大的查询语言 PromQL

        Prometheus 内置了一个强大的数据查询语言 PromQL。 通过 PromQL 可以实现对 监控数据的查询、聚合。同时 PromQL 也被应用于数据可视化(如 Grafana)以及告警当中。 通过 PromQL 可以轻松回答类似于以下问题：

  1. 在过去一段时间中 95%应用延迟时间的分布范围？
  2. 预测在 4 小时后，磁盘空间占用大致会是什么情况？
  3. CPU 占用率前 5 位的服务有哪些？(过滤)

  • 高效

        对于监控系统而言，大量的监控任务必然导致有大量的数据产生。而 Prometheus 可 以高效地处理这些数据，对于单一 Prometheus Server 实例而言它可以处理：

  1. 数以百万的监控指标
  2. 每秒处理数十万的数据点

  • 可扩展

        可以在每个数据中心、每个团队运行独立的 Prometheus Sevrer。Prometheus 对于 联邦集群的支持，可以让多个 Prometheus 实例产生一个逻辑集群，当单实例 Prometheus Server 处理的任务量过大时，通过使用功能分区(sharding)+联邦集群(federation)可以对 其进行扩展。

  • 易于集成

        使用 Prometheus 可以快速搭建监控服务，并且可以非常方便地在应用程序中进行集 成。目前支持：Java，JMX，Python，Go，Ruby，.Net，Node.js 等等语言的客户端 SDK， 基于这些 SDK 可以快速让应用程序纳入到 Prometheus 的监控当中，或者开发自己的监控 数据收集程序。 同时这些客户端收集的监控数据，不仅仅支持 Prometheus，还能支持 Graphite 这些 其他的监控工具。 同时 Prometheus 还支持与其他的监控系统进行集成：Graphite，Statsd，Collected， Scollector， muini， Nagios 等。 Prometheus 社区还提供了大量第三方实现的监控数 据采集支持：JMX，CloudWatch，EC2，MySQL，PostgresSQL，Haskell，Bash，SNMP， Consul，Haproxy，Mesos，Bind，CouchDB，Django，Memcached，RabbitMQ， Redis，RethinkDB，Rsyslog 等等。

  • 可视化

  1. Prometheus Server 中自带的 Prometheus UI，可以方便地直接对数据进行查询，并 且支持直接以图形化的形式展示数据。同时 Prometheus 还提供了一个独立的基于 Ruby On Rails 的 Dashboard 解决方案 Promdash。
  2. 最新的 Grafana 可视化工具也已经提供了完整的 Prometheus 支持，基于 Grafana 可 以创建更加精美的监控图标。
  3. 基于 Prometheus 提供的 API 还可以实现自己的监控可视化 UI。

  • 开放性

        通常来说当我们需要监控一个应用程序时，一般需要该应用程序提供对相应监控系统协 议的支持，因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制， 对于决策者而言要么你就直接在应用中集成该监控系统的支持，要么就在外部创建单独的服 务来适配不同的监控系统。 而对于 Prometheus 来说，使用 Prometheus 的 client library 的输出格式不止支持 Prometheus 的格式化数据，也可以输出支持其它监控系统的格式化数据，比如 Graphite。 因此你甚至可以在不使用 Prometheus 的情况下，采用 Prometheus 的 client library 来让 你的应用程序支持监控数据采集。

2.1 Prometheus 的架构

1.2.1 Prometheus 生态圈组件

  • Prometheus Server：主服务器，负责收集和存储时间序列数据
  • client libraies：应用程序代码插桩，将监控指标嵌入到被监控应用程序中
  • Pushgateway：推送网关，为支持 short-lived 作业提供一个推送网关
  • exporter：专门为一些应用开发的数据摄取组件—exporter，例如：HAProxy、StatsD、 Graphite 等等。
  •  Alertmanager：专门用于处理 alert 的组件

1.2.2 架构理解

Prometheus 既然设计为一个维度存储模型，可以把它理解为一个 OLAP 系统

1.存储计算层

  • Prometheus Server，里面包含了存储引擎和计算引擎。
  • Retrieval 组件为取数组件，它会主动从 Pushgateway 或者 Exporter 拉取指标数据。
  • Service discovery，可以动态发现要监控的目标。
  • TSDB，数据核心存储与查询。
  • HTTP server，对外提供 HTTP 服务。

2、采集层

采集层分为两类，一类是生命周期较短的作业，还有一类是生命周期较长的作业。

  • 短作业：直接通过 API，在退出时间指标推送给 Pushgateway。
  • 长作业：Retrieval 组件直接从 Job 或者 Exporter 拉取数据。

3、应用层

应用层主要分为两种，一种是 AlertManager，另一种是数据可视化。

  • AlertManager 对接 Pagerduty，是一套付费的监控报警系统。可实现短信报警、5 分钟无人 ack 打 电话通知、仍然无人 ack，通知值班人员 Manager... Emial，发送邮件 ... ...
  • 数据可视化

        Prometheus

        build-in WebUI

        Grafana

                其他基于 API 开发的客户端

二、Prometheus 的安装

官网：https://prometheus.io/

下载地址：https://prometheus.io/download

2.1 安装 Prometheus Server

        Prometheus 基于 Golang 编写，编译后的软件包，不依赖于任何的第三方依赖。只需 要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动 Prometheus Server。

1.上传安装包

        上传 prometheus-2.29.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

2.解压安装包

        解压到/opt/module 目录下

tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module

3.修改目录名

cd /opt/module

mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

4.修改配置文件 prometheus.yml

[root@VM-12-8-centos prometheus-2.29.1]#  vim prometheus.yml

在 scrape_configs 配置项下添加配置：

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: "prometheus"

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
      - targets: ["localhost:9090"]
     # 添加 PushGateway 监控配置
 # 添加 PushGateway 监控配置
  - job_name: 'pushgateway'
    static_configs:
    - targets: ['要监控的服务ip：端口']
      labels:
        instance: pushgateway
    # 添加 Node Exporter 监控配置
  - job_name: 'node exporter'
    static_configs:
    - targets: ['要监控的服务ip：端口']

一定要注意yml格式！！因为我是单机测试，所以targets填的是本地ip：9090（9090为prometheus默认端口）

配置说明：

1、global 配置块：控制 Prometheus 服务器的全局配置

  • scrape_interval：配置拉取数据的时间间隔，默认为 1 分钟。
  • evaluation_interval：规则验证（生成 alert）的时间间隔，默认为 1 分钟。

2、rule_files 配置块：规则配置文件

3、scrape_configs ：配置块：配置采集目标相关， prometheus 监视的目标。Prometheus 自身的运行信息可以通过 HTTP 访问，所以 Prometheus 可以监控自己的运行数据。

  • job_name：监控作业的名称
  • static_configs：表示静态目标配置，就是固定从某个 target 拉取数据
  • targets ： 指 定 监 控 的 目 标 ， 其 实 就 是 从 哪 儿 拉 取 数 据 。 Prometheus 会 从 http://hadoop202:9090/metrics 上拉取数据。 Prometheus 是可以在运行时自动加载配置的。启动时需要添加：--web.enable-lifecycle

2.2 安装 Pushgateway

        Prometheus 在正常情况下是采用拉模式从产生 metric 的作业或者 exporter（比如专 门监控主机的 NodeExporter）拉取监控数据。但是我们要监控的是 Flink on YARN 作业， 想要让 Prometheus 自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。 PushGateway 就是一个中转组件，通过配置 Flink on YARN 作业将 metric 推到 PushGateway，Prometheus 再从 PushGateway 拉取就可以了。

1.上传Pushgateway安装包

        上传 pushgateway-1.4.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

2.解压安装包

        解压到/opt/module 目录下

tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module

        修改目录名

cd /opt/module

mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.1

2.3 安装 Node Exporter（选择性安装）

        在 Prometheus 的架构设计中，Prometheus Server 主要负责数据的收集，存储并且 对外提供数据查询支持，而实际的监控样本数据的收集则是由 Exporter 完成。因此为了能 够监控到某些东西，如主机的 CPU 使用率，我们需要使用到 Exporter。Prometheus 周期 性的从 Exporter 暴露的 HTTP 服务地址（通常是/metrics）拉取监控样本数据。

         Exporter 可以是一个相对开放的概念，其可以是一个独立运行的程序独立于监控目标 以外，也可以是直接内置在监控目标中。只要能够向 Prometheus 提供标准格式的监控样 本数据即可。         为了能够采集到主机的运行指标如 CPU, 内存，磁盘等信息。我们可以使用 Node Exporter。Node Exporter 同样采用 Golang 编写，并且不存在任何的第三方依赖，只需 要下载，解压即可运行。可以从 https://prometheus.io/download/ 获取最新的 node exporter 版本的二进制包。

1.上传安装包

        上传 node_exporter-1.2.2.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

2.解压安装包

        解压到/opt/module 目录下

tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module

        修改目录名

cd /opt/module

mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2

        启动并通过页面查看是否成功

        在/opt/module/node_exporter-1.2.2 执行 ./node_exporter

        浏览器输入：http://xxx.xxx.xxx.xxx:9100/metrics，可以看到当前 node exporter 获取 到的当前主机的所有监控数据

 2.4 启 动 Prometheus Server 、 Pushgateway 和 Alertmanager

1.Prometheus Server 目录下执行启动命令

nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 &

2.Pushgateway 目录下执行启动命令

nohup ./pushgateway 
--web.listen-address :9091 > ./pushgateway.log 2>&1 &

3.在 Alertmanager 目录下启动

nohup ./alertmanager --config.file=alertmanager.yml > ./alertmanager.log 2>&1 &

2.5 打开 web 页面查看

  • 浏览器输入：http://xxx.xxx.xxx.xxx:9090/
  • 点击 Status，选中 Targets：

  •  prometheus、pushgateway 和 node exporter 都是 up 状态，表示安装启动成功：

三.PromQL 介绍

Prometheus 通过指标名称（metrics name）以及对应的一组标签（labelset）唯一 定义一条时间序列。指标名称反映了监控样本的基本标识，而 label 则在这个基本特征上为 采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤，聚合，统计从而产生 新的计算后的一条时间序列。PromQL 是 Prometheus 内置的数据查询语言，其提供对时 间序列数据丰富的查询，聚合以及逻辑运算能力的支持。并且被广泛应用在 Prometheus 的日常应用当中，包括对数据查询、可视化、告警处理当中。可以这么说，PromQL 是 Prometheus 所有应用场景的基础，理解和掌握 PromQL 是 Prometheus 入门的第一课。

3.1 查询时间序列

        当 Prometheus 通过 Exporter 采集到相应的监控指标样本数据后，我们就可以通过 PromQL 对监控样本数据进行查询。 当我们直接使用监控指标名称查询时，可以查询该指标下的所有时间序列。如：

等同于：

该表达式会返回指标名称为 prometheus_http_requests_total 的所有时间序列

用 prometheus_http_requests_total{}[5m]可返回查询到的时间序列中最近 5 分钟的所有样本数据。

这里将不细述PromQL。

四.Prometheus 和 Grafana 集成

        grafana 是一款采用 Go 语言编写的开源应用，主要用于大规模指标数据的可视化展现， 是网络架构和应用分析中最流行的时序数据展示工具，目前已经支持绝大部分常用的时序数 据库。下载地址：https://grafana.com/grafana/download

4.1 上传并解压Grafana（方式一）

        将 grafana-8.1.2.linux-amd64.tar.gz 上传至/opt/software/目录下，解压：

 tar -zxvf grafana-enterprise-8.1.2.linux-amd64.tar.gz -C /opt/module/

        打开 web：http://xxx.xxx.xxx:3000,默认用户名和密码：admin

4.2 用docker安装Grafana（方式二）

  1.拉取镜像

[root@VM-12-8-centos ~]# docker pull grafana/grafana

2.启动容器

docker run -d -p 3000:3000 --name=grafana -v /data/docker/grafana:/var/lib/grafana grafana/grafana

3.查看运行中的容器

[root@VM-12-8-centos ~]# docker ps
CONTAINER ID   IMAGE             COMMAND                  CREATED         STATUS         PORTS                                                  NAMES
6f766b468f19   grafana/grafana   "/run.sh"                3 minutes ago   Up 3 seconds   0.0.0.0:3000->3000/tcp, :::3000->3000/tcp              grafana
1f205439cb44   mysql:5.7         "docker-entrypoint.s…"   3 weeks ago     Up 3 weeks     0.0.0.0:3306->3306/tcp, :::3306->3306/tcp, 33060/tcp   mysql
122ba76732eb   redis             "docker-entrypoint.s…"   3 weeks ago     Up 3 weeks     0.0.0.0:6379->6379/tcp, :::6379->6379/tcp              redis

4.3 访问grafana（3000端口）账号密码默认admin

​

4.4 添加数据源 Prometheus

点击配置，点击 Data Sources：

​

配置prometheus地址端口

​ 点击Save & test 保存测试

4.5 手动添加仪表盘

点击左边栏的 “+”号，选择 Dashboard

添加新的仪表板，点击 Add an empty panel

​

 ​

效果： 

​

以上为尚硅谷学习总结 

猜你喜欢

转载自blog.csdn.net/weixin_53922163/article/details/126911141
今日推荐
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
OOP第二次作业
java web 乱码问题
android 禁止scrollview 因控件变化自动滚动到底的方法
mysql服务解压版的安装(5.7)
centos7 nginx+tomcat配置https 安装免费SSL Let’s Encrypt
使用Mosquitto遗嘱机制实现感知客户端上下线功能的方法
面向对象之------多态与多态性
开发Teams Tabs应用程序
C# 希尔排序
第2章 Jupyter Notebooks
每日归档
更多
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022