MySQL5.7,MySQL8 pfs,sys库使用

MySQL5.7中performance和sys schema中的监控参数解释
在MySQL5.7中,performance schema有很大改进,包括引入大量新加入的监控项、降低占用空间和负载,以及通过新的sys schema机制显著提升易用性。
下面通过本文给大家介绍 MySQL5.7中 performance和sys schema中的监控参数解释,需要的朋友可以参考下
 
1、performance schema:介绍
在MySQL5.7中,performance schema有很大改进,包括引入大量新加入的监控项、降低占用空间和负载,以及通过新的sys schema机制显著提升易用性。
用于记录运行过程中的性能、资源、wait事件等信息。I_S主要记录metadata,而PFS用于观测数据库运行情况。
5.7起,PFS默认启动,采用专门的performance_schema存储引擎
可以动态调整监测点(instruments)
PFS下的表主要有以下几类
PFS自身设置相关setup_*%,可修改,且立即生效
事件语句相关events_statements_%
事件等待相关events_waits_%
事件阶段记录相关events_stages_%
事务事件相关events_transactions_%
文件系统层调用相关file_%
内存监视相关memory_summary_%
启用事件阶段记录功能
update setup_instruments set enabled='YES' where name like 'stage/innodb/alter%';
update setup_consumers set enabled='YES' where name like '%stage%';
对大表进行DDL后,可以查看进展
select event_name,work_completed,work_estimated from events_stages_current;
select event_name,work_completed,work_estimated from events_stages_history;
启用MDL监控
update setup_instruments set enabled='YES' where name like '%wait/lock/metadata/sql/mdl%';
启用表锁监控
update setup_instruments set enabled='YES' where name like '%wait/io/table/sql/handler%';
监控TOP SQL
update setup_instruments set enabled='YES' where name like '%statement/sql/select%';
在监控方面,performance schema有如下功能:
①:元数据锁:
对于了解会话之间元数据锁的依赖关系至关重要。从MySQL5.7.3开始,就可以通过metadata_locks表来了解元数据锁的相关信息;
--哪些会话拥有哪些元数据锁
--哪些会话正在等待元数据锁
--哪些请求由于死锁被杀掉,或者锁等待超时而被放弃
②:进度跟踪:
跟踪长时间操作的进度(比如alter table),从MySQL5.7.7开始,performance schema自动提供了语句进度信息。我们可以通过events_stages_current表来查看当前事件的进度信息;
③:事务:
监控服务层和存储引擎层事务的全部方面。从MySQL5.7.3开始,新增了 events_transactions_current表,可以通过setup_consumers、setup_instruments表打开事务监控,
通过该表查询到当前事务的状态。如果线上数据库遇到undo log大量增长、数据库性能急剧下降的情况,可以通过该表查询当前是否存在处于未提交状态的事务。
如果发现的确有大量事务的state处于active,这时可以确定数据库有大量的事务未提交;
④:内存使用:
提供内存使用信息统计,有利于了解和调整服务器的内存消耗。从MySQL5.7.2开始,performance schema新增内存有关的统计信息,分别从账户、访问主机、线程、
用户及事件的角度统计了内存的使用过程;
⑤:存储程序:
存储过程、存储方法、事件调度器和表触发器的检测器。在MySQL5.7中的setup_objects表中,新增了event、function、procedure、trigger的检测器。
performance schema用于检测该表中匹配object_schema和object_name的对象;
 
MySQL 5.7引入了sys schema,有了它,我们排查分析一些问题时将更得心应手。sys schema里主要存储的是视图、存储过程、函数等。
视图:用于结果的汇总展示及配置持久化;
存储过程:用于对Performance schema的控制及收集;
函数:对于Performance schema的配置及数据格式化。
 
2、sys schema介绍:
 在MySQL5.7中新增的sys schema。是由一系列对象(视图、存储过程、存储方法、表和触发器)组成的schema,它本身不采集和存储什么信息,而是将performance_schema 和 information_schema中的数据以更容易理解的方式总结出来归纳为“视图”。
x$开头的,这种是适合工具采集数据,原始类数据
sys_开头的是schema配置表
---sys schema可用于典型的调优和诊断用例,这些对象包括如下三个:
①:将性能模式数据汇总到更容易理解的视图;
②:诸如性能模式配置和生成诊断报告等操作的存储过程
③:用于查询性能模式配置并提供格式化服务的存储函数
---sys schema在查询中的功能,可以查看数据库服务资源的使用情况?哪些主机对数据库服务器的访问量最大?实例上的内存使用情况?
 
3、sys schema里面的表的分类:
①:主机相关信息:
   以host_summary开头的视图,主要汇总了IO延迟的信息,从主机、文件事件类型、语句类型等角度展示文件IO的信息;
②:innodb相关信息:
   以innodb开头的视图,汇总了innodb buffer page信息和事务等待innodb锁信息;
③:IO使用情况:
   以IO开头的视图,总结了IO使用者的信息,包括等待IO的情况、IO使用量情况,从各个角度分组展示;
④:内存使用情况:
   以memory开头的视图,从主机、线程、用户、事件角度展示内存使用情况;
⑤:连接与会话信息:
   其中,processlist 和 session相关的视图,总结了会话相关的信息;
⑥:表相关信息:
   以schema_table开头的视图,从全表扫描、innodb缓冲池等方面展示了表统计信息;
⑦:索引信息:
   其中包含index的视图,统计了索引使用的情况,以及重复索引和未使用的索引情况;
⑧:语句相关信息:
   以statement开头的视图,统计的规范化后的语句使用情况,包括错误数、警告数、执行全表扫描的、使用临时表、执行排序等信息;
⑨:用户相关信息:
   以user开头的视图,统计了用户使用的文件IO,执行的语句统计信息等;
⑨:等待事件相关信息:
   以wait开头的视图,从主机和事件角度展示等待类事件的延迟情况;
 
 
1、sys schema数据来源
sys schema的数据主要源自performance_schema。其目标是把查询performance_schema的复杂度降低,让DBA能更好地利用这个库里的数据,更快地了解MySQL的运行情况。
 
2、查看sys库的版本
mysql> select * from sys.version;
+--------------+-----------------+
| sys_version  | mysql_version   |
+--------------+-----------------+
| 1.5.1        | 5.7.17-log      |
+--------------+-----------------+
 
3、sys schema里都有什么
英文字母开头的,这种是适合人类常规阅读,显示结果是格式化后的数据,比如host_summary:
(root@localhost) [sys]> select * from host_summary\G
*************************** 1. row ***************************
                  host: localhost
            statements: 5
     statement_latency: 15.13 ms
 statement_avg_latency: 3.03 ms
           table_scans: 1
              file_ios: 23
       file_io_latency: 5.44 ms
   current_connections: 1
     total_connections: 1
          unique_users: 1
        current_memory: 0 bytes
total_memory_allocated: 0 bytes
1 row in set (0.05 sec)
"x$"开头的,这种是适合工具采集数据,原始类数据,比如x$host_summary:
(root@localhost) [sys]> select * from x$host_summary\G
*************************** 1. row ***************************
                  host: localhost
            statements: 44
     statement_latency: 65672764000
 statement_avg_latency: 1492562818.1818
           table_scans: 2
              file_ios: 23
       file_io_latency: 5440757616
   current_connections: 1
     total_connections: 1
          unique_users: 1
        current_memory: 0
total_memory_allocated: 0
1 row in set (0.02 sec)
接下来看看sys schem可以支持查询哪些数据:
(root@localhost) [(none)]> select substring_index(table_name,"_",1),count(*) from information_schema.tables where table_schema='sys' and table_name not like 'x$%' group by substring_index(table_name,"_",1);
+-----------------------------------+----------+
| substring_index(table_name,"_",1) | count(*) |
+-----------------------------------+----------+
| host                              |        6 |
| innodb                            |        3 |
| io                                |        5 |
| latest                            |        1 |
| memory                            |        5 |
| metrics                           |        1 |
| processlist                       |        1 |
| ps                                |        1 |
| schema                            |        9 |
| session                           |        2 |
| statement                         |        1 |
| statements                        |        5 |
| sys                               |        1 |
| user                              |        6 |
| version                           |        1 |
| wait                              |        2 |
| waits                             |        3 |
+-----------------------------------+----------+
17 rows in set (0.00 sec)
 
4、sys schema详细介绍
视图名称  作用
"host"开头  以IP分组相关的统计信息
"innodb"开头  innodb buffer及row lock相关信息
"io"开头  数据内不同维度展的IO相关的信息
"memory"开头  以IP,连接,用户,分配的类型分组及总的占用显示内存的使用
"metrics"开头  DB的内部的统计值
"processlist"开头 线程相关的信息(包含内部线程及用户连接)
"ps_"开头  没有工具统计的一些变量(没看出来存在的价值)
"schema"开头  表结构相关的信息,例如: 自增,索引, 表里的每个字段类型,等待的锁等等
"session"开头  用户连接相关的信息
"statement"开头  基于语句的统计信息(重点)
"statements"开头 出错的语句,进行全表扫描, 运行时间超长,排序相等(重点)

5、常用应用
哪个用户或者来自哪个IP的客户端使用了最多的资源;
数据库连接来自哪里,以及这些连接对数据库的请求情况是怎样的;
数据库中哪些SQL被频繁执行;
哪个文件产生了最多的IO,读多,还是写的多;
哪个表上的IO请求最多;
哪个表被访问的最多;
哪些语句延迟比较严重;
哪些SQL语句使用了临时表,又有哪些用到了磁盘临时表;
哪个表占用了最多的buffer pool;
每个库(database)占用多少buffer pool;
每个连接分配多少内存;
MySQL内部有多个线程在运行;
其他...

6、基本视图介绍
host_summary视图
字段名    意义
host    从哪个客户机上连过来。如果是NULL,表示内部的进程
statements   该客户机共执行了多少语句
statement_latency                    该客户机发来等待语句执行的时间
statement_avg_latency  该客户机等待语句执行的平均时间
table_scans   该客户机发生全表扫描的次数
file_ios    该客户机上IO事件请求的次数
file_io_latency   该客户机请求等待IO的时间
current_connections   该客户机当前的连接数
total_connections   该客户机连接DB共有多少次
unique_user   该客户机上有几个不同用户名的帐户连接过来
current_memory   该客户机上当前连接占用的内存
total_memory_allocated  该客户机上的请求总共使用的内存量(历史累计值)
io_global_by_file_by_bytes视图
file    被操作的文件名
count_read   总共有多少次读
total_read    总共读了多少字节
avg_read    平均每次读的字节数
count_write   总共有多少次写
total_written   总共写了多少字节
avg_write    平均每次写的字节大小
total    读和写总共的IO大小
write_pct    写请求占总IO请求中的百分比(就是通常所说的读写比)
user_summary视图
user    客户端连接过来的用户名,如果是NULL,表示内部进程
statements   该用户执行了多少SQL
statement_latency   该用户执行SQL的总延迟时间
statement_avg_latency  该用户执行SQL的平均延迟时间
table_scans   该用户执行SQL时发生全表扫描的次数
file_ios    该用户发生的IO请求总量
file_io_latency   该用户发生的IO请求总延迟时间
current_connections   该用户当前的连接
total_connections   该用户总的连接数
unique_hosts   该用户从几个不同客户机连接过来
current_memory   该用户当前占用的内存
total_memory_allocated  该用户总共申请到的内存(历史累计值)
memory_global_total视图
total_allocated   Server总共分配出去的内存大小
memory_by_thread_by_current_bytes视图
thread_id    MySQL内部线程ID,可以和session视图中的thd_id关联
user    当前线程是哪个用户创建
current_count_used   当前线程正在使用且未释放的内存块(内存块不是固定大小的)
current_allocated   当前线程正在使用且未释放的内存块大小(字节)
current_avg_alloc   当前线程每个内存块平均分配内存大小(字节)
current_max_alloc   当前线程单次曾经分配的最多内存大小(字节)
total_allocated   当前线程总共分配的内存大小
statement_analysis视图
query    格式化后的SQL(将SQL中的参数替换成?)
db    在哪个DB中执行,如果为NULL表示在任何DB
full_scan    是否使用了全表扫描
exec_count   该SQL被执行的总次数
err_count    发生错误的次数
warn_count   发生警告的次数
total_latency   总共发生延迟的时间
max_latency   最大延迟的时间
avg_latency   平均延迟的时间
lock_latency   因锁等待占用的总时间
rows_sent    执行该SQL返回的总行数
rows_sent_avg   执行该SQL平均返回的行数
rows_examined   执行该SQL扫描的总行数
rows_examined_avg   执行该SQL平均每次扫描的行数
tmp_tables   该SQL生成内存临时表的总次数
tmp_disk_tables   该SQL生成磁盘文件临时表的总次数
rows_sorted   该SQL总共排序的行数
sort_merge_passes   用于排序中合并的总次数
digest    该语句的HASH值
first_seen    该SQL最早出现的时间
last_seen    该SQL最近出现的时间
processlist视图
thd_id    内部线程ID
conn_id    连接的ID(对应show processlist中的"Id"列)
user    该线程创建的用户名
db    连接的DB,如果是NULL表示后台线程
command    Client发起命令的类型提示
state    命令的状态
time    基于上面state停留的时间
current_statement   该线程执行的语句
statement_latency   语句运行总共占用时间
progress    该语句运行完成的百分比
lock_latency   该语句用于锁等待的时间
rows_examined   该语句扫描的行数
rows_send   该语句返回的行数
rows_affected   该语句影响到的行数(写入语句)
tmp_tables   形成内存临时表的次数
tmp_disk_tables   形成磁盘临时表的次数
full_scan    全表描扫的次数
last_statement   上一条被执行的SQL
last_statement_latency  上一条被执行的SQL时延
current_memory   当前线程占用的内存
last_wait    上一次等待事件
last_wait_latency   上一次等待时间时延
source    上一次等待事件对应的源码位置
trx_latency   事务时延
trx_state    当前事务状态
pid    对应到系统里的pid
program_name   连接进来的标识名
session视图
session视图和processlist视图基本一样,只是把后台线程过滤掉。
innodb_buffer_stats_by_schema视图
object_schema   schema名
allocated    该schema上分配的buffer pool大小(字节)
data    该schema中缓存的数据大小(字节)
pages    该schema中缓存的data page数
pages_hashed   该schema中分配了多少hashed page
pages_old   该schema中的old page数量
rows_cached   该schema中缓存的row data数量
innodb_buffer_stats_by_table视图
和innodb_buffer_stats_by_schema基本一致,只是比上面那个视图多了一个ojbect_name用于指定表名。
 
7、sys schema运用
哪个用户或者来自哪个IP的客户端使用了最多的资源
select * from host_summary limit 1\G;
查看某个数据文件上发生了多少IO请求
select * from io_global_by_file_by_bytes limit 1\G;
查看哪个用户消耗了多少资源
select * from user_summary limit 1\G;
查看总共分配了多少内存
select * from memory_global_total;
数据库中哪个SQL被频繁执行
select db,exec_count,query from statement_analysis order by exec_count desc limit 10;
哪个文件产生了最多的IO,读多,还是写的多
select * from io_global_by_file_by_bytes limit 10;
哪个表上的IO请求最多
select * from io_global_by_file_by_bytes where file like '%ibd' order by total desc limit 10;
哪个表被访问的最多
先访问statement_analysis,根据热门SQL排序找到相应的数据表。
哪些语句延迟比较严重
查看 statement_analysis 中 avg_latency的最高的SQL:
select * from statement_analysis order by avg_latency desc limit 10;
哪些SQL语句使用了临时表,又有哪些用到了磁盘临时表
查看 statement_analysis 中哪个SQL的 tmp_tables 、tmp_disk_tables  值大于0即可:
select db, query, tmp_tables, tmp_disk_tables  from statement_analysis where tmp_tables>0 or tmp_disk_tables >0 order by (tmp_tables+tmp_disk_tables) desc limit 20;
哪个表占用了最多的buffer pool
select * from innodb_buffer_stats_by_table order by allocated desc limit 10;
每个库(database)占用多少buffer pool
select * from innodb_buffer_stats_by_schema order by allocated desc limit 10;
每个连接分配多少内存
利用session表和memory_by_thread_by_current_bytes分配表进行关联查询:
select b.user, current_count_used, current_allocated, current_avg_alloc, current_max_alloc, total_allocated,current_statement from memory_by_thread_by_current_bytes a, session b where a.thread_id = b.thd_id;

---查看表的访问量:(可以监控每张表访问量的情况,或者监控某个库的访问量的变化)
select table_schema,table_name,sum(io_read_requests+io_write_requests) from schema_table_statistics;
select table_schema,table_name,io_read_requests+io_write_requests as io_total from schema_table_statistics;
---冗余索引和未使用索引的检查:(schema_redundant_indexes和schema_unused_indexes查看索引的情况)
select * from sys.schema_redundant_indexes\G
select * from sys.schema_unused_indexes;
(如果有冗余索引和长期未使用的索引,应该及时清理,)
---查看表自增ID使用情况:
select * from schema_auto_increment_columns\G
(可以使用schema_auto_increment_columns视图,就能很简单的查到每个表的自增量使用情况,甚至可以精确到某个表的自增量情况)
---监控全表扫描的sql语句:
select * from sys.statements_with_full_table_scans where db='test2'\G
(使用statements_with_full_table_scans视图可以查看哪些表查询使用了全表扫描,其中exec_count是执行的次数,等信息)
---查看实例消耗的磁盘I/O情况:()
select file,avg_read+avg_write as avg_io from io_global_by_file_by_bytes order by avg_io desc limit 10;
(查看io_global_by_file_by_bytes视图可以检查磁盘I/O消耗过大的原因,定位问题)
 

 

一、用户、连接、线程类

1、查看每个客户端IP过来的连接消耗资源情况

2、查看每个用户消耗资源情况

3、查看当前连接情况

4、查看正在执行的SQL

5.、查看当前的内部线程活动

二、TOP SQL/IO

1、查看TOP IO

2、查看TOP SQL

3、查看IO中TOP Read/Write 

三、buffer pool、内存 

1、查看总共分配了多少内存 

2、每个库(database)占用多少buffer pool 

3、统计InnoDB引擎的InnoDB缓存

4、统计每张表具体在InnoDB中具体的情况  

5、查询每个连接分配了多少内存 

四、字段、索引、锁

1、查看表自增字段最大值和当前值

2、MySQL索引使用情况统计

3、MySQL中有哪些冗余索引和无用索引

4、查看InnoDB锁信息

5、查看库级别的锁信息,这个需要先打开MDL锁的监控 

转载自:https://www.cnblogs.com/allenhu320/p/11339093.html

猜你喜欢

转载自www.cnblogs.com/chengyunblogs/p/12120927.html