MySql优化 -整理

性能指标：
QPS（query per second）每秒处理的查询请求数
TPS （transaction per second）每秒处理的事务数

影响mysql性能的因素

1.服务器硬件的性能;包括CPU，内存，IO，网络性能等
2.服务器系统参数优化
3.mysql存储引擎的选择;MYISAM 不支持事务，表级别锁； INNODB：支持事务，支持表锁和行锁
4.mysql参数优化；如最大连接数，缓存大小
5.数据库结构设计及sql语句性能
优化的优先级
1.数据库结构设计及sql语句性能
2.数据库存储引擎的选择与参数的优化
3.系统选择与优化
4.硬件优化

如何选择系统的硬件配置？
CPU：、
是选择更多的CPU呢？还是更快的CPU呢？如果不计成本的情况下，肯定是两者兼得。如果成本有限我们可以根据以下的方式选择。
当我们的服务单个sql的处理数据较多，我们可以选择更快的cpu，提高单sql的性能；
如果服务的并发量较大，可以选择配置更多的CPU。因为CPU的数量会影响数据库的并发量，如32核心CPU 可以使数据库同时处理32个请求；
1.64位CPU运行在64位的系统下
2.对于并发高的场景CPU的数量比频率重要
3.对于CPU密集型的场景或复杂sql的场景CPU频率比较重要
内存：
内存可以减少磁盘的IO，提高我们sql的查询性能；但是内存的增加也是有瓶颈的，如果内存已经超过了mysql数据的大小，再增加内存已经不能提高mysql的性能了。
MyISAM:把索引缓存到内存，数据存储到磁盘中
InnoDb:把索引和数据都存储到内存中。
磁盘：
磁盘的性能指标包括容量和IO性能，目前容量已经不是性能的瓶颈了，如果对IO要求较高可以选择ssd固态硬盘，否则选择机械硬盘就可以了。
网络：
1.尽可能使用高性能和高带宽的硬件接口设备
2.保证网络的质量，如出现丢包的情况会影响数据的传输
3.做好网络的隔离，防止数据库暴露在外网环境中。防止安全风险。

mysql系统架构

mysql系统架构
存储引擎的选择？
mysql的存储引擎是基于表的，既同一个数据库中每个表可以设置不同的引擎，只需要在创建表的时候使用engine=innodb即可；
但是在生产的环境中不建议混合使用，
一个事务中，同时操作innodb和myisam引擎的表，如果事务回滚myisam表不会回滚会出现数据一致性的问题。

MyIsam

适用于非事务应用，只读类应用，
是mysql5.5之前的默认存储引擎。
1不支持事务，
2支持表锁，不支持行锁。由于锁的粒度较大因此并发性能较差。
3.表的索引和数据文件是分开存储的
以user表为例，user.MYD存储数据；user.MYI存储索引；user.frm存储表的结构信息
4.支持表数据的压缩，压缩后表的数据只能读取，不能修改。
压缩命令 myisampack

innodb

1.5.5之后默认的存储引擎
2.支持事务 ACID 特性
3.支持表锁和行锁
4.数据和索引存储在一个文件中 *.ibd *.frm存储表结构信息
5.innodb 表空间，分为独立表空间和系统表空间，通过innodb_file_per_table 指定ON独立表空间，OFF系统表空间
6.事务的redo.log和undo.log，redo.log记录已经提交的事务；undo.log记录未提交的事务，用来实现事务的回滚。redo.log和undo.log主要用来实现事务的原子性，一致性和持久性。锁机制主要实现事务的隔离性。
7.innodb状态检查 show engine innodb status
两种表空间的对比
1.系统表空间在数据删除后，文件的空间不会减小（只能将数据导出，删除mysql文件，重新导入表的方式减小文件空间，操作繁琐）
2.独立表空间在数据删除后，可以通过optimize table命令收缩系统文件
3.系统表空间存储io瓶颈，因为所有的表都存储在一个文件中，并发读写存储性能问题
4.独立表空间可以同时向多个文件刷新数据。
建议innodb引擎使用独立的表空间存储。mysql5.6 之后独立的表空间已经是默认的配置。
对于mysql5.6之前的数据库如何将系统表空间转为独立表空间呢？
1.使用mysqldump 导出所有数据库表数据
2.停止mysql服务，修改参数，并删除innodb相关的文件
3，重启mysql服务，重建系统表空间
4.重新导入数据

csv存储引擎

适合作为数据交换的中间表。
1.以数据csv文件的方式存储数据
.csv存储表的内容
.CSM存储表的元数据和表状态和数据量
.frm存储表的结构信息
2.创建表时所有的列都不能是NULL
3.不支持索引不适合大表，不适合在线处理
4.可以对文件内容直接编辑

Memory存储引擎

1.所有的数据都保存在内存中
2.表结构存储在frm后缀的文件中因此重启后数据会丢失，表结构不会丢失。
3.支持HASH索引和BTree索引默认HASH索引
hash索引等值查询快，范围查询慢
4.所有的字段都为固定的长度。
5.不支持BLOG和TEXT大字段类型
6.Memory使用是表级锁
7.max_heap_table_size 设置表的大小
mysql锁的作用：
1.管理共享资源的并发访问
2.锁用来实现事务的隔离性
锁类型
1.共享锁(读锁) 读锁与读锁是兼容的
2.独占锁(写锁) 写锁与读写锁都不兼容
锁的粒度
行级锁
表级锁加锁 lock table tableName write|read ;释放锁 unlock table;
锁的阻塞：一个事务的请求的锁被另一个事务占用，而导致请求锁的事务阻塞。
死锁：两个事务请求的锁被互相占用，导致两个事务都阻塞，叫死锁。mysql系统会自动处理死锁，当检测到死锁时，会自动对资源占用少的事务进行回滚操作。

mysql参数

参数类型

1.命令行参数，在启动mysql时指定的参数
2.配置文件参数，mysql启动时从配置文件读取的参数
mysqld --help --verbose |grep -A 1 ‘Default options’ ；查看mysql配置文件的读取顺序；如果同一个参数配置多次，后面读取的配置会覆盖前面的读取配置。
命令行设置的参数的优先级大于配置文件设置的参数。
参数的设置方式：
set global paramName=value；设置全局参数，
set session paramName=value；设置会话的参数，对其它会话不起作用

内存相关的参数

1.mysql每个连接使用的内存
sort_buffer_size 排序缓存，只有在连接需要排序时才会分配
join_buffer_size 连接缓存，只有在session在做表连接时才会分配，多次连接会分配多次
read_buffer_size myisam引擎在做全表扫描时的缓存
read_rnd_buffer_size 索引缓存区，只有在需要时才会分配
2.缓存池分配内存
innodb_buffer_pool_size innodb缓存池的大小，影响innodb的性能，
设置方式系统总内存-（每个线程需要内存*连接数）-系统预留内存
key_buffer_size myisam索引的缓存
查询系统myisam索引的大小
select sum(index_length) from information_schema.tables where engine=‘myisam’

IO相关的参数

innodb I/O相关配置
innodb_log_file_size innodb事务日志文件的大小,建议能缓存1个小时的事务日志
innodb_log_files_in_group 事务文件的个数
事务日志的总大小=innodb_log_file_size *innodb_log_files_in_group
innodb事务日志的刷新过程
client提交事务—>innodb事务缓存—>写到操作系统—>事务文件中
innodb_log_buffer_size 控制事务日志缓冲区大小，不需要设置过大，因为缓冲区一般1s会刷新一次到磁盘
innodb_flush_log_at_trx_commit 事务日志的刷新频率
0:每秒进行一次log写入cache，并flush log到磁盘；此方式可能会丢失1s的事务
1:默认，每次事务提交执行log写入cache，并flush log到磁盘
2:每次事务提交，执行log数据写入到cache，每秒执行一次flush log到磁盘
innodb_flush_method=O_DIRECT 事务日志的刷新方式，O_DIRECT 关闭操作系统的缓存，避免mysql与操作系统的双重缓存。

myisam I/O相关参数
delay_key_write
OFF：每次写操作后刷新键缓冲中的脏块到磁盘
ON：只对在建表时指定了delay_key_write选项的表使用延迟刷新
ALL：对所有的myisam表使用延迟刷新

安全相关的参数

expire_logs_days 指定自动清空binlog的天数
max_allowed_packet 控制mysql可以接受包的大小主从模式下，从库要与主库设置一致，如果从库设置过小，可能会出现复制失败的情况
skip_name_resolve 禁用DNS查找
sysdate_is_now 确保sysdate()返回确定的日期
read_only 禁止非super权限用户的写操作，主从模式下，从库建议开启
skip_slave_start 禁用slave自动启用复制，
sql_mode 设置mysql所使用的sql模式
strict_trans_tables
no_engine_subtitution 检查建表时指定的存储引擎是否可用。
no_zero_date 日期字段中不能有0000-00-00的值
no_zero_in_date 日期字段中不能有00的值

其他参数配置

max_connections 最大连接数

命令格式	命令说明
show variables like ‘%innodb%’	查询系统参数配置
set global paramName=value	修改系统参数配置
show engine innodb status	检查innodb 引擎的状态
show create table tableName	查看创建表的语句
innodb_file_per_table	[ON\|OFF]innodb表空间存储方式 ,ON 单独存储 tableName.ibd; OFF 共同存储 ibdataX

数据库结构设计与sql优化

影响性能的设计
1.为表建立过多的列
2.查询使用过多的表关联
3.外键保证数据的完整性，外键在做数据插入或删除时，会对外键进行验证影响性能，
4.OLTP环境中使用不恰当的表分区
ps:
OLTP与OLAP的介绍
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
OLTP 系统强调数据库内存效率，强调内存各种指标的命令率，强调绑定变量，强调并发操作；
OLAP 系统则强调数据分析，强调SQL执行市场，强调磁盘I/O，强调分区等。