[内功修神]MySQL高级

个人博客文章地址

1. mysql的架构介绍

1.2. Mysql逻辑架构介绍

• 查看命令
  
• MyISAM和InnoDB
  

2. 索引优化分析

2.1. 常见通用的join查询

• SQL执行顺序
  
• join图
  

2.2. 索引简介

2.2.1. 定义：排好序的快速查找数据结构

• 一般来说索引本身也很大，不可能全部存储在内存中，因此索引往往以文件形式存储在硬盘上
• 我们平时所说的索引，如果没有特别指明，都是指B树(多路搜索树，并不一定是二叉树)结构组织的索引。其中聚集索引，次要索引，覆盖索引，复合索引，前缀索引，唯一索引默认都是使用B+树索引，统称索引。当然,除了B+树这种类型的索引之外，还有哈希索引(hash index)等。

2.2.2. 优势

• 类似大学图书馆建书目索引，提高数据检索效率，降低数据库的IO成本。
• 通过索引列对数据进行排序，降低数据排序成本，降低了CPU的消耗

2.2.3. 劣势

• 实际上索引也是一张表，该表保存了主键和索引字段，并指向实体表的记录,所以索引列也是要占用空间的
• 虽然索引大大提高了查询速度，同时却会降低更新表的速度,如果对表INSERT,UPDATE和DELETE。因为更新表时，MySQL不仅要不存数据，还要保存一下索引文件每次更新添加了索引列的字段，都会调整因为更新所带来的键值变化后的索引信息。
• 索引只是提高效率的一个因素，如果你的MySQL有大数据量的表，就需要花时间研究建立优秀的索引，或优化查询语句。

2.2.4. mysql索引分类

• 单值索引：即一个索引只包含单个列，一个表可以有多个单列索引。
• 唯一索引：索引列的值必须唯一，但允许有空值。
• 复合索引：即一个索引包含多个列。
• 基本语法：
  1. 创建：CREATE [UNIQUE] INDEX indexName ON mytable(columnname(length));
     ALTER mytable ADD [UNIQUE] INDEX [indexName] ON(columnname(length));
  2. 删除：DROP INDEX [indexName] ON mytable;
  3. 查看：SHOW INDEX FROM table_name\G
     注意：\G输出键值对的形式，不用分号结尾。

2.2.5. mysql索引结构

• BTree索引
  
  Btree索引(或Balanced Tree)，是一种很普遍的数据库索引结构，oracle默认的索引类型。其特点是定位高效、利用率高、自我平衡，特别适用于高基数字段，定位单条或小范围数据非常高效。理论上，使用Btree在亿条数据与100条数据中定位记录的花销相同。
  数据结构利用率高、定位高效

2.2.6 哪些情况需要创建索引

1. 主键自动建立唯一索引
2. 频繁作为查询的条件的字段应该创建索引
3. 查询中与其他表关联的字段，外键关系建立索引
4. 频繁更新的字段不适合创建索引。因为每次更新不单单是更新了记录还会更新索引，加重IO负担
5. Where条件里用不到的字段不创建索引
6. 单间/组合索引的选择问题，who？（在高并发下倾向创建组合索引）
7. 查询中排序的字段，排序字段若通过索引去访问将大大提高排序的速度
8. 查询中统计或者分组字段

2.2.7 哪些情况不要创建索引

1. 表记录太少
2. 经常增删改的表
   3.数据重复且分布平均的表字段，因此应该只为经常查询和经常排序的数据列建立索引。注意，如果某个数据列包含许多重复的内容，为它建立索引就没有太大的实际效果。

2.3. 性能分析

2.3.1 MySQL Query Optimizer

2.3.2 MySQL常见瓶颈

• CPU:CPU在饱和的时候一般发生在数据装入在内存或从磁盘上读取数据时候
• IO:磁盘I/O瓶颈发生在装入数据远大于内存容量时
• 服务器硬件的性能瓶颈：top,free,iostat和vmstat来查看系统的性能状态

2.3.3 Explain

2.3.3.1 是什么（查看执行计划）

• 使用EXPLAIN关键字可以模拟优化器执行SQL语句，从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是结构的性能瓶颈。

2.3.3.2 能干嘛

1. 表的读取顺序
2. 数据读取操作的操作类型
3. 哪些索引可以使用
4. 哪些索引被实际使用
5. 表之间的引用
6. 每张表有多少行被优化器查询

2.3.3.3 怎么玩

• Explain+SQL语句
• 执行计划包含的信息
  

2.3.3.4 各个字段解释

• id ：select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序
  1. id相同，执行顺序由上至下
  2. id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行
  3. id相同不同，同时存在
• select_type： 查询的类型，主要用于区别普通查询、联合查询、子查询等的复杂查询
  1. SIMPLE：简单的select查询，查询中不包含子查询或者UNION
  2. PRIMARY：查询中若包含任何复杂的子部分，最外层查询则被标记为
  3. SUBQUERY：在SELECT或者WHERE列表中包含了子查询
  4. DERIVED：在FROM列表中包含的子查询被标记为DERIVED（衍生）MySQL会递归执行这些子查询，把结果放在临时表里。
  5. UNION：若第二个SELECT出现在UNION之后，则被标记为UNION;若UNION包含在FROM子句的子查询中，外层SELECT将被标记为：DERIVED
  6. UNION RESULT：从UNION表获取结果的SELECT
• table：显示这一行的数据是关于哪张表的
• type： 显示查询使用了何种类型 从最好到最差依次是 system>const>eq_ref>ref>range>index>ALL
  1. system：表只有一行记录（等于系统表），这是const类型的特例，平时不会出现，这个也可以忽略不计
  2. const：表示通过索引一次就找到了，const用于比较primary key或者unique索引。因为只匹配一行数据，所以很快。如将主键至于where列表中，MySQL就能将该查询转换为一个常量
  3. eq_ref：唯一性索引，对于每个索引键，表中只有一条记录与之匹配，常见于主键或唯一索引扫描
  4. ref：非唯一索引扫描，返回匹配某个单独值的所有行。本质上也是一种索引访问，它返回所有匹配某个单独值的行，然而，它可能会找到多个符合条件的行，所以他应该属于查找和扫描的混合体
  5. range：只检索给定范围的行，使用一个索引来选择行。key列显示使用了哪个索引一般就是在你的where语句中出现了between、<、>、in等的查询这种范围扫描索引扫描比全表扫描要好，因为他只需要开始索引的某一点，而结束语另一点，不用扫描全部索引。
  6. index：Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快，因为索引文件通常比数据文件小。（也就是说虽然all和index都是读全表，但index是从索引中读取的，而all是从硬盘中读的）
  7. all：FullTable Scan,将遍历全表以找到匹配的行

备注：一般来说，得保证查询只是达到range级别，最好达到ref

• possible_keys：显示可能应用在这张表中的索引,一个或多个。查询涉及的字段上若存在索引，则该索引将被列出，但不一定被查询实际使用
• key：实际使用的索引。如果为null则没有使用索引。查询中若使用了覆盖索引，则索引和查询的select字段重叠
• key_len：表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下，长度越短越好。key_len显示的值为索引最大可能长度，并非实际使用长度，即key_len是根据表定义计算而得，不是通过表内检索出的。
• ref：显示索引那一列被使用了，如果可能的话，是一个常数。那些列或常量被用于查找索引列上的值
• rows：根据表统计信息及索引选用情况，大致估算出找到所需的记录所需要读取的行数
• Extra：包含不适合在其他列中显示但十分重要的额外信息
  1. Using filesort：说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。MySQL中无法利用索引完成排序操作成为“文件排序”
  2. Using temporary：使用了临时表保存中间结果，MySQL在对查询结果排序时使用临时表。常见于排序order by 和分组查询 group by
  3. USING index：表示相应的select操作中使用了覆盖索引（Coveing Index）,避免访问了表的数据行，效率不错！如果同时出现using where，表明索引被用来执行索引键值的查找；如果没有同时出现using where，表面索引用来读取数据而非执行查找动作。覆盖索引（Covering Index）
  4. Using where：表面使用了where过滤
  5. using join buffer：使用了连接缓存
  6. impossible where：where子句的值总是false，不能用来获取任何元组
  7. select tables optimized away：在没有GROUPBY子句的情况下，基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作，不必等到执行阶段再进行计算，查询执行计划生成的阶段即完成优化。
  8. distinct：优化distinct，在找到第一匹配的元组后即停止找同样值的工作

2.3.4 索引优化

2.3.4.1 索引失效（应该避免）

• 案例（索引失效）
  1. 全值匹配我最爱
     
  2. 最佳左前缀法则.如果索引了多例，要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。
  3. 不在索引列上做任何操作（计算、函数、（自动or手动）类型转换），会导致索引失效而转向全表扫描
  4. 存储引擎不能使用索引中范围条件右边的列
  5. 尽量使用覆盖索引（只访问索引的查询（索引列和查询列一致）），减少select*
  6. mysql在使用不等于（！=或者<>）的时候无法使用索引会导致全表扫描
  7. is null,is not null 也无法使用索引
  8. like以通配符开头（’$abc…’）mysql索引失效会变成全表扫描操作
  9. 字符串不加单引号索引失效
  10. 少用or,用它连接时会索引失效
  11. 小结
      
      like KK%相当于=常量 %KK和%KK% 相当于范围
      

2.3.4.1 一般性建议

• 对于单键索引，尽量选择针对当前query过滤性更好的索引
• 在选择组合索引的时候，当前Query中过滤性最好的字段在索引字段顺序中，位置越靠前越好。
• 在选择组合索引的时候，尽量选择可以能包含当前query中的where子句中更多字段的索引
• 尽可能通过分析统计信息和调整query的写法来达到选择合适索引的目的

3. Mysql锁机制

3.1 锁的分类

• 从数据操作的类型（读、写）分
  1. 读锁（共享锁）：针对同一份数据，多个读操作可以同时进行而不会互相影响
  2. 写锁（排它锁）：当前写操作没有完成前，它会阻断其他写锁和读锁。
• 从对数据操作的颗粒度
  1. 表锁
  2. 行锁

3.2 三锁

3.2.1 表锁（偏读）

• 特点：偏向MyISAM存储引擎，开销小，加锁快，无死锁，锁定粒度大，发生锁冲突的概率最高，并发最低
• 结论
  
• 表锁分析
  

3.2.2 行锁（偏写）

• 特点

  1. 偏向InnoDB存储引擎，开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低，并发度也最高。
  2. InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）;二是采用了行级锁

• 由于行锁支持事务，复习老知识

  1. 事务（Transation）及其ACID属性
     
  2. 并发事务处理带来的问题
     • 更新丢失（Lost Update）
       
     • 脏读（Dirty Reads）
       
     • 不可重复读（Non-Repeatable Reads）
       
     • 幻读（Phantom Reads）
       
  3. 事务隔离级别
     

• 案例分析

  1. 无索引行锁升级为表锁：varchar 不用 ’ ’ 导致系统自动转换类型, 行锁变表锁
  2. 间隙锁危害
     

• 案例结论：
  

• 行锁分析：
  

• 优化建议

  1. 尽可能让所有数据检索都通过索引来完成，避免无索引行锁升级为表锁
  2. 合理设计索引，尽量缩小锁的范围
  3. 尽可能较少检索条件，避免间隙锁
  4. 尽量控制事务大小，减少锁定资源量和时间长度
  5. 尽可能低级别事务隔离

3.2.3 页锁

• 开销和加锁时间界于表锁和行锁之间：会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般。

4. 主重复制

• 复制的基本原理
  

• 复制的基本原则

  1. 每个slave只有一个master
  2. 每个slave只能有一个唯一的服务器ID
  3. 每个master可以有多个salve

• 复制最大问题
  延时

• 一主一从常见配置