浅析在线调整 innodb_buffer_pool_size

浅析在线调整 innodb_buffer_pool_size

作者:zhou

mysql版本:5.7

先介绍一下 buffer pool:

在innodb存储引擎中数据访问以page为单位,page也是innodb管理数据库的最小磁盘单位,每个page的默认大小为16KB(可以通过参数innodb_page_size进行调整,在5.7增加了对32KB和64KB的大小支持,在此之前的版本支持4KB,8KB,16KB的大小设定),而buffer_pool是用来管理和缓存这些page的,innodb会把一块连续的内存划分给buffer_pool使用,并把buffer_pool等分为多个buffer_pool_instances(在上篇博客有介绍这个参数)。

buffer_pool是基于LRU算法来实现的,通过LRU算法来保证单独的一个page只会在一个buffer_pool_instances中,这样的划分模式可以提升buffer_pool的并发性能,每个单独的buffer_pool_instances其实都可以说是一个buffer_pool,innodb通过拉取page的方式将数据从文件中读取到buffer_pool里,并通过一个LRU list 来缓存这些page,经常访问的热点page放在在list的前面称之为list young区域,不经常访问的page 放在list的后面称之为list old区域,innodb访问数据时会先从buffer_pool中读取,没找到就会去访问数据文件进行查找,读取到page 并放到list old区域,当buffer_pool没有空闲的page时,会对list中old的page进行淘汰。

innodb 的LRU 算法简介:

innodb对原有的LRU算法进行了改进,LRU 算法的核心就是淘汰最久未使用的数据,在innoDB的实现上,按照5:3的比例把整个LRU list分成了 young 区域(前5/8)和 old 区域(后3/8),扫描的过程中新插入的page,都被先放到list old区域的头部区域,在间隔一秒以上再次访问到该page 就会移到 list young区域,这样的改进可以避免类似于全表扫描的操作对整个list造成过大的影响也保证了young区域的正常查询命中率。

LRU List:
在这里插入图片描述

介绍了buffer pool和改进后的innodb LRU算法,说说今天主要想介绍的动态调整innodb_buffer_pool_size WL#6117
,动态调整是5.7之后开始支持的,在5.7之前的修改需要重启实例这确实是在5.6包括之前的版本有点烦人的东西,比较重要的主库如果之前对buffer_pool没有一个足够大的设定,在线上重启还是有点限制的。

在线调整buffer_pool大小:
在这里插入图片描述

操作日志会输出在错误日志里
增加buffer_pool大小:
在这里插入图片描述

调整大小的操作由后台线程执行,增加buffer_pool 时:
1.申请适合的buffer_pool设定的值,然后关闭AHI。
2.遍历所有的buffer_pool,锁住buffer_pool,收集free list中的chunk page到withdraw,直到withdraw_target完成后释放buffer_pool的锁。
3.如果free list中没有收集到足够的chunk,则重复遍历收集,每次重复间隔时间会指数增加1s、2s、4s、8s…,以等待事务释放资源。
4.锁定buffer_pool,添加pages,调整hash table。
5.在lock_sys,自适应哈希索引,字典中调整了哈希​​表的大小,重新启用自适应哈希索引。
6.释放锁,打开AHI
7.调整完成

注意事项:
需要注意的是,在线调整buffer_pool的前提是当前负载不高,如果负载较高,是不建议直接进行调整的操作的,缓存设置的大起大落是有可能导致宕机的。

关于申请适合的buffer_pool设定的值的问题可以在我写的上篇
有提到有兴趣的同学可以去看一下。

我是zhou,如果需要转发请注明出处。

原创文章 3 获赞 0 访问量 211

猜你喜欢

转载自blog.csdn.net/weixin_42050250/article/details/105863056