写在前面
这是分布式缓存核心知识篇,可用于八股文复习宝典,也可用于加深知识,建议大家以闯关的模式进行阅读,然后根据内容查漏补缺,欢迎提问相互学习交流。
之前已经完成了
- 新版javase必备核心知识篇,点击即可学习
- 并发编程必备核心知识篇,点击即可学习
- 中间件之消息队列篇
- Mysql核心知识篇
- http协议核心知识篇
- Spring-Mybatis核心知识篇
相关每篇文章有最新学习收获,都会做出相应更新修改
分布式缓存核心知识篇知识速览
为什么用redis,为啥不用其他缓存,比如memcached呢
Redis哪些常见数据结构? 这些结构的使用场景有哪些
redis是单线程,为什么这么快?
redis的持久化方式,及他们的区别
常用的缓存的淘汰策略
缓存击穿、穿透、雪崩的区别及解决方案
基于Redis实现分布式锁
为什么用redis,为啥不用其他缓存,比如memcached呢
redis数据结构比memcached更丰富,基本可以完全替换
redis社区比较活跃,性能也强大,也支持持久化等功能
最重要的是要和业务结合
Redis哪些常见数据结构? 这些结构的使用场景有哪些
-
String
简单的kv存储,使用场景:
-
hash
存储对象,一个key有多个值,使用场景:
-
list
列表型数据、消息队列等,使用场景:
-
set
无序集合、去重,交集、并集等,比如查看共同好友,在社交关系方面、数据排重等可以使用 -
sroted set
有序集合,去重,做榜单
redis是单线程,为什么这么快?
基于内存,绝大部分请求是纯粹的内存操作,CPU不是Redis的瓶颈(单线程的原因)
避免了不必要的CPU上下文切换和其他竞争条件,比如锁操作等
底层是使用多路I/O复用模型,非阻塞IO
Redis6 后支持多线程,但是默认不开启
redis的持久化方式,及他们的区别
支持AOF和RDB持久化
AOF
以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不会记录,以文本的方式记录
支持秒级持久化、兼容性好,对于相同数量的数据集而言,AOF文件通常要大于RDB文件,所以恢复比RDB慢
RDB
在指定的时间间隔内将内存中的数据集快照写入磁盘,可以指定时间归档数据,但不能做到实时持久化
文件紧凑,体积小,对于灾难恢复而言,RDB是非常不错的选择,相比于AOF机制,如果数据集很大,RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快
常用的缓存的淘汰策略
-
先进先出(FIFO)First In,First Out
新访问的数据插入FIFO队列尾部,数据在FIFO队列中顺序移动,淘汰FIFO队列头部的数据 -
最近最少使用(LRU) Least recently used
根据数据的历史访问记录来进行数据淘汰,如果数据最近被访问过,那么将来被访问的几率也更高
新数据插入到链表头部,每当缓存数据被访问,则将数据移到链表头部,当链表满的时候,将链表尾部的数据丢弃。 -
最近不经常使用(LFU) Least Frequently Used
根据数据的历史访问频率来淘汰数据,如果数据过去被访问多次,那么将来被访问的频率也更高
把数据加入到链表中,按频次排序,一个数据被访问过,把它的频次+1,发生淘汰的时候,把频次低的淘汰掉
缓存击穿、穿透、雪崩的区别及解决方案
缓存击穿 (某个热点key缓存失效了)
缓存中没有但数据库中有的数据,假如是热点数据,那key在缓存过期的一刻,同时有大量的请求,这些请求都会击穿到DB,造成瞬时DB请求量大、压力增大。
和缓存雪崩的区别在于这里针对某一key缓存,后者则是很多key。
预防:设置热点数据不过期,定时任务定时更新缓存,或者设置互斥锁
缓存穿透(查询不存在数据)
查询一个不存在的数据,由于缓存是不命中的,并且出于容错考虑,如发起为id为“-1”不存在的数据
如果从存储层查不到数据则不写入缓存这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。存在大量查询不存在的数据,可能DB就挂掉了,这也是黑客利用不存在的key频繁攻击应用的一种方式。
预防:接口层增加校验,数据合理性校验,缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,设置短点的过期时间,防止同个key被一直攻击
缓存雪崩 (多个热点key都过期)
大量的key设置了相同的过期时间,导致在缓存在同一时刻全部失效,造成瞬时DB请求量大、压力骤增,引起雪崩
预防:存数据的过期时间设置随机,防止同一时间大量数据过期现象发生,设置热点数据永远不过期,定时任务定时更新
基于Redis实现分布式锁
可参考这篇博文