Redis底层结构与缓存原理

Redis是一个Key-Value的存储系统，使用ANSI C语言编写。

key的类型是字符串。

value的数据类型有：

常用的：string字符串类型、list列表类型、set集合类型、sortedset（zset）有序集合类型、hash类型。

不常见的：bitmap位图类型、geo地理位置类型。

一，Redis key的设计

将一个表，例如User表存入Redis中做缓存时，进行Key值的设计通常需要注意以下四个步骤：

用:分割
把表名转换为key前缀, 比如: user:
第二段放置主键值
第三段放置列名

实例：有User表中有如下数据存入到Redis中进行key的设计

username 的 key： user:1:username <表名:ID值:列明如此设计Key值，表示明确，因为主键的唯一性，也不会出现被其它数据覆盖的问题>

二，Value常用数据类型

一，字符串

Redis的String能表达3种值的类型：字符串、整数、浮点数 100.01 是个六位的串

常见命令：

上面的常见命令中着重分析setnx的使用，因为这个命令会涉及分布式锁的使用

通常情况下通过set命令去重复对一个key插入数据时，后面的数据会覆盖前面的数据，但是使用set NX之后，对于key已经存在的情况下，数据不会写入。这里对于 Redis的版本要求2.6以上，如果是2.6以下的版本无法在set后加NX会出现报错。

关于后续加px设置数据超时时间，超过这个时间的数据自动过期消除。

二，List列表

list列表类型可以存储有序、可重复的元素，且获取头部或尾部附近的记录是极快的，list的元素个数最多为2^32-1个（40亿）

Redis中的list和传统的数组不同，它是双向的，类似双向链表的结构（毕竟可以通过索引去取出），可以从两边进行存入和取出。也正是因为这样子的结构，Redis中的List即可用来当消息队列使用（左侧插入，右侧取出），也可以头进头出（栈）

常见命令：

对于push进去的数据，数据排序的顺序需要了解，例lpush插入的第一个数据，会在这个数组的最右侧

三，Set集合类型

Set：无序、唯一元素，集合中最大的成员数为 2^32 - 1

常用命令：

需要注意交集与随机数获取的命令使用：

四，sortedset有序集合类型

SortedSet(ZSet) 有序集合：元素本身是无序不重复的，每个元素关联一个分数(score)，可按分数排序，分数可重复。通常用来做排行榜等数据。

常用命令：

模拟点击事件次数

五，hash类型（散列表）

Redis hash 是一个 string 类型的 field 和 value 的映射表，它提供了字段和字段值的映射。每个 hash 可以存储 2^32 - 1 键值对（40多亿）。

常用命令：

用于模拟存储对象

三，Redis底层数据结构

Redis没有表的概念，Redis实例所对应的db以编号区分，db本身就是key的命名空间。

一，RedisDB结构

Redis中存在“数据库”的概念，该结构由redis.h中的redisDb定义。当redis 服务器初始化时，会预先分配 16 个数据库，所有数据库保存到结构 redisServer 的一个成员 redisServer.db 数组中， redisClient中存在一个名叫db的指针指向当前使用的数据库

RedisDB结构源码：

二，RedisObject结构

Value是一个对象，包含字符串对象，列表对象，哈希对象，集合对象和有序集合对象（常用的结构对象）

RedisObject结构源码：

24位LRU lru(两种淘汰策略公用的一个字段)

记录的是对象最后一次被命令程序访问的时间,（ 4.0 版本占 24 位，2.6 版本占 22 位）。

高16位存储一个分钟数级别的时间戳，低8位存储访问计数（lfu ：最近访问次数）

lru----> 高16位: 最后被访问的时间

lfu----->低8位：最近访问次数

refcount refcount

记录的是该对象被引用的次数，类型为整型。

refcount 的作用，主要在于对象的引用计数和内存回收。

当对象的refcount>1时，称为共享对象 Redis 为了节省内存，当有一些对象重复出现时，新的程序不会创建新的对象，而是仍然使用原来的对象。

三，字符串SDS

C语言情况下字符数组结尾会以"\0"结尾，Redis 使用了 SDS(Simple Dynamic String)。用于存储字符串和整型数据，SDS结构如下图所示，相比较之下对数组的可用长度，占用长度做了指针属性，那么可以计算buf[] 的长度=len+free+1

SDS结构源码

SDS的优势：

SDS 在 C 字符串的基础上加入了 free 和 len 字段，获取字符串长度：SDS 是 O(1)，C 字符串是 O(n)。
SDS 由于记录了长度，在可能造成缓冲区溢出时会自动重新分配内存，杜绝了缓冲区溢出。
可以存取二进制数据，以字符串长度len来作为结束标识

C语言 & SDS：

c语言情况下 \0 空字符串二进制数据包括空字符串，所以没有办法存取二进制数据。SDS非二进制之不用说，二进制情况下当成字符串的长度来存储

四，跳跃表

跳跃表是有序集合（sorted-set）的底层实现，效率高，实现简单。

跳跃表的基本思想：将有序链表中的部分节点分层，每一层都是一个有序链表。

通过抛硬币（概率1/2）的方式来决定新插入结点跨越的层数：

跳跃表结构源码：

//跳跃表节点
typedef struct zskiplistNode {
    sds ele; /* 存储字符串类型数据 redis3.0版本中使用robj类型表示，
                但是在redis4.0.1中直接使用sds类型表示 */
    double score;//存储排序的分值
    struct zskiplistNode *backward;//后退指针，指向当前节点最底层的前一个节点
    /*
        层，柔性数组，随机生成1-64的值
        */
    struct zskiplistLevel {
        struct zskiplistNode *forward; //指向本层下一个节点
        unsigned int span;//本层下个节点到本节点的元素个数
    } level[];
} zskiplistNode;

//链表
typedef struct zskiplist{
    //表头节点和表尾节点
    structz skiplistNode *header, *tail;
    //表中节点的数量
    unsigned long length;
    //表中层数最大的节点的层数
    int level;
}zskiplist