redis(一)内部机制的介绍和启动过程

redis(一)内部机制的介绍和启动过程


redis的基本介绍

redis是一种非关系型数据库,采用=key,value的形式来存储数据。key是二进制数据,对于value的数据类型,redis支持string、hash、list、set、sorted set五种类型。
对于单个redis实例,内部使用多线程通信,但是对外采用RESP单线程通信协议,在TCP层通过二进制方式进行传输数据,单线程采用同步的请求方式


redis服务端

redis服务端内部结构为struct redisServer和struct redisDb。redis中默认16个数据库,可以通过配置来修改数据库数量,每一个数据库对应一个redisDb。数据库之间的数据是相互独立的。查询数据的时候,可以通过select指定具体某个数据库。

 1 struct redisServer {
 2 int dbnum;//服务器的数据库数量,值由服务器配置的“databases”选项决定,默认为16
 3 redisDb *db;//数组,保存着服务器中的所有数据库
 4  
 5 list *clients;//一个链表,保存了所有客户端状态,每个链表元素都是“redisClient”结构
 6  
 7 time_t unixtime;//保存秒级精度的系统当前UNIX时间戳,减少获取系统当前时间的系统调用次数,100毫秒更新一次
 8 long long mstime;//保存毫秒级精度的系统当前UNIX时间戳
 9 unsigned lruclock;//默认每10秒更新一次,用于计算数据库键的空转时长,数据库键的空转时长 = 服务器的“lruclock”属性值 - 数据库键值对象的“lru”属性值
10  
11 long long ops_sec_last_sample_time;//上一次进行服务器每秒执行命令数量抽样的时间
12 long long ops_sec_last_sample_ops;//上一次进行服务器每秒执行命令数量抽样时,服务器已执行命令的数量
13 long long ops_sec_samples[REDIS_OPS_SEC_SAMPLE];//环形数组,每个元素记录一次服务器每秒执行命令数量抽样结果,估算服务器在最近一秒钟处理的命令请求数量(数组长度默认为16,100毫秒更新一次)
14 int ops_sec_idx;//ops_sec_samples数组的索引值,每次抽样后值增1,等于16时重置为0
15  
16 size_t stat_peak_memory;//已使用内存峰值
17  
18 int shutdown_asap;//关闭服务器的标识,1表示关闭,0不关闭
19  
20 pid_t rdb_child_pid;//记录执行BGSAVE命令的子进程的ID,-1表示服务器没有正在执行BGSAVE
21 pid_t aof_child_pid;//记录执行BGREWRITEAOF命令的子进程的ID,-1表示服务器没有正在执行BGREWRITEAOF
22 int aof_rewrite_scheduled;//1表示有BGREWRITEAOF命令被延迟了(服务器执行BGSAVE期间收到的BGREWRITEAOF会被延迟到BGSAVE执行完成之后执行)
23 struct saveparam *saveparams;//记录了自动保存条件的数组(执行BGSAVE的条件)
24 long long dirty;//修改计数器(上一次执行BGSAVE之后已经产生了多少修改)
25 time_t lastsave;//上一次执行自动保存操作(BGSAVE)的时间
26 sds aof_buf;//AOF缓冲区
27  
28 int cronloops;//serverCron函数的运行次数计数器
29  
30 lua;//用于执行Lua脚本的Lua环境
31 redisClient *lua_client;//Lua脚本的伪客户端,在服务器运行的整个生命周期一直存在,直至服务器关闭才会关闭
32 dict *lua_scripts;//字典,记录所有载入的Lua脚本,键为某个Lua脚本的SHA1校验和,值为对应的Lua脚本
33 dict *repl_scriptcache_dict;//字典,记录已经传播给所有从服务器的所有Lua脚本,键为脚本的SHA1校验和,值为NULL,用于EVALSHA1命令的复制
34  
35 long long slowlog_entry_id;//下一条慢查询日志的ID
36 list *slowlog;//保存了所有慢查询日志的链表
37 long long slowlog_log_slower_than;//服务器配置“slowlog-log-slower-than”选项的值,表示查询慢于多少微秒便记录慢查询日志
38 unsigned long slowlog_max_len;//服务器配置“slowlog-max-len”选项的值,表示服务器最多保存多少条慢查询日志记录,若超出,最久的记录会被覆盖
39  
40 monitors;//链表,监视器客户端列表
41  
42 dict *pubsub_channels;//字典,保存所有频道的订阅关系,键为某个被订阅的频道,值为链表,记录了所有订阅这个频道的客户端
43 list *pubsub_patterns;//链表,保存所有模式的订阅关系,每个链表节点都包含了订阅的客户端和被订阅的模式
44 };
struct redisDb {
dict *dict;//数据库键空间字典,保存数据库中所有的键值对
dict *expires;//过期字典,保存数据库中所有键的过期时间
dict *watched_keys;//字典,正在被WATCH命令监视的键
};
redisDb中三个字典中的key共享对象,value值不一样。对于过期的键,redis采用惰性删除和定时删除相结合的方式,惰性删除,指执行之前会查看这个key是否过期,定时删除值一段时间之后分多次遍历数据库,每次只删除部分过期的数据。

redis客户端

redis-server通过tcp端口或socket来创建和redis-cli的连接,可以修改redis.conf中的maxclients来指定最大连接数,在建立连接之后,socket会被设置为非阻塞模式,同时创造一个struct redisClient来保存客户端的连接信息。

 1 struct redisClient {
 2 redisDb *db;//记录客户端当前正在使用的数据库,上文提到之前有16个们默认的数据库,可以通过select进行切换数据库
 3 int fd;//客户端正在使用的套接字描述符,-1表示伪客户端(AOF文件或者Lua脚本),大于-1表示普通客户端
 4 robj *name;//客户端名字
 5 int flags;//客户端标志,记录了客户端的角色,以及客户端目前所处的状态
 6 sds querybuf;//输入缓冲区,根据输入内容动态地缩小或扩大,但不能超过1GB,否则服务器将关闭这个客户端
 7 robj **argv;//命令与命令参数,数组,每个元素都是一个字符串对象,argv[0]为命令,其余元素为参数
 8 int argc;//argv数组的长度
 9 struct redisCommand *cmd;//当前执行的命令的实现函数,指向命令表中的命令结构
10 char buf[REDIS_REPLY_CHUNK_BYTES];//固定大小输出缓冲区,数组,默认大小为16KB
11 int bufpos;//buf数组目前已使用的字节数量
12 list *reply;//可变大小输出缓冲区,链表
13 obuf_soft_limit_reached_time:记录了“reply”输出缓冲区第一次到达软性限制的时间,用于计算持续超出软性限制的时长,以此决定是否关闭客户端
14 int authenticated;//0表示未通过身份验证,1表示已通过身份验证
15 time_t ctime:创建客户端的时间,可用于计算客户端与服务器连接的时间长度
16 time_t lastinteraction:客户端与服务器最后一次进行互动的时间,可用于客户端的空转时长
17 multiState mstate;//事务状态,包含一个事务队列,以及一个已入列命令计数器
18 };
db:是一个指针,指向Redis服务器状态结构中的“db”数组其中一个元素,表示当前客户端正在使用的数据库。默认情况下,Redis客户端的目标数据库为0号数据库,可以通过select命令切换,所以select命令的实现原理为:修改redisClient.db指针,让它指向服务器中指定的数据库。
fd:连接当前客户端与Redis服务器的套接字描述符。值为-1表示伪客户端(AOF文件或者Lua脚本),值大于-1则表示普通客户端。Redis客户端分为普通客户端与伪客户端两种类型,其中通过网络连接与Redis服务器进行连接的就是普通客户端,反之则是伪客户端了。伪客户端也有两种类型,分别是Lua脚本的伪客户端和AOF文件的伪客户端。Redis服务器状态结构的“lua_client”属性就保存了Lua脚本的伪客户端,它会在Redis服务器初始化时就被创建,负责执行Lua脚本中包含的Redis命令,在服务器运行的整个生命周期一直存在,直至服务器关闭才会关闭。而AOF伪客户端则是在载入AOF文件时被创建,用于执行AOF文件中的Redis命令,在AOF文件载入完成之后被关闭。client list:列出目前所有连接到服务器的普通客户端。

redis的持久化

AOF、RDB指的是redis持久化策略,可以通过redis.conf中的参数来配置。
appendfsync (always/everysec/no)
save [time(s)] [times]
AOF指的是保存操作命令,他会将每一次redis的数据操作命令追加到文件中,当键过期的时候会加入del命令,并且每过一段时间,会对已经生成的文件优化一次,主要指的是操作命令的合并。
RDB指的是执行save或bgsave命令创建一个新的RDB文件,新建一个子进程,把所有的数据写入文件。


扫描二维码关注公众号,回复: 6875449 查看本文章

redis中的文件事件和时间时间

redis中的事件分为文件事件和时间事件
文件事件:指的是通过epoll实现io多路复用程序来监听多个套接字,对读、写、关闭、连接都支持事务,支持原子操作。
时间事件:指的是redis中在默写特定时间执行操作,主要有定时事件和周期性事件。所有的时间事件会被放在一个无须列表中,新加入的事件会在事件的头部插入。每次执行事件的时候都会去遍历列表。正常情况下只有一个serverCron时间时间,在benchmark模式下,也只有两个时间事件。


redis的启动过程

(1)初始化服务器状态结构
  新创建一个struct redisServer类型的实例变量作为服务器的状态,记录着整个服务器的状态,并为结构中的各个属性设置默认值,例如:服务器的运行ID、默认配置文件路径、默认端口等等,同时创建Redis命令表。
(2)载入配置选项
  载入用户指定的配置参数和配置文件,并根据用户设定的配置,对服务器状态变量的相关属性进行修改。
(3)初始化服务器数据结构
  这一步主要是为服务器状态中的一些数据结构分配内存,例如:

  1. “clients“:链表,保存所有与服务器连接的客户端的状态结构。
  2. ”db“:字典保存服务器的所有数据库。
  3. ”lua“:用于执行Lua脚本的Lua环境。
  4. ”slowlog“:用于保存慢查询日志。

除此之外,还会进行一些非常重要的设置操作,例如:

  1. 为服务器设置进程信号处理器。
  2. 创建共享对象,例如经常经常用到的“OK”回复字符串对象,1到10000的字符串对象等等。
  3. 为serverCron函数创建时间事件。
  4. 如果AOF持久化功能已经打开,则打开现有的AOF文件,若AOF文件不存在,则创建并打开一个新的AOF文件,为AOF写入做好准备。
  5. 初始化服务器的后台I/O模块,为将来的I/O操作做好准备。

(4)还原数据库状态
  若服务器启用了AOF持久化功能,则载入AOF文件,否则载入RDB文件,根据AOF文件或RDB文件记录的内容还原数据库状态,同时在日志文件中打印出载入文件并还原数据库状态所耗费的时长。
(5)执行事件循环
  一切准备就绪,开始执行服务器的事件循环,开始接受客户端的连接请求,处理客户端发送的命令请求。

猜你喜欢

转载自www.cnblogs.com/ElliottX4/p/11251585.html