redis分区

redis分区

 

分区的好处

1. 通过利用多台计算机内存的和值,允许我们构造更大的数据库。

2. 通过多核和多台计算机,允许我们扩展计算能力;通过多台计算机和网络适配器,允许我们扩展网络带宽。

 

 

分区的缺点

1. 涉及多个key的操作通常是不被支持的。举例来说,当两个set映射到不同的redis实例上时,你就不能对这两个set执行交集操作。

2. 涉及多个key的redis事务不能使用。

3. 当使用分区时,数据处理较为复杂,比如你需要处理多个rdb/aof文件,并且从多个实例和主机备份持久化文件。

4. 增加或删除容量也比较复杂。redis集群大多数支持在运行时增加、删除节点的透明数据平衡的能力,但是类似于客户端分区、代理等其他系统则不支持这项特性。然而,一种叫做pre-sharding的技术对此是有帮助的。

 

 

Pre-Sharding

通过上面的介绍,我们知道Redis分区应用起来是有问题的,除非我们只是使用Redis当做缓存,否则对于增加机器或删除机器是非常麻烦的。

然而,通常我们Redis容量变动在实际应用中是非常常见的,比如今天我需要10台Redis机器,明天可能就需要50台机器了。

Pre-Sharding原理

鉴于Redis是很轻量级的服务(每个实例仅仅占用1M),对于上面的问题一种简单的解决办法是:

我们可以开启多个Redis实例,尽管是一台物理机器,我们在刚开始的时候也可以开启多个实例。我们可以从中选择一些实例,比如32或64个实例来作为我们的工作集群。当一台物理机器存储不够的时候,我们可以将一般的实例移动到我们的第二台物理机上,依次类对,我们可以保证集群中Redis的实例数不变,又可以达到扩充机器的目的。

 

怎么移动Redis实例呢?

当需要将Redis实例移动到独立的机器上的时候,我们可以通过下面步骤实现:

 

简单

1. 在新的物理机上运行Redis-Server;

2. 该Redis-Server从属于(slaveof)分片列表中的某一Redis-Server(假设叫RedisA);

3. 等主从复制(Replication)完成后,将客户端分片列表中RedisA的IP和端口改为新物理机上Redis-Server的IP和端口;

4. 停止RedisA。

 

详细

1. 在新的物理机上启动一个新的Redis实例。

2. 将新的物理机作为要移动的那台的slave机器。

3. 停止客户端。

4. 更新将要被移动的那台Redis实例的IP地址。

5. 对于slave机器发送SLAVEOF ON ONE命令。

6. 使用新的IP启动Redis客户端。

7. 关闭不再使用的那个Redis实例。

 

 

分区的方法

 

1. 范围分区。按范围分区,就是映射一定范围的对象到特定的Redis实例,但是要有一个区间范围到实例的映射表。这个表要被管理,同时还需要各 种对象的映射表,通常对Redis来说并非是好的方法

哈希分区。对任何key都适用,也无需是object_name:这种形式

 

2. 用一个hash函数将key转换为一个数字,比如使用crc32 hash函数。对key foobar执行crc32(foobar)会输出类似93024922的整数

对这个整数取模,将其转化为0-3之间的数字,就可以将这个整数映射到4个Redis实例中的一个了。93024922 % 4 = 2,就是说key foobar应该被存到R2实例中

 

 

猜你喜欢

转载自youyu4.iteye.com/blog/2344493