Redis cluster分片存储技术

什么是分片存储#

由于redis是基于内存的数据库，不像传统的数据库可以通过大量扩展磁盘来扩大存储能力，因此开发了分片存储的技术；分片存储就是将大量数据分布式存储在多个redis实例中。

redis cluster核心概念#

redis集群通过哈希槽的概念，来决定key放在哪个槽里，一个redis集群最多有16384个哈希槽；
每一个key通过CRC16算法校验后决定放入哪个槽位；
redis集群中的每一个节点，负责一部分哈希槽（hash slot）；例如集群中有三个节点，节点A负责0-5500，节点B负责5501-11000，节点c负责11001-16384。
槽位必须分配正确(收尾相连)，否则集群无法使用。
redis通过 hash tags功能，实现将多个相关的key，放到同一个hash slot中
redis集群的每一个节点，都有唯一的名字，由十六进制的数字表示，一般基于/dev/urandom自动生成。且节点在配置文件中保留ID，除非用户主动执行cluster reset hard或者hard reset节点。主要存储的信息是: node id, address:port, flags, last ping sent, last pong received, configuration epoch, link state, slots.
redis集群每一个节点都相互ping，建立了TCP连接，且保存活跃性，期望得到对方节点的pong回复。
redis请求重定向 redis cluster采用去中心化的架构，集群的每一个节点都复制一部分槽位，客户端在写入key时，到底放到哪个槽位呢？
- 检查当前key是否存在于node：基于crc16算法/16384取模计算，得到slot槽位，然后查询负责该slot的节点
- 若slot不是自身，自动进行moved重定向
- 若slot是自身，且key在slot里，立即返回该key的结果
- 若key不在当前节点slot里，检查slot是否在migrating，数据迁移中
- 如果key正在迁移，返回ask错误给客户端
- 若slot未迁移，检查slot是否在导入中
- 若slot在导入中，且有asking标记，则直接操作
- 否则返回moved重定向。

部署Redis cluster#

cluster默认是基于主从复制的，也就是说一个拥有三个节点的集群，每个节点都有一个从库。这里为每台虚拟机部署两个redis，一主一从，主库端口6379，从库6380。

修改配置文件，开启cluster功能#

主要基于以下三个参数，

1
cluster-enabled yes
2
cluster-config-file cluster-80.conf
3
cluster-node-timeout 15000

cluster-80.conf是cluster集群的配置文件，该文件会自动生成在dir声明的路径下，内容是集群的节点和状态

1
6ec8824c24f475852a4770ff7bdec2d145a8c3c1 :6379@16379 myself,master - 0 0 0 connected 9189
2
vars currentEpoch 0 lastVoteEpoch 0

重新启动redis并查看进程，可以发现redis目前是以集群状态运行

1
[root@db-53 /lib/systemd/system]#ps -ef | grep redis
2
root       3021      1  0 13:43 ?        00:00:00 /usr/local/bin/redis-server 172.16.1.53:6379 [cluster]
3
root       3022      1  0 13:43 ?        00:00:00 /usr/local/bin/redis-server 172.16.1.53:6380 [cluster]

service服务脚本#

1
[Unit]
2
Description=Redis cluster master
3
After=syslog.target network.target remote-fs.target nss-lookup.target
4

5
[Service]
6
Type=forking
7
ExecStart=/bin/bash -c '/usr/local/bin/redis-server /opt/redis/conf/redis.conf'
8
ExecStop=/bin/bash -c '/usr/local/bin/redis-cli -h $(ifconfig eth1|awk 'NR==2{print $2}') -p 6379 shutdown'
9
Restart=always
10
PrivateTmp=True
11

12
[Install]
13
WantedBy=multi-user.target

master和slave的服务脚本，除了ExecStop的端口号，其他都一样。

节点握手#

一个meet消息，就像ping命令，且会强制接受者作为集群的一个节点

1
172.16.1.51:6379> cluster meet 172.16.1.52 6379
2
OK
3
172.16.1.51:6379> cluster meet 172.16.1.53 6379
4
OK
5
172.16.1.51:6379> cluster meet 172.16.1.51 6380
6
OK
7
172.16.1.51:6379> cluster meet 172.16.1.52 6380
8
OK
9
172.16.1.51:6379> cluster meet 172.16.1.53 6380
10
OK

查看集群节点

1
172.16.1.51:6379> cluster nodes
2
760041e23f2c58477989205c05e4f604c1ab6b61 172.16.1.52:6379@16379 master - 0 1695874978569 1 connected
3
dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f 172.16.1.53:6379@16379 master - 0 1695874976000 5 connected
4
e6a3067c56e42ac16e0a82f40b215aac5a130489 172.16.1.53:6380@16380 master - 0 1695874977000 0 connected
5
8ea2f6efb0ce756497701a920ea0cbe32a5a4814 172.16.1.51:6379@16379 myself,master - 0 1695874974000 2 connected
6
2fe100ff72828302cbfd2daf15630c6578112f55 172.16.1.51:6380@16380 master - 0 1695874977000 3 connected
7
2a6f3639b4f114c3be1d5e1853cbb698f5423c9a 172.16.1.52:6380@16380 master - 0 1695874977556 4 connected

分配槽位#

这里要注意分配槽位一定要前后数字收尾相接，遗落任何一个槽位都会导致分配失败。

1
redis-cli -h 172.16.1.51 -p 6379 cluster addslots {0..5460}
2
redis-cli -h 172.16.1.52 -p 6379 cluster addslots {5461..10921}
3
redis-cli -h 172.16.1.53 -p 6379 cluster addslots {10922..16383}

然后使用cluster info命令查看集群状态

1
[root@db-51 /lib/systemd/system]#redis-cli -h 172.16.1.51 -p 6379 cluster info
2
cluster_state:ok
3
cluster_slots_assigned:16384
4
cluster_slots_ok:16384
5
cluster_slots_pfail:0
6
cluster_slots_fail:0
7
cluster_known_nodes:6
8
cluster_size:3
9
cluster_current_epoch:5
10
cluster_my_epoch:2
11
cluster_stats_messages_ping_sent:664
12
cluster_stats_messages_pong_sent:675
13
cluster_stats_messages_meet_sent:5
14
cluster_stats_messages_sent:1344
15
cluster_stats_messages_ping_received:675
16
cluster_stats_messages_pong_received:669
17
cluster_stats_messages_received:1344

cluster_state为OK就是分配成功了

为slave节点添加复制关系#

语法是：cluster replicate master_id，master_id可以使用cluster nodes查看

1
[root@db-51 /lib/systemd/system]#redis-cli -h 172.16.1.51 -p 6380 cluster replicate 8ea2f6efb0ce756497701a920ea0cbe32a5a4814
2
OK
3
[root@db-51 /lib/systemd/system]#redis-cli -h 172.16.1.52 -p 6380 cluster replicate 760041e23f2c58477989205c05e4f604c1ab6b61
4
OK
5
[root@db-51 /lib/systemd/system]#redis-cli -h 172.16.1.53 -p 6380 cluster replicate dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f
6
OK

最后再用cluster nodes确认一下复制关系是否正确

如果是实际生产环境的话，主从库建议不要放在同一台机器上，这样可以防止突发的机器或系统故障导致主从库同时宕机

测试写入数据#

使用一个for循环写入2000条数据

1
for i in {1..2000}
2
do
3
  redis-cli -h 172.16.1.51 -p 6379 set k_${i} data_${i} && echo "Writing in key_${i}"
4
done

注意：#

向集群写入数据必须使用-c参数，否则会显示大量的重定向错误，这是因为根据CRC16算法取模计算后得出的slots编号不在本机，因此被重定向写入到了其他机器上，但是非cluster客户端向cluster服务端写入数据会导致无法完成重定向，因此会导致大量的报错和数据丢失。

结果

1
[root@db-51 ~]#redis-cli -h 172.16.1.51 -p 6379 dbsize
2
(integer) 677
3
[root@db-51 ~]#redis-cli -h 172.16.1.52 -p 6379 dbsize
4
(integer) 655
5
[root@db-51 ~]#redis-cli -h 172.16.1.53 -p 6379 dbsize
6
(integer) 668

2000个key基本上是被平均写到了三个节点之中。

Redis分片集群自动部署#

Redis 5.0版本以前#

5.0之前的版本需要用到redis官方提供的一个ruby脚本，这个脚本路径在redis软件包的/src路径下。由于是ruby脚本，所以需要配置ruby环境才能顺利执行。

安装ruby环境#

1
yum install rubygems -y

配置ruby软件源#

1
# 移除默认软件源
2
gem sources --remove https://rubygems.org/
3
# 使用腾讯软件源
4
gem sources -a https://mirrors.cloud.tencent.com/rubygems/

通过ruby包管理工具，安装操作redis的模块#

1
gem install redis -v 3.3.3

部署redis集群#

1
./redis-trib.rb create --replicas 1 172.16.1.51:6379 172.16.1.52:6379 172.16.1.53:6379 172.16.1.51:6380 172.16.1.52:6380 172.16.1.53:6380

这里因为我使用的是5.0.7版本的redis，所以失败了，提示该脚本以不再受支持，所有功能以被整合到redis-cli中。

Redis 5.0之后版本#

如之前所说的，redis-trib.rb的功能已经被整合到redis-cli中，部署更加简单了。

1
./redis-cli -h 172.16.1.51 -p 6379 --cluster create 172.16.1.51:6379 172.16.1.52:6379 172.16.1.53:6379 172.16.1.51:6380 172.16.1.52:6380 172.16.1.53:6380 --cluster-replicas 1

这里的--cluster-replicas 1表示为每个主库创建一个从库，如果是一主两从，后面的值就是2； create后面跟的ip顺序是先写master ip，再写slave ip。

结果#

1
>>> Performing hash slots allocation on 6 nodes...
2
Master[0] -> Slots 0 - 5460
3
Master[1] -> Slots 5461 - 10922
4
Master[2] -> Slots 10923 - 16383
5
Adding replica 172.16.1.52:6380 to 172.16.1.51:6379
6
Adding replica 172.16.1.53:6380 to 172.16.1.52:6379
7
Adding replica 172.16.1.51:6380 to 172.16.1.53:6379
8
M: 8ea2f6efb0ce756497701a920ea0cbe32a5a4814 172.16.1.51:6379
9
   slots:[0-5460] (5461 slots) master
10
M: 760041e23f2c58477989205c05e4f604c1ab6b61 172.16.1.52:6379
11
   slots:[5461-10922] (5462 slots) master
12
M: dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f 172.16.1.53:6379
13
   slots:[10923-16383] (5461 slots) master
14
S: 2fe100ff72828302cbfd2daf15630c6578112f55 172.16.1.51:6380
15
   replicates dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f
16
S: 2a6f3639b4f114c3be1d5e1853cbb698f5423c9a 172.16.1.52:6380
17
   replicates 8ea2f6efb0ce756497701a920ea0cbe32a5a4814
18
S: e6a3067c56e42ac16e0a82f40b215aac5a130489 172.16.1.53:6380
19
   replicates 760041e23f2c58477989205c05e4f604c1ab6b61
20
Can I set the above configuration? (type 'yes' to accept): yes
21
>>> Nodes configuration updated
22
>>> Assign a different config epoch to each node
23
>>> Sending CLUSTER MEET messages to join the cluster
24
Waiting for the cluster to join
25
......
26
>>> Performing Cluster Check (using node 172.16.1.51:6379)
27
M: 8ea2f6efb0ce756497701a920ea0cbe32a5a4814 172.16.1.51:6379
28
   slots:[0-5460] (5461 slots) master
29
   1 additional replica(s)
30
S: 2fe100ff72828302cbfd2daf15630c6578112f55 172.16.1.51:6380
31
   slots: (0 slots) slave
32
   replicates dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f
33
S: e6a3067c56e42ac16e0a82f40b215aac5a130489 172.16.1.53:6380
34
   slots: (0 slots) slave
35
   replicates 760041e23f2c58477989205c05e4f604c1ab6b61
36
M: 760041e23f2c58477989205c05e4f604c1ab6b61 172.16.1.52:6379
37
   slots:[5461-10922] (5462 slots) master
38
   1 additional replica(s)
39
S: 2a6f3639b4f114c3be1d5e1853cbb698f5423c9a 172.16.1.52:6380
40
   slots: (0 slots) slave
41
   replicates 8ea2f6efb0ce756497701a920ea0cbe32a5a4814
42
M: dd643db1986c6f65f0a9730cc5db7cc0c95c4a4f 172.16.1.53:6379
43
   slots:[10923-16383] (5461 slots) master
44
   1 additional replica(s)
45
[OK] All nodes agree about slots configuration.
46
>>> Check for open slots...
47
>>> Check slots coverage...
48
[OK] All 16384 slots covered.