高阶测试人员：Redis-Shake工具研究（上）

lsekfe

因项目组需求，需要更换一套Redis集群，为减少开发工作量，调研了一些Redis数据迁移工具，后决定使用Redis-Shake进行集群数据迁移，前期进行了一些测试。
　　本文主要包括两部分内容：
　　·Redis集群搭建和模拟数据初始化：为了模拟生产环境的新旧两套Redis集群，首先在本机上进行环境的搭建，并准备迁移所需要的测试数据。
　　·Redis-Shake测试：测试利用Redis-Shake进行数据迁移。

　　Redis集群搭建
　　在本部分，首先搭建一套3主3备的集群作为源集群，然后搭建一套5主5备的集群作为目标集群。为了简便起见，我们采用Docker来简化部署。

　　配置文件准备
　　首先，准备配置文件：

1. port ${PORT}
   
2. protected-mode no
   
3. cluster-enabled yes
   
4. cluster-config-file nodes.conf
   
5. cluster-node-timeout 5000
   
6. cluster-announce-ip 172.25.253.0
   
7. cluster-announce-port ${PORT}
   
8. cluster-announce-bus-port 1${PORT}
   
9. appendonly yes
   
10. requirepass 123456
    
11. masterauth 123456

复制代码

其中，port是Redis运行的端口，关闭protected-mode使得集群可以通信而不用配置bind，并配置集群的相关信息。
　　其中announce-port是命令端口，announce-bus-port是集群桥接端口，其余配置包括开权aof和集群密码，此处为了演示，使用简单密码。
　　此外，文件中的${PORT}是占位符，随后使用envsubst进行替换，以达到避免重复复制粘贴配置文件的效果。
　　接下来，我们准备脚本，为每个Redis节点生成一个文件夹，结构如下，其中conf保存配置文件，data保存数据文件：

1. ├─7000
   
2. │  ├─conf
   
3. │  └─data
   
4. #!/bin/zsh
   
5. for port in {7000..7005}
   
6. do
   
7.     if [ ! -d "./${port}/conf" ]; then
   
8.     mkdir -p ./${port}/conf
   
9.     fi
   
10.     PORT=${port} envsubst < ./redis-conf.template > ./${port}/conf/redis.conf
    
11.     if [ ! -d "./${port}/data" ]; then
    
12.         mkdir -p ./${port}/data
    
13.     fi
    
14. done

复制代码

如上，7000-7005六个端口留作部署3主3备的源Redis集群，8000-8009十个端口留作部署5主5备的目的Redis集群。
　　准备好每个节点的文件夹后，需要启动Redis节点。此处，借助于docker-compose简化部署。

　　利用docker简化部署并构建集群
　　首先，准备源集群的docker-compose文件，如下：

1. version: "3.4"
   
2. 
   
3. x-image:
   
4.   &default-image
   
5.   redis:5.0.12
   
6. x-restart:
   
7.   &default-restart
   
8.   always
   
9. x-command:
   
10.   &default-command
    
11.   redis-server /etc/redis/redis.conf
    
12. 
    
13. services:
    
14.   redis1-3:
    
15.     image: *default-image
    
16.     restart: *default-restart
    
17.     container_name: redis3-m1
    
18.     command: *default-command
    
19.     volumes:
    
20.       - ./7000/data:/data
    
21.       - ./7000/conf/redis.conf:/etc/redis/redis.conf
    
22.     ports:
    
23.       - 7000:7000
    
24.       - 17000:17000
    
25.     networks:
    
26.       - redisNet
    
27.   
    
28.   redis2-3:
    
29.     image: *default-image
    
30.     restart: *default-restart
    
31.     container_name: redis3-m2
    
32.     command: *default-command
    
33.     volumes:
    
34.       - ./7001/data:/data
    
35.       - ./7001/conf/redis.conf:/etc/redis/redis.conf
    
36.     ports:
    
37.       - 7001:7001
    
38.       - 17001:17001
    
39.     networks:
    
40.       - redisNet
    
41.   
    
42.   redis3-3:
    
43.     image: *default-image
    
44.     restart: *default-restart
    
45.     container_name: redis3-m3
    
46.     command: *default-command
    
47.     volumes:
    
48.       - ./7002/data:/data
    
49.       - ./7002/conf/redis.conf:/etc/redis/redis.conf
    
50.     ports:
    
51.       - 7002:7002
    
52.       - 17002:17002
    
53.     networks:
    
54.       - redisNet
    
55. 
    
56.   redis4-3:
    
57.     image: *default-image
    
58.     restart: *default-restart
    
59.     container_name: redis3-s1
    
60.     command: *default-command
    
61.     volumes:
    
62.       - ./7003/data:/data
    
63.       - ./7003/conf/redis.conf:/etc/redis/redis.conf
    
64.     ports:
    
65.       - 7003:7003
    
66.       - 17003:17003
    
67.     networks:
    
68.       - redisNet
    
69. 
    
70.   redis5-3:
    
71.     image: *default-image
    
72.     restart: *default-restart
    
73.     container_name: redis3-s2
    
74.     command: *default-command
    
75.     volumes:
    
76.       - ./7004/data:/data
    
77.       - ./7004/conf/redis.conf:/etc/redis/redis.conf
    
78.     ports:
    
79.       - 7004:7004
    
80.       - 17004:17004
    
81.     networks:
    
82.       - redisNet
    
83.    
    
84.   redis6-3:
    
85.     image: *default-image
    
86.     restart: *default-restart
    
87.     container_name: redis3-s3
    
88.     command: *default-command
    
89.     volumes:
    
90.       - ./7005/data:/data
    
91.       - ./7005/conf/redis.conf:/etc/redis/redis.conf
    
92.     ports:
    
93.       - 7005:7005
    
94.       - 17005:17005
    
95.     networks:
    
96.       - redisNet
    
97. 
    
98. networks:
    
99.   redisNet:
    

复制代码

其中，源集群共启动了6个Redis实例，占据7000-7005六个端口，每个实例的配置和数据文件夹都挂载到对应端口下的对应文件夹中。

　　如下，编辑好docker-compose文件后，可以启动源Redis集群所对应的6个Redis实例。
　　启动了相关的实例后，进入某个容器，进行集群构建。
　　5.0.12版本已经支持使用redis-cli创建集群，只需要将待构建集群的Redis实例全部作为参数传递，如下所示。
　　可以看出，首先进行了slot分配，接下来，分配主从节点，并为每个slave匹配相应的master，然后是集群的构建，检查后：

1. /mnt/c/Users/wangy/redis-cluster ? docker exec -it redis3-m1 /bin/bash
   
2. root@b7a3d4d2261d:/data# redis-cli --cluster create 172.25.253.0:7000 172.25.253.0:7001 172.25.253.0:7002 172.25.253.0:7003 172.25.253.0:7004 172.25.253.0:7005 --cluster-replicas 1 -a 123456
   
3. Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
   
4. >>> Performing hash slots allocation on 6 nodes...
   
5. Master[0] -> Slots 0 - 5460
   
6. Master[1] -> Slots 5461 - 10922
   
7. Master[2] -> Slots 10923 - 16383
   
8. Adding replica 172.25.253.0:7004 to 172.25.253.0:7000
   
9. Adding replica 172.25.253.0:7005 to 172.25.253.0:7001
   
10. Adding replica 172.25.253.0:7003 to 172.25.253.0:7002
    
11. >>> Trying to optimize slaves allocation for anti-affinity
    
12. [WARNING] Some slaves are in the same host as their master
    
13. M: 9ac43c00a5a0efd5e35d6019673881e1794a9159 172.25.253.0:7000
    
14.    slots:[0-5460] (5461 slots) master
    
15. M: c9170bddeb0da122efe7b1d36528ad3940341477 172.25.253.0:7001
    
16.    slots:[5461-10922] (5462 slots) master
    
17. M: 5bd620cedffe15bf58f2ad86fb5ab4274671e92c 172.25.253.0:7002
    
18.    slots:[10923-16383] (5461 slots) master
    
19. S: 50bd4229fe1d93a7d5fa9ed79ba5a7c8d12ad991 172.25.253.0:7003
    
20.    replicates 5bd620cedffe15bf58f2ad86fb5ab4274671e92c
    
21. S: 54e45d4f5047d26bdd52b7e9312f8e60a4c3872b 172.25.253.0:7004
    
22.    replicates 9ac43c00a5a0efd5e35d6019673881e1794a9159
    
23. S: 08fabb337b6a1393788749c904dd15071c29a692 172.25.253.0:7005
    
24.    replicates c9170bddeb0da122efe7b1d36528ad3940341477
    
25. Can I set the above configuration? (type 'yes' to accept): yes
    
26. >>> Nodes configuration updated
    
27. >>> Assign a different config epoch to each node
    
28. >>> Sending CLUSTER MEET messages to join the cluster
    
29. Waiting for the cluster to join
    
30. ..
    
31. >>> Performing Cluster Check (using node 172.25.253.0:7000)
    
32. M: 9ac43c00a5a0efd5e35d6019673881e1794a9159 172.25.253.0:7000
    
33.    slots:[0-5460] (5461 slots) master
    
34.    1 additional replica(s)
    
35. S: 54e45d4f5047d26bdd52b7e9312f8e60a4c3872b 172.25.253.0:7004
    
36.    slots: (0 slots) slave
    
37.    replicates 9ac43c00a5a0efd5e35d6019673881e1794a9159
    
38. M: 5bd620cedffe15bf58f2ad86fb5ab4274671e92c 172.25.253.0:7002
    
39.    slots:[10923-16383] (5461 slots) master
    
40.    1 additional replica(s)
    
41. M: c9170bddeb0da122efe7b1d36528ad3940341477 172.25.253.0:7001
    
42.    slots:[5461-10922] (5462 slots) master
    
43.    1 additional replica(s)
    
44. S: 50bd4229fe1d93a7d5fa9ed79ba5a7c8d12ad991 172.25.253.0:7003
    
45.    slots: (0 slots) slave
    
46.    replicates 5bd620cedffe15bf58f2ad86fb5ab4274671e92c
    
47. S: 08fabb337b6a1393788749c904dd15071c29a692 172.25.253.0:7005
    
48.    slots: (0 slots) slave
    
49.    replicates c9170bddeb0da122efe7b1d36528ad3940341477
    
50. [OK] All nodes agree about slots configuration.
    
51. >>> Check for open slots...
    
52. >>> Check slots coverage...
    
53. [OK] All 16384 slots covered.

复制代码

同时，还可以连接到集群，使用cluster info查看集群状态：

1. root@b7a3d4d2261d:/data# redis-cli -p 7000 -a 123456
   
2. Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
   
3. 127.0.0.1:7000> cluster info
   
4. cluster_state:ok
   
5. cluster_slots_assigned:16384
   
6. cluster_slots_ok:16384
   
7. cluster_slots_pfail:0
   
8. cluster_slots_fail:0
   
9. cluster_known_nodes:6
   
10. cluster_size:3
    
11. cluster_current_epoch:6
    
12. cluster_my_epoch:1
    
13. cluster_stats_messages_ping_sent:350
    
14. cluster_stats_messages_pong_sent:348
    
15. cluster_stats_messages_sent:698
    
16. cluster_stats_messages_ping_received:343
    
17. cluster_stats_messages_pong_received:350
    
18. cluster_stats_messages_meet_received:5
    
19. cluster_stats_messages_received:698

复制代码

同理，我们准备一份搭建目的集群的docker-compose文件：

1. version: "3.4"
   
2. 
   
3. x-image:
   
4.   &default-image
   
5.   redis:5.0.12
   
6. x-restart:
   
7.   &default-restart
   
8.   always
   
9. x-command:
   
10.   &default-command
    
11.   redis-server /etc/redis/redis.conf
    
12. 
    
13. services:
    
14.   redis1-5:
    
15.     image: *default-image
    
16.     restart: *default-restart
    
17.     container_name: redis5-m1
    
18.     command: *default-command
    
19.     volumes:
    
20.       - ./8000/data:/data
    
21.       - ./8000/conf/redis.conf:/etc/redis/redis.conf
    
22.     ports:
    
23.       - 8000:8000
    
24.       - 18000:18000
    
25.     networks:
    
26.       - redisNet
    
27.   
    
28.   redis2-5:
    
29.     image: *default-image
    
30.     restart: *default-restart
    
31.     container_name: redis5-m2
    
32.     command: *default-command
    
33.     volumes:
    
34.       - ./8001/data:/data
    
35.       - ./8001/conf/redis.conf:/etc/redis/redis.conf
    
36.     ports:
    
37.       - 8001:8001
    
38.       - 18001:18001
    
39.     networks:
    
40.       - redisNet
    
41.   
    
42.   redis3-5:
    
43.     image: *default-image
    
44.     restart: *default-restart
    
45.     container_name: redis5-m3
    
46.     command: *default-command
    
47.     volumes:
    
48.       - ./8002/data:/data
    
49.       - ./8002/conf/redis.conf:/etc/redis/redis.conf
    
50.     ports:
    
51.       - 8002:8002
    
52.       - 18002:18002
    
53.     networks:
    
54.       - redisNet
    
55. 
    
56.   redis4-5:
    
57.     image: *default-image
    
58.     restart: *default-restart
    
59.     container_name: redis5-m4
    
60.     command: *default-command
    
61.     volumes:
    
62.       - ./8003/data:/data
    
63.       - ./8003/conf/redis.conf:/etc/redis/redis.conf
    
64.     ports:
    
65.       - 8003:8003
    
66.       - 18003:18003
    
67.     networks:
    
68.       - redisNet
    
69. 
    
70.   redis5-5:
    
71.     image: *default-image
    
72.     restart: *default-restart
    
73.     container_name: redis5-m5
    
74.     command: *default-command
    
75.     volumes:
    
76.       - ./8004/data:/data
    
77.       - ./8004/conf/redis.conf:/etc/redis/redis.conf
    
78.     ports:
    
79.       - 8004:8004
    
80.       - 18004:18004
    
81.     networks:
    
82.       - redisNet
    
83.    
    
84.   redis6-5:
    
85.     image: *default-image
    
86.     restart: *default-restart
    
87.     container_name: redis5-s1
    
88.     command: *default-command
    
89.     volumes:
    
90.       - ./8005/data:/data
    
91.       - ./8005/conf/redis.conf:/etc/redis/redis.conf
    
92.     ports:
    
93.       - 8005:8005
    
94.       - 18005:18005
    
95.     networks:
    
96.       - redisNet
    
97. 
    
98.   redis7-5:
    
99.     image: *default-image
    
100.     restart: *default-restart
     
101.     container_name: redis5-s2
     
102.     command: *default-command
     
103.     volumes:
     
104.       - ./8006/data:/data
     
105.       - ./8006/conf/redis.conf:/etc/redis/redis.conf
     
106.     ports:
     
107.       - 8006:8006
     
108.       - 18006:18006
     
109.     networks:
     
110.       - redisNet
     
111. 
     
112.   redis8-5:
     
113.     image: *default-image
     
114.     restart: *default-restart
     
115.     container_name: redis5-s3
     
116.     command: *default-command
     
117.     volumes:
     
118.       - ./8007/data:/data
     
119.       - ./8007/conf/redis.conf:/etc/redis/redis.conf
     
120.     ports:
     
121.       - 8007:8007
     
122.       - 18007:18007
     
123.     networks:
     
124.       - redisNet
     
125. 
     
126.   redis9-5:
     
127.     image: *default-image
     
128.     restart: *default-restart
     
129.     container_name: redis5-s4
     
130.     command: *default-command
     
131.     volumes:
     
132.       - ./8008/data:/data
     
133.       - ./8008/conf/redis.conf:/etc/redis/redis.conf
     
134.     ports:
     
135.       - 8008:8008
     
136.       - 18008:18008
     
137.     networks:
     
138.       - redisNet
     
139. 
     
140.   redis10-5:
     
141.     image: *default-image
     
142.     restart: *default-restart
     
143.     container_name: redis5-s5
     
144.     command: *default-command
     
145.     volumes:
     
146.       - ./8009/data:/data
     
147.       - ./8009/conf/redis.conf:/etc/redis/redis.conf
     
148.     ports:
     
149.       - 8009:8009
     
150.       - 18009:18009
     
151.     networks:
     
152.       - redisNet
     
153. 
     
154. networks:
     
155.   redisNet:

复制代码