Redis学习笔记十（集群）

河曲智叟  金牌会员 | 2022-8-11 15:06:11 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 820|帖子 820|积分 2460

集群

解决问题


  • 容量不够
  • 并发写操作
  • 修改主机的相关信息
  • 之前通过代理主机来解决，redis3.0之后提供了解决无中心化集群配置
  • 代理主机方式graph  LR;客户端-->A["代理"]-->B1["主机1"]-->C1["从机1"];A["代理"]-->B2["主机2"]-->C2["从机2"];A["代理"]-->B3["主机3"]-->C3["从机3"];A["代理"]-->B4["代理从机1"];6.无中心化集群方式graph LR;B1["主机1"]-->B2["主机2"]-->C2["从机2"];B2-->B3["主机3"]-->C3["从机3"];B3-->B1;B1-->C1["从机1"];客户端-->B1;
集群特点


  • redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。
  • 通过分区（partition）可以提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。
配置集群


  • redis.conf配置文件修改
  1. 开启daemonize yes
  2. Pid文件名字
  3. 指定端口
  4. Log文件名字
  5. Dump.rdb名字
  6. Appendonly 关掉或者换名字
  7. cluster-enabled yes    打开集群模式
  8. cluster-config-file nodes-xxx.conf  设定节点配置文件名
  9. cluster-node-timeout 15000   设定节点失联时间，超过该时间（毫秒），集群自动进行主从切换。
复制代码
redis.conf主要内容配置
  1. include /myredis/redis.conf
  2. pidfile /var/run/redis_6380.pid
  3. port 6380
  4. dbfilename dump6380.rdb
  5. cluster-enabled yes
  6. cluster-config-file nodes-6380.conf
  7. cluster-node-timeout 15000
复制代码

  • 依照以上配置建立redis6380.conf、redis6381.conf、redis6382.conf、redis6390.conf、redis6391.conf、redis6392.conf文件。只需要将redis6380.conf复制五份，在对应的文件下输入:%s/6380/63xx,修改数字。
  • 启动6个redis服务（此时文件夹下，应该有对应的nodes-xxxx文件生成）
  1. root@LK:/myredis# redis-server redis6380.conf
  2. root@LK:/myredis# redis-server redis6381.conf
  3. root@LK:/myredis# redis-server redis6382.conf
  4. root@LK:/myredis# redis-server redis6389.conf
  5. root@LK:/myredis# redis-server redis6390.conf
  6. root@LK:/myredis# redis-server redis6392.conf
  7. root@LK:/myredis# ps -ef| grep redis
  8. root       86630    2002  0 13:04 ?        00:00:00 redis-server 127.0.0.1:6382 [cluster]
  9. root       86641    2002  0 13:05 ?        00:00:00 redis-server 127.0.0.1:6392 [cluster]
  10. root       86715    2002  0 13:07 ?        00:00:00 redis-server 127.0.0.1:6380 [cluster]
  11. root       86721    2002  0 13:08 ?        00:00:00 redis-server 127.0.0.1:6390 [cluster]
  12. root       86731    2002  0 13:08 ?        00:00:00 redis-server 127.0.0.1:6381 [cluster]
  13. root       86738    2002  0 13:08 ?        00:00:00 redis-server 127.0.0.1:6391 [cluster]
  14. root       86749   59701  0 13:08 pts/0    00:00:00 grep --color=auto redis
复制代码

  • 将6个服务集成为集群
    在redis安装目录下/opt/redis-7.0.2/src
  1. redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6382 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6392 127.0.0.1:6390 127.0.0.1:6391
复制代码
如果有远程连接，尽量不要用127.0.0.1
--replicas 1 采用最简单的方式配置集群，主机要有一个从机。
  1. root@LK:/opt/redis-7.0.2/src# redis-cli --cluster create --cluster-replicas 1 127.0.0.1:6382 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6392 127.0.0.1:6390 127.0.0.1:6391
  2. >>> Performing hash slots allocation on 6 nodes...
  3. Master[0] -> Slots 0 - 5460
  4. Master[1] -> Slots 5461 - 10922
  5. Master[2] -> Slots 10923 - 16383
  6. Adding replica 127.0.0.1:6390 to 127.0.0.1:6382
  7. Adding replica 127.0.0.1:6391 to 127.0.0.1:6380
  8. Adding replica 127.0.0.1:6392 to 127.0.0.1:6381
  9. >>> Trying to optimize slaves allocation for anti-affinity
  10. [WARNING] Some slaves are in the same host as their master
  11. M: 3e81415f445fcfb480732a1550abc482a830513c 127.0.0.1:6382
  12.    slots:[0-5460] (5461 slots) master
  13. M: c6724e82265a3277458ef7e21e9ef0aa0e0965a6 127.0.0.1:6380
  14.    slots:[5461-10922] (5462 slots) master
  15. M: e761f014598833ba20d6c0256dd520b9824cf082 127.0.0.1:6381
  16.    slots:[10923-16383] (5461 slots) master
  17. S: 0f240fe2623bedb042c74917f75f65b5b8b45bcc 127.0.0.1:6392
  18.    replicates 3e81415f445fcfb480732a1550abc482a830513c
  19. S: 7052c51e19ee25dfb568cb09cd463383083eb4ea 127.0.0.1:6390
  20.    replicates c6724e82265a3277458ef7e21e9ef0aa0e0965a6
  21. S: ce2aa0395048c81e9e47c7344cf7fb20f9d2fc8c 127.0.0.1:6391
  22.    replicates e761f014598833ba20d6c0256dd520b9824cf082
  23. Can I set the above configuration? (type 'yes' to accept): yes
  24. >>> Nodes configuration updated
  25. >>> Assign a different config epoch to each node
  26. >>> Sending CLUSTER MEET messages to join the cluster
  27. Waiting for the cluster to join
  29. >>> Performing Cluster Check (using node 127.0.0.1:6382)
  30. M: 3e81415f445fcfb480732a1550abc482a830513c 127.0.0.1:6382
  31.    slots:[0-5460] (5461 slots) master
  32.    1 additional replica(s)
  33. M: c6724e82265a3277458ef7e21e9ef0aa0e0965a6 127.0.0.1:6380
  34.    slots:[5461-10922] (5462 slots) master
  35.    1 additional replica(s)
  36. S: 7052c51e19ee25dfb568cb09cd463383083eb4ea 127.0.0.1:6390
  37.    slots: (0 slots) slave
  38.    replicates c6724e82265a3277458ef7e21e9ef0aa0e0965a6
  39. M: e761f014598833ba20d6c0256dd520b9824cf082 127.0.0.1:6381
  40.    slots:[10923-16383] (5461 slots) master
  41.    1 additional replica(s)
  42. S: 0f240fe2623bedb042c74917f75f65b5b8b45bcc 127.0.0.1:6392
  43.    slots: (0 slots) slave
  44.    replicates 3e81415f445fcfb480732a1550abc482a830513c
  45. S: ce2aa0395048c81e9e47c7344cf7fb20f9d2fc8c 127.0.0.1:6391
  46.    slots: (0 slots) slave
  47.    replicates e761f014598833ba20d6c0256dd520b9824cf082
  48. [OK] All nodes agree about slots configuration.
  49. >>> Check for open slots...
  50. >>> Check slots coverage...
  51. [OK] All 16384 slots covered.
复制代码

  • 集群方式连接
  1. res-cli -c -p 6380
复制代码

  • 查看主从机情况，插槽范围
  1. cluster nodes
复制代码
  1. 127.0.0.1:6380> cluster nodes
  2. e761f014598833ba20d6c0256dd520b9824cf082 127.0.0.1:6381@16381 master - 0 1656134521873 3 connected 10923-16383
  3. ce2aa0395048c81e9e47c7344cf7fb20f9d2fc8c 127.0.0.1:6391@16391 slave e761f014598833ba20d6c0256dd520b9824cf082 0 1656134522877 3 connected
  4. 7052c51e19ee25dfb568cb09cd463383083eb4ea 127.0.0.1:6390@16390 slave c6724e82265a3277458ef7e21e9ef0aa0e0965a6 0 1656134521000 2 connected
  5. 0f240fe2623bedb042c74917f75f65b5b8b45bcc 127.0.0.1:6392@16392 slave 3e81415f445fcfb480732a1550abc482a830513c 0 1656134520000 1 connected
  6. c6724e82265a3277458ef7e21e9ef0aa0e0965a6 127.0.0.1:6380@16380 myself,master - 0 1656134518000 2 connected 5461-10922
  7. 3e81415f445fcfb480732a1550abc482a830513c 127.0.0.1:6382@16382 master - 0 1656134521000 1 connected 0-5460
复制代码

  • 实际使用过程中集群的要求

    • 一个集群至少要有三个主节点。
    • 选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
    • 分配原则尽量保证每个主数据库运行在不同的IP地址，每个从库和主库不在一个IP地址上。

  • 集群的数据储存原理

    • 一个 Redis 集群包含 16384 个插槽（hash slot）,数据库中的每个键都属于这 16384 个插槽的其中一个，每个主机拥有其中的一部分插槽。
    • 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

  1. 127.0.0.1:6380> set k1 v1
  2. -> Redirected to slot [12706] located at 127.0.0.1:6381
  3. OK
  4. 127.0.0.1:6381>
复制代码
根据输入的key计算插槽位置，选择存储位置并跳转到对应的服务器地址
  1. #多值插入，通过组的方式
  2. 127.0.0.1:6381> mset t1{cust} v1 t2{cust} v2 t3{cust} v3
  3. -> Redirected to slot [4847] located at 127.0.0.1:6382
  4. OK
  5. #键也将以组的形式存在
  6. 127.0.0.1:6382> keys *
  7. 1) "t2{cust}"
  8. 2) "k2"
  9. 3) "t3{cust}"
  10. 4) "t1{cust}"
  11. #查询键也将以组的形式
  12. 127.0.0.1:6382> get t2{cust}
  13. "v2"
复制代码
  1. #查询当前键值的插槽位置
  2. cluster keyslot <cust>
  3. #查询当前槽位有几个值，只能查询当前服务器的插槽
  4. cluster countkeysinslot  <slot>
  5. # 获取当前槽位count数量的值
  6. cluster getkeysinslot  <slot> <count>
复制代码

  • 故障恢复

    • 主机挂掉，挂掉的主机的从机会成为新的主机
    • 原来主机恢复后，会成为新主机的从机。
    • 如果一个主机以及下面的从机都挂掉，如果redis.conf文件中的cluster-require-full-coverage yes，则集群都挂掉；如果为no， 则仅挂掉部分的插槽不能使用

jedis配置集群
  1. public class JedisClusterTest {
  2.         public static void main(String[] args) { 
  3.                 Set<HostAndPort> set =new HashSet<HostAndPort>();
  4.                 //集群中任意一个主机ip都可以使用,会自动发现其他主机，也可以手动放入多个
  5.                 //需要保持后台redis运行
  6.                 set.add(new HostAndPort("127.0.0.1",6380));
  7.                 JedisCluster jedisCluster=new JedisCluster(set);
  8.                 jedisCluster.set("kk1", "vv1");
  9.                 System.out.println(jedisCluster.get("kk1"));
  10.                 //节点数
  11.                 Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();
  12.                 clusterNodes.forEach((s, jedisPool) -> System.out.println(s+jedisPool.toString()));
  13.         }
  14. }
复制代码
jedis的操作参考学习笔记六
  1. vv1
  2. 127.0.0.1:6382redis.clients.jedis.JedisPool@7f690630
  3. 127.0.0.1:6390redis.clients.jedis.JedisPool@edf4efb
  4. 127.0.0.1:6392redis.clients.jedis.JedisPool@2f7a2457
  5. 127.0.0.1:6381redis.clients.jedis.JedisPool@566776ad
  6. 127.0.0.1:6380redis.clients.jedis.JedisPool@6108b2d7
  7. 127.0.0.1:6391redis.clients.jedis.JedisPool@1554909b
复制代码
集群的优劣


  • 优势：

    • 实现扩容
    • 分摊压力
    • 无中心配置相对简单

  • 不足

    • 多键操作是不被支持的
    • 多键的Redis事务是不被支持的。lua脚本不被支持
    • 由于集群方案出现较晚，很多公司已经采用了其他的集群方案，而代理或者客户端分片的方案想要迁移至redis cluster，需要整体迁移而不是逐步过渡，复杂度较大。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

河曲智叟

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表