十二. Redis 集群操作配置(超详细配图,配截图详细说明) ...

打印 上一主题 下一主题

主题 892|帖子 892|积分 2676

十二. Redis 集群操作配置(超详细配图,配截图详细说明)

@
目录

1. 为什么需要集群-高可用性

为什么需要集群-高可用性:

  • 生产环境的实际需求和问题:

    • 容量不够,redis 如何进行扩容。
    • 并发写操作,redis 如何分摊。
    • 主从模式,薪火相传模式,主机宕机,会导致 ip 地点发生变化,应用程序中配置需要修改对应的主机地点,端口等信息。

  • 传统解决方案 署理主机来解决

上图解图:

  • 客户端请求先到署理服务器
  • 由署理服务器进行请求转发到对应的业务处理惩罚器
  • 为了高可用,署理服务,A服务,B服务,C服务都需要搭建主从结构(至少是一主一从 如许就需求搭建至少 8 台服务器)。
  • 这种方案的缺点是:资本高,维护困难,假如是一主多从,资本就会更高。
redis3.0 提供解决方案 无中心化集群配置:


  • 各个 Redis 服务仍然接纳主从结构。
  • 各个 Redis 服务是连通的,任何一台服务器,都可以作为请求入口
  • 各个 Redis 服务器由于是连通的,可以进行请求转发
  • 这种方式,就无中心化 集群配置,可以看到,只需要 6 台服务器即可搞定。
  • 无中心化集群配置 ,还会根据 key 值,计算 slot ,把数据分散到不同的主机,从而缓解单个主机的存取压力
  • Redis 保举使用无中心化集群配置。
  • 在实际天生环境,各个 Redis 服务器,应当部署到不同的机器(防止机器宕机,主从复制失效)。
2. 集群概述(及其搭建)


  • Redis 集群实现了对 Redis 的水平扩容,即启动 N 个 Redis 节点,将整个数据库分布存储在这个  N 个节点中,每个节点存储总数居的 1 / N
  • Redis 集群通过分区(partition) 来提供一定水平的可用性(availability) ,即使集群中有一部门节点失效或者无法进行通讯,集群也可以继承处理惩罚下令请求。
Redis 集群搭建:实操演示:


  • redis.conf 配置修改
  1. cluster-enabled yes        打开集群模式
  2. cluster-config-file nodes-6379.conf    设定节点配置文件名
  3. cluster-node-timeout 15000      设定节点失联时间,超过该时间(毫秒),集群自动进行主 从切换
复制代码

  • vi /rainbowsea/redis6379.conf ,  删除不须要的内容   增长 cluster 配置,  文件最后内容,如图
  1. include /rainbowsea/redis.conf
  2. pidfile "/var/run/redis_6379.pid"
  3. port 6379
  4. dbfilename "dump6379.rdb"
  5. masterauth rainbowsea
  6. cluster-enabled yes
  7. cluster-config-file nodes-6379.conf
  8. cluster-node-timeout 15000
复制代码

  1. [root@localhost rainbowsea]# cp redis6379.conf redis6380.conf
  2. [root@localhost rainbowsea]# cp redis6379.conf redis6381.conf
  3. [root@localhost rainbowsea]# cp redis6379.conf redis6389.conf
  4. [root@localhost rainbowsea]# cp redis6379.conf redis6390.conf
  5. [root@localhost rainbowsea]# cp redis6379.conf redis6391.conf
  6. [root@localhost rainbowsea]#
复制代码



  • 使用查找替换修改另外 5 个文件

  1. 换指令    :%s/6379/6380
复制代码
别的几个文件以此操作即可, 操作的时候,一定要小心, 最后建议再检查一下





全部的都要加上这个 masterauth rainbowsea  加上 Redis 的密码,没有设置密码的则不用配置这个。
全部的都要加上这个 masterauth rainbowsea  加上 Redis 的密码,没有设置密码的则不用配置这个。
全部的都要加上这个 masterauth rainbowsea  加上 Redis 的密码,没有设置密码的则不用配置这个。
  1. include /rainbowsea/redis.conf
  2. pidfile "/var/run/redis_6379.pid"
  3. port 6379
  4. dbfilename "dump6379.rdb"
  5. masterauth rainbowsea
  6. cluster-enabled yes
  7. cluster-config-file nodes-6379.conf
  8. cluster-node-timeout 15000
复制代码

  • 启动 6 个 Redis 服务
  1. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6379.conf
  2. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6380.conf
  3. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6381.conf
  4. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6389.conf
  5. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6390.conf
  6. [root@localhost rainbowsea]# redis-server /rainbowsea/redis6391.conf
  7. [root@localhost rainbowsea]# ps -aux | grep redis
复制代码



  • 将六个节点合成一个集群


进入到该路径下后,将六个节点合成一个集群的指令:
如下这个是 Redis 没有配置密码的,指令
  1. redis-cli --cluster create --cluster-replicas 1 192.168.76.147:6379 192.168.76.147:6380 192.168.76.147:6381 192.168.76.147:6389 192.168.76.147:6390 192.168.76.147:6391
复制代码
如下这个是 Redis 配置了密码的,指令
  1. redis-cli --cluster create -a rainbowsea --cluster-replicas 1 192.168.76.147:6379 192.168.76.147:6380 192.168.76.147:6381 192.168.76.147:6389 192.168.76.147:6390 192.168.76.147:6391
复制代码
注意事项和细节:

  • 组合之前,确保全部(你要使用上的端口的) Redis服务器都是启动的,同时在 root 目录下(我这里是 root 配置的) nodes-xxxx.conf 文件都天生正常。
  • 此时不可以用 127.0.0.1 ,需要使用真实的 IP地点(就是你连接 Linux 的地点,Linux 当中使用ifconfig 指令查询到的地点),在真实生产环境 IP都是独立的。
  • replicas 1 接纳最简单的方式配置集群,一台主机,一台从机,正好三组。
  • 搭建加群假如没有成功,把 sentinel 进程关闭掉,再试一下。
  • 分许主从对应关系。



  • 分析主从对应关系:如下



  • 集群方式登录:
指令: redis-cli -c -p 6379
指令: cluster nodes 下令查看集群信息, 主从的对应关系, 主要看这里我标注的颜色
  1. [root@localhost src]# redis-cli -c -p 6379
  2. 127.0.0.1:6379> auth rainbowsea
  3. 127.0.0.1:6379> cluster nodes
复制代码


注意事项和细节:
  1. [root@localhost src]# redis-cli -c -p 6379
复制代码


  • 一个集群至少要有三个主节点。
  • 选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
  • 分配原则: 只管包管主服务器和从服务器各自运行在不同的 IP 地点(机器),防止机器故障导致主从机制失效,高可用性得不到保障。
3. Redis 集群的使用

什么是 slots:
Redis 集群启动后,  你会看到如下提示:



  • 一个 Redis 集群包含了 16384  个插槽(hash slot) ,编号从 0-16383 ,Redis 中的每个键都属于这 16384 个插槽的其中一个。注意:这里虽然只有 16384个插槽,但是并不是只能插入 16384个键,多个不同的键可以插入到同一个插槽的,并不是一个插槽一个键的
  • 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽,其中 CRC16(key) 语句用于计算键 key 的 CRC16的校验和


  • 集群中的每个节点负责处理惩罚一部门插槽。举个例子:假如一个集群可以有主节点,其中


  • 节点 A 负责处理惩罚 0号 ~ 5460号 插槽
  • 节点 B 负责处理惩罚 5461号 ~ 10922号 插槽
  • 节点 C 负责处理惩罚 10923号 ~ 16383号 插槽
在集群中录入值:

  • 在 Redis 每次录入,查询键值,redis 都会计算出该 key 应该送往的插槽,假如不是该客户端对应服务器的插槽,redis 会告知前去的 Redis 实例地点和端口。
  • Redis-cli 客户端提供了 -c 参数实现自动重定向。
  • 如 redis-cli -c -p 6379 登入后,再录入,查询键值对可以自动重定向





  • 不在一个 slot 下的键值,是不能使用 mget,mset 等多键操作
  1. 192.168.76.147:6381> mset k1 "v1" k2 "v2" k3 "v3"
复制代码



  • 可以通过{}来定义组的概念,从而使 key 中{}内雷同内容的键值对放到一个 slot 中去,就解决了上面 mget 分布到不同 slot 而导致失败的原因。
  1. 192.168.76.147:6381> mest k1{order} "v1" k2{order} "v2" k3{order} "v3"
复制代码

注意:你假如对键加上了{}组,那么你想要获取到该值的时候,也是要加上对应的{}组的,才能获取到的。



查询集群中的值:

  • 指令: CLUSTER KEYSLOT  返回  key 对应的 slot 值
  1. 192.168.76.147:6381> cluster keyslot k1
复制代码
  1. 192.168.76.147:6381> cluster keyslot k2{order}
复制代码

可以看到归属于{}同一组的,Redis都是分配到了同一个 slot 插槽数值当中。


  • 指令: CLUSTER COUNTKEYSINSLOT   返回  slot 有多少个 key
  1. 192.168.76.147:6381> cluster countkeysinslot 12706
  2. (integer) 1
  3. 192.168.76.147:6381> cluster countkeysinslot 16025
  4. (integer) 3
复制代码


  • 指令: CLUSTER GETKEYSINSLOT  返回 count 个 slot 槽中的键
  1. 192.168.76.147:6381> cluster getkeysinslot 16025 1
  2. 1) "k1{order}"
  3. 192.168.76.147:6381> cluster getkeysinslot 16025 2
  4. 1) "k1{order}"
  5. 2) "k2{order}"
  6. 192.168.76.147:6381> cluster getkeysinslot 16025 3
复制代码


4. Redis 集群故障恢复


  • 假如主节点下线,  从节点会自动升为主节点(注意 15 秒超时,  再观察比力准确)
  1. [root@localhost ~]# redis-cli -c -p 6380
复制代码



这里我们将 6380 主机关闭了。



  • 主节点恢复后,主节点回来变成从机


假如全部某一段插槽的主从节点都宕掉了 ,Redis 服务是否还能继承,要根据不同的配置而言。

  • 假如某一段插槽的主从 都宕机了,而在 redis.conf 配置文件当中 cluster-require-full-coverage 为 yes  ,那么,整个集群都会被宕掉,无法使用。
  • 假如某一段插槽的主从 都宕机了,而在 redis.conf 配置文件当中 cluster-require-full-coverage 为 no  ,那么,仅仅只是该段插槽的数据不能使用了,也无法存储了,其他插槽的数据还可以继承使用。
  • redis.conf 文件当中的参数 cluster-require-full-coverage

5. Redis 集群的 Jedis 开辟(使用Java程序连接 Redis 同时开启集群)


  • 即使连接的不是主机,集群会自动切换主机进行存储,主机写,从机读
  • 无中心化主从集群,无论从哪台主机写的数据,其他主机上都能读到数据。
  • 注意:需要将 Redis 相关的端口都打开   否则会报错
配置防火墙将全部相关 Redis 的端口都打开。
  1. [root@localhost src]# firewall-cmd --add-port=6379/tcp --permanent
  2. Warning: ALREADY_ENABLED: 6379:tcp
  3. success
  4. [root@localhost src]# firewall-cmd --add-port=6380/tcp --permanent
  5. success
  6. [root@localhost src]# firewall-cmd --add-port=6381/tcp --permanent
  7. success
  8. [root@localhost src]# firewall-cmd --add-port=6389/tcp --permanent
  9. success
  10. [root@localhost src]# firewall-cmd --add-port=6390/tcp --permanent
  11. success
  12. [root@localhost src]# firewall-cmd --add-port=6391/tcp --permanent
复制代码
  1. [root@localhost src]# firewall-cmd --reload
复制代码
  1. [root@localhost src]# firewall-cmd --list-all
复制代码

在 pom.xml  当中引入 redis.clients 依赖。如下:
  1.    
  2.         <dependency>
  3.             <groupId>redis.clients</groupId>
  4.             <artifactId>jedis</artifactId>
  5.             <version>3.2.0</version>
  6.         </dependency>
复制代码

首先测试,是否可以连接到 Redis 服务器。
  1. package com.rainbowsea.jedis;
  2. import org.junit.Test;
  3. import redis.clients.jedis.Jedis;
  4. public class JedisCluster_ {
  5.     @Test
  6.     public void con() {
  7.         // 使用 ip地址 + redis的端口的构造器方法
  8.         Jedis jedis = new Jedis("192.168.76.147", 6379);
  9.         // 如果Redis 配置了密码,则需要进行身份校验
  10.         jedis.auth("rainbowsea");
  11.         String ping = jedis.ping();
  12.         System.out.println("连接成功 ping 返回的结果 = " + ping);
  13.         jedis.close();  // 关闭当前连接,注意并没有关闭 Redis
  14.     }
  15. }
复制代码

  1. import org.junit.Test;
  2. import redis.clients.jedis.HostAndPort;
  3. import redis.clients.jedis.Jedis;
  4. import redis.clients.jedis.JedisCluster;
  5. import redis.clients.jedis.JedisPoolConfig;
  6. import java.util.HashSet;
  7. import java.util.Set;
  8. public class JedisCluster_ {
  9.     public static void main(String[] args) {
  10.         Set<HostAndPort> set = new HashSet<>();
  11.         set.add(new HostAndPort("192.168.76.147", 6379));
  12.         JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
  13.         // 对连接池进行配置
  14.         jedisPoolConfig.setMaxTotal(200);
  15.         jedisPoolConfig.setMaxIdle(32);
  16.         jedisPoolConfig.setMaxWaitMillis(60 * 1000); // 单位是毫秒
  17.         jedisPoolConfig.setBlockWhenExhausted(true);
  18.         jedisPoolConfig.setTestOnBorrow(true);
  19.         JedisCluster jedisCluster = new JedisCluster(set,5000,5000,5,"rainbowsea",jedisPoolConfig );
  20.         jedisCluster.set("address", "bj");
  21.         String address = jedisCluster.get("address");
  22.         System.out.println("address=>" + address);
  23.         jedisCluster.close();
  24.     }
  25. }
复制代码



6. Redis 集群的优缺点

优点:

  • 实现扩容。
  • 分摊压力。
  • 无中心配置相对简单。
缺点:

  • 多键操作是不被支持的。
  • 多键的 Redis 事务是不被支持的。 lua 脚本不被支持
  • 由于集群方案出现较晚,很多公司已经接纳了其他的集群方案,而别的方案想要迁移至 redis cluster ,需要整体迁移而不是徐徐过渡,复杂度较大。
7. 补充:

将 root 目录下的,rdb、aof 文件都删除掉
  1. [root@localhost ~]# rm -f dump*.rdb
复制代码




8. 最后:

“在这个最后的篇章中,我要表达我对每一位读者的感激之情。你们的关注和回复是我创作的动力源泉,我从你们身上吸取了无尽的灵感与勇气。我会将你们的鼓励留在心底,继承在其他的范畴奋斗。感谢你们,我们总会在某个时刻再次相遇。”


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

正序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

乌市泽哥

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表