【Redis】BigKey问题

面试题

海量数据里查询某一固定前缀的key
生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用？
MEMORY USAGE 命令用过吗？
BigKey问题，多大算big？如何发现？如何删除？如何处理？
BigKey你做过调优吗？惰性释放lazyfree了解过吗？
MoreKey问题，生产上Redis数据库有1000万条记录，如何遍历？
MoreKey案例

大批量往Redis中插入100万条测试数据

1. # 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中<br>for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done;

复制代码

试试keys * 遍历查询花费多少秒？试试就逝世，足足花费了二十几秒！
生产上如何限制 keys * / flushdb / flushall 等危险命令以防止误删误用？
通过redis.conf配置文件设置禁用

不用keys * 应该用什么？SCAN
详情见官方文档：Redis SCAN 命令 递增地遍历key空间

1. SCAN cursor [MATCH pattern] [COUNT count]

复制代码

• cursor - 游标。
  
• pattern - 匹配的模式。
  
• count - 指定从数据集里返回多少元素，默认值为 10 。
  

什么是 Redis 增量遍历？SCAN 命令是一个基于游标的遍历器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次遍历时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的遍历过程。
SCAN 返回一个包含两个元素的数组， 第一个元素是用于进行下一次遍历的新游标， 而第二个元素则是一个数组， 这个数组中包含了所有被遍历的元素。当 SCAN 命令的游标参数被设置为 0 时， 服务器将开始一次新的遍历，而当服务器向用户返回值为 0 的游标时， 表示遍历已结束。
SCAN 命令是一个基于游标的迭代器，每次被调用之后， 都会向用户返回一个新的游标， 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数， 以此来延续之前的迭代过程。
非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
虽然 SCAN 命令不保证每次遍历所返回的元素数量， 但我们可以使用 COUNT 选项， 对命令的行为进行一定程度上的调整。 COUNT 选项的作用就是让用户告知遍历命令， 在每次遍历中应该从数据集里返回多少元素。虽然这个选项只是对增量式遍历命令的一种提示， 但是在大多数情况下， 这种提示都是有效的。
SCAN 返回一个包含两个元素的数组：
第一个元素是用于进行下一次迭代的新游标， 第二个元素则是一个数组， 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。
SCAN的遍历顺序
 

BigKey案例

多大算big

参考《阿里云Redisson开发规范》

string和二级结构
string是value，最大512MB，但是 ≥ 10KB 就是BigKey
list、hash、set、zset，个数超过5000就是BigKey（by the way，它们都可以存储超过40亿个元素）
危害

• 内存不均，集群迁移困难
  
• 大key导致超时删除
  
• 网络流量阻塞
  

如何产生

社交类：王心凌粉丝列表，典型案例粉丝逐步递增
汇总统计：某个报表，年月日经年累月的积累
如何发现

redis-cli --bigkeys
优点：给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小
不足：想查询大于10kb的所有key，--bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

1. redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys<br>​<br># 每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长<br>​<br>redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

复制代码

MEMORY USAGE key MEMORY USAGE key [SAMPLES count]
详情见官网：Redis MEMORY USAGE 命令 估计key的内存使用情况
MEMORY USAGE 命令给出一个 key 和它的值在 RAM 中所占用的字节数。
返回的结果是 key 的值以及为管理该 key 分配的内存总字节数。
对于嵌套数据类型，可以使用选项 SAMPLES，其中 count 表示抽样的元素个数，默认值为 5 。当需要抽样所有元素时，使用 SAMPLES 0 。

如何删除

参考《阿里云Redisson开发规范》

String
一般用del，过于庞大用unlink；
 
hash
使用hscan每次获取少量field-value，再使用hdel删除每个field。
命令：

阿里手册：

 
list
命令


阿里手册：

 
set
使用sscan每次获取部分元素，再使用srem命令删除每个元素
命令

阿里手册

 
zset
使用zscan每次获取部分元素，再使用 ZREMRANGEBYRANK 命令删除每个元素
命令


阿里手册

 
BigKey生产调优

redis.conf 配置文件 LAZY FREEING 相关说明
阻塞和非阻塞删除命令

优化配置

 
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！