前言
假如有人问你:"你会把 Redis 用在什么业务场景下?"
我想你大概率会说:"我会把它当作缓存利用,因为它把后端数据库中的数据存储在内存中,然后直接从内存中读取数据,响应速度会非常快。"
没错,这确实是 Redis 的一个普遍利用场景,但是,这里也有一个绝对不能忽略的问题:一旦服务器宕机,内存中的数据将全部丢失。
现在,Redis 的持久化主要有两大机制,即 AOF(Append Only File)日记和 RDB(Redis DataBase) 快照。
AOF
日记是如何实现的
说到日记,我们比较熟悉的是数据库的写前日记(Write Ahead Log, WAL),在实际写数据前,先把修改的数据记到日记文件中,以便故障时进行规复。不外,AOF 日记恰好相反,它是写后日记,"写后"的意思是 Redis 是先实行命令,把数据写入内存,然后才记录日记。
AOF 里记录的是 Redis 收到的每一条命令,这些命令是以文本形式保存的。
我们以 Redis 收到“set testkey testvalue”命令后记录的日记为例,看看 AOF 日记的内容。其中,“*3”体现当前命令有三个部分,每部分都是由“$+数字”开头,后面紧跟着详细的命令、键或值。这里,“数字”体现这部分中的命令、键或值一共有多少字节。例如,“$3 set”体现这部分有 3 个字节,也就是“set”命令。
写后日记的优势与风险
为了避免额外的检查开销,Redis 在向 AOF 里面记录日记的时候,并不会先去对这些命令进行语法检查。
假如先记日记再实行命令的话,日记中就有可能记录了错误的命令,Redis 在利用日记规复数据时,就可能会出错。而写后日记这种方式,就是先让系统实行命令,只有命令能实行成功,才会被记录到日记中,否则,系统就会直接向客户端报错。
所以,Redis 利用写后日记这一方式的一大好处是,可以避免出现记录错误命令的情况。
除此之外,写后日记一个好处:它是在命令实行后才记录日记,不会壅闭当前的写操纵。
AOF 也有两个潜在的风险:
- 风险一:假如刚实行完一个命令,还没有来得及记日记就宕机了,那么这个命令和相应的数据就有丢失的风险。
- 假如此时 Redis 是用作缓存,还可以从后端数据库重新读入数据进行规复。
- 假如 Redis 是直接用作数据库的话,此时,因为命令没有记入日记,所以就无法用日记进行规复了。
- 风险二:AOF 虽然避免了对当前命令的壅闭,但可能会给下一个操纵带来壅闭风险。
- AOF 日记也是在主线程中实行(写回策略为 always 时),假如在把日记文件写入磁盘时,磁盘写压力大,就会导致写盘很慢,进而导致后续的操纵也无法实行了。
这两个风险都是和 AOF 写回磁盘的机遇相关的。这也就意味着,假如我们能够控制一个写命令实行完后 AOF 日记写回磁盘的机遇,这两个风险就排除了。
日记的写回策略
AOF 机制一共有三种写回策略,也就是 AOF 设置项 appendfsync 的三个可选值。
- Always 同步写回:每个写命令实行完,立马同步地将日记写回磁盘;
- Everysec 每秒写回:每个写命令实行完,只是先把日记写到 AOF 文件的内存缓冲区,每隔一秒把缓冲区中的内容写入磁盘;
- No 操纵系统控制的写回:每个写命令实行完,只是先把日记写到 AOF 文件的内存缓冲区,由操纵系统决定何时将缓冲区内容写回磁盘。
针对避免主线程壅闭和淘汰数据丢失问题,这三种写回策略都无法做到两全其美。
我们就可以根据系统对高性能和高可靠性的要求,来选择利用哪种写回策略了。
- 想要得到高性能,就选择 No 策略;
- 想要得到高可靠性保证,就选择 Always 策略;
- 答应数据有一点丢失,又希望性能别受太大影响的话,那么就选择 Everysec 策略。
日记的重写
重写的作用
AOF 是以文件的形式在记录接收到的全部写命令。随着接收的写命令越来越多,AOF 文件会越来越大。这也就意味着,我们一定要小心 AOF 文件过大带来的性能问题,主要在于以下三个方面:
- 一是,文件系统自己对文件巨细有限制,无法保存过大的文件;
- 二是,假如文件太大,之后再往里面追加命令记录的话,服从也会变低;
- 三是,假如发生宕机,AOF 中记录的命令要一个个被重新实行,用于故障规复,假如日记文件太大,整个规复过程就会非常缓慢,这就会影响到 Redis 的正常利用。
AOF 重写机制就是在重写时,Redis 根据数据库的现状创建一个新的 AOF 文件,也就是说,读取数据库中的全部键值对,然后对每一个键值对用一条命令记录它的写入。重写机制具有“多变一”功能。所谓的“多变一”,也就是说,旧日记文件中的多条命令,在重写后的新日记中变成了一条命令。
重写的过程
AOF 日记由主线程写回不同,重写过程是由背景子进程 bgrewriteaof 来完成的,这也是为了避免壅闭主线程,导致数据库性能下降。
我把重写的过程总结为“一个拷贝,两处日记”。
“一个拷贝”就是指,每次实行重写时,主线程 fork 出背景的 bgrewriteaof 子进程。此时,fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程,这里面就包罗了数据库的最新数据。然后,bgrewriteaof 子进程就可以在不影响主线程的情况下,逐一把拷贝的数据写成操纵,记入重写日记。
第一处日记,指的是因为主线程未壅闭,仍然可以处理新来的操纵,Redis 会把这个操纵写到它的缓冲区。如许一来,即使宕机了,这个 AOF 日记的操纵仍然是齐全的,可以用于规复。
第二处日记,就是指新的 AOF 重写日记。这个操纵也会被写到重写日记的缓冲区。如许,重写日记也不会丢失最新的操纵。比及拷贝数据的全部操纵记录重写完成后,重写日记记录的这些最新操纵也会写入新的 AOF 文件,以保证数据库最新状态的记录。
此时,我们就可以用新的 AOF 文件替换旧文件了。
总结来说,每次 AOF 重写时,Redis 会先实行一个内存拷贝,用于重写;然后,利用两个日记保证在重写过程中,新写入的数据不会丢失。而且,因为 Redis 接纳子进程进行日记重写,所以,这个过程并不会壅闭主线程。
正因为记录的是操纵命令,而不是实际的数据,所以,用 AOF 方法进行故障规复的时候,需要逐一把操纵日记都实行一遍。假如操纵日记非常多,Redis 就会规复得很缓慢,影响到正常利用。这当然不是理想的效果。那么,还有没有既可以保证可靠性,还能在宕机时实现快速规复的其他方法呢?
RDB
对 Redis 来说,它实现类似照片记录效果的方式,把某一时候的状态以文件的形式写到磁盘上,也就是快照(RDB 文件)。如许一来,即使宕机,快照文件也不会丢失,数据的可靠性也就得到了保证。
和 AOF 相比,RDB 记录的是某一时候的数据,并不是操纵,所以,在做数据规复时,我们可以直接把 RDB 文件读入内存,很快地完成规复。
快照的原理
Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave。
- save:在主线程中实行,会导致壅闭;
- bgsave:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的壅闭,这也是 Redis RDB 文件生成的默认设置。
我们可以通过 bgsave 命令来实行全量快照,这既提供了数据的可靠性保证,也避免了对 Redis 的性能影响。
在实行快照的同时,Redis 就会借助操纵系统提供的写时复制技术(Copy-On-Write, COW),正常处理写操纵。bgsave 子进程是由主线程 fork 生成的,可以共享主线程的全部内存数据。bgsave 子进程运行后,开始读取主线程的内存数据,并把它们写入 RDB 文件。
假如主线程对这些数据也都是读操纵(例如图中的键值对 A),那么,主线程和 bgsave 子进程相互不影响。但是,假如主线程要修改一块数据(例如图中的键值对 C),那么,这块数据就会被复制一份,生成该数据的副本(键值对 C’)。然后,主线程在这个数据副本上进行修改。同时,bgsave 子进程可以继续把原来的数据(键值对 C)写入 RDB 文件。
如许既保证了快照的完整性,也答应主线程同时对数据进行修改,避免了对正常业务的影响。
混合 AOF/RDB
虽然 bgsave 实行时不壅闭主线程,但是,假如频繁地实行全量快照,也会带来两方面的开销。
一方面,频繁将全量数据写入磁盘,会给磁盘带来很大压力,多个快照竞争有限的磁盘带宽,前一个快照还没有做完,后一个又开始做了,轻易造成恶性循环(所以,在 Redis 中假如有一个 bgsave 在运行,就不会再启动第二个 bgsave 子进程)。
另一方面,bgsave 子进程需要通过 fork 操纵从主线程创建出来。虽然,子进程在创建后不会再壅闭主线程,但是,fork 这个创建过程自己会壅闭主线程,而且主线程的内存越大,壅闭时间越长。
Redis 4.0 中提出了一个混合利用 AOF 日记和内存快照的方法。简单来说,内存快照以一定的频率实行,在两次快照之间,利用 AOF 日记记录这期间的全部命令操纵。如许一来,快照不用很频繁地实行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日记也只用记录两次快照间的操纵,也就是说,不需要记录全部操纵了,因此,就不会出现文件过大的情况了,也可以避免重写开销。
总结
末了,关于 AOF 和 RDB 的选择问题,我想再给你提三点建议:
- 数据不能丢失时,内存快照和 AOF 的混合利用是一个很好的选择;
- 假如答应分钟级别的数据丢失,可以只利用 RDB;
- 假如只用 AOF,优先利用 everysec 的设置选项,因为它在可靠性和性能之间取了一个均衡。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |