Redis持久化-RDB

1.官方资料

在线文档 : https://redis.io/topics/persistence

2.Redis持久化方案

1.RDB（Redis DataBase）

2.AOF（Append Of File）

3.RDB是什么

在指定的时间间隔内将内存中的数据集快照写入磁盘， 也就 Snapshot 快照，恢复时 将快照文件读到内存

4.RDB持久化流程

• 流程图

• 上图说明

具体流程如下：

1. redis 客户端执行 bgsave 命令或者自动触发 bgsave 命令；
2. 主进程判断当前是否已经存在正在执行的子进程，如果存在，那么主进程直接返回；
3. 如果不存在正在执行的子进程，那么就 fork 一个新的子进程进行持久化数据，fork 过程 是阻塞的，fork 操作完成后主进程即可执行其他操作；
4. 子进程先将数据写入到临时的 rdb 文件中，待快照数据写入完成后再原子替换旧的 rdb文件；
5. 同时发送信号给主进程，通知主进程 rdb 持久化完成，主进程更新相关的统计信息

• 小结

1. 整个过程中，主进程是不进行任何 IO 操作的，这就确保了极高的性能
2. 如果需要进行大规模数据的恢复, 且对于数据恢复的完整性不是非常敏感，那 RDB 方式 要比 AOF 方式更加的高效
3. RDB 的缺点是最后一次持久化后的数据可能丢失 -如果你是正常关闭 Redis , 仍然会进行持久化, 不会造成数据丢失 -如果是 Redis 异常终止/宕机, 就可能造成数据丢失 -后面在讲解快照配置 , 还会举例说明

• Fork&Copy-On-Write（写时复制技术）

1、Fork 的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、 程序计数器等) 数值都和原进程一致，但是是一个全新的进程，并作为原进程的子进程 2、在 Linux 程序中，fork()会产生一个和父进程完全相同的子进程，但子进程在此后多会 exec 系统调用，出于效率考虑，Linux 中引入了"写时复制技术 即: copy-on-write" ,

参考: https://blog.csdn.net/Code_beeps/article/details/92838520

3、一般情况父进程和子进程会共用同一段物理内存，只有进程空间的各段的内容要发生 变化时，才会将父进程的内容复制一份给子进程。

5.RDB 配置

5.1dump.rdb 文件

1.dump.rdb 文件介绍

在 redis.conf 中配置文件名称, 默认为 dump.rdb

2.dump.rdb 文件指定保存目录配置

1、默认为 Redis 启动时命令行所在的目录下

ps:进入到/usr/local/bin 目录下, 启动 Redis, 这个 ./ 就是 /usr/local/bin , 如果你在 /root/ 目录下启动 Redis , 那么 ./ 就是 /root/ 下了

# 这里我们先在root目录对redis进行启动，可以看到我之前操作的数据
[root@localhost ~]# pwd
/root
[root@localhost ~]# redis-server /etc/redis.conf 
[root@localhost ~]# ll
-rw-r--r--. 1 root root 123 1月  22 09:38 dump.rdb
-rw-r--r--. 1 root root  18 3月  26 2018 go
[root@localhost ~]# redis-server /etc/redis.conf 
[root@localhost ~]# redis-cli 
127.0.0.1:6379> keys *
1) "k6"
2) "k8"
3) "k5"

#首先需要关闭redis，新建一个llp目录，在该目录下执行启动，再次查看数据，可以看到数据时空的，
#并在该目录下重新生成了一个新的dump.rdb文件，此时该文件中是没有数据的
#当然如果我们在里面进行数据存储下次在这个目录下启动还是可以看到数据的
[root@localhost ~] mkdir llp
[root@localhost llp]# redis-server /etc/redis.conf 
[root@localhost llp]# redis-cli 
127.0.0.1:6379> keys *
(empty array)
#shutdown nosave 关闭redis不保存， shutdown save变比并保存，默认是save的
127.0.0.1:6379> shutdown 
not connected> 
[root@localhost llp]# ll
总用量 4
-rw-r--r--. 1 root root 92 1月  24 09:43 dump.rdb

2、rdb 文件的保存路径, 也可以修改, 比如: dir "/root/"

redis默认生成dump.rdb的目录，dir ./是相对路径，如果在不同的目录启动会生成不同的dump.rdb

那么如何解决这个问题呢？

# The working directory.
#
# The DB will be written inside this directory, with the filename specified
# above using the 'dbfilename' configuration directive.
#
# The Append Only File will also be created inside this directory.
#
# Note that you must specify a directory here, not a file name.
#默认
#dir ./     
#不论在那个目录启动redis,dump.rdb文件都在在root目录下生成
dir /root/

5.2相关配置&参数&操作

5.2.1 redis默认快照配置

1、配置图

redis默认持久化机制：正常关闭redis（shutdown） 就会对数据进行持久化到dump.rbd文件

2、注意理解这个时间段的概念.

#在20秒内，有3个key变化，就进行RDB备份
save 20 3

3、如果我们没有开启 save 的注释, 那么在退出 Redis 时, 也会进行备份, 更新 dump.db

5.2.2 save VS bsave

1、save ：save 时只管保存，其它不管，全部阻塞。手动保存, 不建议。 2、bgsave：Redis 会在后台异步进行快照操作， 快照同时还可以响应客户端请求。 3、可以通过 lastsave 命令获取最后一次成功执行快照的时间(unix 时间戳) , 可以使用工 具转换https://tool.lu/timestamp/

127.0.0.1:6379> lastsave
(integer) 1674529866

5.2.3 flushall

1、执行 flushall 命令，也会产生 dump.rdb 文件, 数据为空.

2、Redis Flushall 命令用于清空整个 Redis 服务器的数据(删除所有数据库的所有 key)

127.0.0.1:6379> flushall
OK

[root@localhost ~]# ll
总用量 8
#flushall清空数据，也会对dump.rdb进行清理,使用时需要慎重一点
#dump.rdb 初始大小 92
-rw-r--r--. 1 root root 92 1月  24 11:12 dump.rdb

5.2.4 save

1、格式：save 秒钟 写操作次数

save <seconds> <changes>

2、RDB 是整个内存的压缩过的 Snapshot，RDB 的数据结构，可以配置复合的快照触发条 件，

3、禁用: 给 save 传入空字符串, 可以看文档

# Snapshotting can be completely disabled with a single empty string argument
# as in following example:
#
# save ""

5.2.5 stop-writes-on-bgsave-error

当Redis无法写入磁盘(比如：磁盘被占满)的话，直接关掉Redis的写操作。推荐yes.

# However if you have setup your proper monitoring of the Redis server
# and persistence, you may want to disable this feature so that Redis will
# continue to work as usual even if there are problems with disk,
# permissions, and so forth.
stop-writes-on-bgsave-error yes

5.2.6 rdbcompression

# Compress string objects using LZF when dump .rdb databases?
# By default compression is enabled as it's almost always a win.
# If you want to save some CPU in the saving child set it to 'no' but
# the dataset will likely be bigger if you have compressible values or keys.
rdbcompression yes

1、对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis 会采用 LZF 算法进行压缩。 2、如果你不想消耗 CPU 来进行压缩的话，可以设置为关闭此功能, 默认 yes

5.2.7 rdbchecksum

# RDB files created with checksum disabled have a checksum of zero that will
# tell the loading code to skip the check.
#开启快照完整性检查
rdbchecksum yes

1、在存储快照后, 还可以让 redis 使用 CRC64 算法来进行数据校验，保证文件是完整的 2、但是这样做会增加大约 10%的性能消耗，如果希望获取到最大的性能提升，可以关闭 此功能, 推荐 yes

5.2.8 动态停止 RDB

1、动态停止 RDB：redis-cli config set save ""，这种方式是临时生效，redis重启之后会更具配置文件的配置来

[root@localhost ~]# redis-cli 
127.0.0.1:6379> config get dir
1) "dir"

2、说明: save 后给空值，表示禁用保存策略

5.3实例演示

1、需求: 如果 Redis 的 key 在 30 秒内, 有 5 个 key 变化, 就自动进行 RDB 备份.

编辑redis.config配置文件

save 30 5

6.RDB 备份&恢复

• 关于 RDB 备份&恢复

1. 说明：Redis 可以充当缓存, 对项目进行优化, 因此重要/敏感的数据建议在 Mysql 要保存一份
2. 从设计层面来说, Redis 的内存数据, 都是可以重新获取的(可能来自程序, 也可能来自 Mysql)
3. Redis 启动时, 初始化数据是从dump.rdb 来的, 这个机制.

• 操作演示

1. config get dir 查询 rdb 文件的目录

127.0.0.1:6379> config get dir
1) "dir"
2) "/root"

2. 将 dump.rdb 进行备份, 如果有必要可以写 shell 脚本来定时备份，并将备份文件推送至其他服务器，这样的话会更安全一些。

[root@localhost ~]# cp dump.rdb dump.rdb.bak
[root@localhost ~]# ll
总用量 12
-rw-r--r--. 1 root root 122 1月  24 11:23 dump.rdb
-rw-r--r--. 1 root root 122 1月  24 11:30 dump.rdb.bak
-rw-r--r--. 1 root root  18 3月  26 2018 go
drwxr-xr-x. 2 root root  22 1月  24 09:43 llp

3. 执行删库操作，或者删除备份文件

127.0.0.1:6379> flushall
OK
127.0.0.1:6379> keys *
(empty array)

4. 恢复备份文件

[root@localhost ~]# mv dump.rdb.bak dump.rdb
mv：是否覆盖"dump.rdb"？ y

5. 重启redis，再次查看数据，可以看到数据又回来了

[root@localhost ~]# redis-server /etc/redis.conf 
[root@localhost ~]# redis-cli 
127.0.0.1:6379> keys *
1) "k2"
2) "k1"

7.RDB 持久化小结

1.优势

1、适合大规模的数据恢复 2、对数据完整性和一致性要求不高更适合使用 3、节省磁盘空间 4、恢复速度快

2.劣势

1、虽然 Redis 在 fork 时使用了写时拷贝技术(Copy-On-Write), 但是如果数据庞大时还是比 较消耗性能。 2、在备份周期在一定间隔时间做一次备份，所以如果 Redis 意外 down 掉的话(如果正常 关闭 Redis, 仍然会进行 RDB 备份, 不会丢失数据), 就会丢失最后一次快照后的所有修改