Redis持久化

原创 已于 2024-08-21 22:15:46 修改 · 1.2k 阅读 · 18 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
收录于
Redis

当前文章被收录于：

Redis
24 篇文章 0 人学习
订阅专栏 查看详情
于 2024-08-21 22:13:13 首次发布

目录

在这里插入图片描述

1.1 RDB(Redis DataBase)

RDB（Redis 数据库）：RDB 持久性以指定的时间间隔执行数据集的时间点快照。

  • 在指定的时间间隔，执行数据集的时间点快照
  • 实现类似照片记录效果的方式，就是把某一时刻的数据和状态以文件的形式写到磁盘上，也就是快照。这样一来即使故障宕机，快照文件也不会丢失，数据的可靠性也就得到了保证。
  • 这个快照文件就称为RDB文件(dump.rdb)，其中，RDB就是Redis DataBase的缩写。
  • 将内存数据全部保存到磁盘dump.rdb文加中

在这里插入图片描述

Redis6的时候

在这里插入图片描述

Redis7之后的变化频率

在这里插入图片描述

save 3600 1 300 100 60 100  // 3600秒 修改一次  100秒 修改60次  60秒 修改10000次 触发保存

修改配置

修改dump文件保存地址，默认在配置文件

在这里插入图片描述

在这里插入图片描述

修改dump文件名称

在这里插入图片描述

自动触发

第一种情况

修改达到次数 自动生成

在这里插入图片描述

第二种情况

修改一次后，超过时间，在修改

在这里插入图片描述

恢复备份自动操作

执行flushall/flushdb/shutdown命令也会产生dump.rdb文件，但里面是空的，无意义

在这里插入图片描述

物理恢复，一定服务和备份分机隔离，各自存储

在这里插入图片描述

手动触发

Save

  • 在主线程中执行会阻塞redis服务器，直到持久化工作完成才能处理其他命令， 线上禁止使用

BGSAVE（默认）

  • Redis 会在后台异步进行快照操作，不阻塞快照同时还可以响应客户端请求，该触发过程会 fork 一个子进程由子进程复制持久化过程

  • lastsave 命令可以获取最后一次成功执行快照的时间

    使用date -d @+用lastsave得到的时间戳 转换成当前时间

  • Redis会使用bgsave对当前内存中所有数据做快照，这个操作是子进程在后台完成的，这就允许主进程同时可以修改

fork是什么

克隆 不影响当前主进程

在这里插入图片描述

在Linux程序中，fork ()会产生一个和父进程完全相同的子进程，但子进程后多会exec系统调用，出于效率考虑，尽量避免膨胀。

save

在这里插入图片描述

bgsave

在这里插入图片描述

RDB的优缺点

优点：

  • 适合大规模的数据恢复
  • 按照业务定时备份
  • 对数据完整性和一致性要求不高
  • RDB 文件在内存中的加载速度比AOF快得多

缺点：

  • 在一定间隔时间做一次备份，如果redis意外down机，就会丢掉最近一次快照到down机时的数据
  • 内存数量的全量同步，如果数据量过大会导致IO严重影响服务器性能
  • RDB依赖于主进程的 fork ，在更大的数据集中，这可能会导致服务器请求的瞬间延迟
    • fork 的时候内存中的数据被克隆了一份，大致2倍的膨胀性，需要考虑
如何检查修复dump.rdp文件

修复: redis-check-rdb 文件名

在这里插入图片描述

哪些情况会触发RDB快照

  • 配置文件中默认的快照配置
  • 手动 save/bgsave 命令
  • 执行flush / flushdb 命令也会产生 dump.rdb 文件，但里面是空的，无意义
  • 执行 shutdown 且没有设置开启 AOF 持久化
  • 主从复制时，主节点自动触发

如何禁用RDB快照

1.动态所有停止 RDB 保存规则的方法: redis -cli config set save “”

2.配置文件

在这里插入图片描述

RDB其余配置优化

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

总结

在这里插入图片描述

1.2 AOF

  • 以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
  • 默认情况下，redis是没有开启AOF的
    • 开启AOF 功能需要设置配置 ： appendonly yes
    • AOF保存的是appendonly.aof文件

AOF持久化工作流程

在这里插入图片描述

在这里插入图片描述

AOF缓冲区的三种写回策略

在这里插入图片描述

  • always 同步写回，每个写命令执行完立刻同步地将日志写回磁盘，会造成大量的IO
  • everysec 每秒写回，每个写命令执行完，只是先把日志写到AOF缓冲区，每隔1s把缓存区地数据写入磁盘
  • no，操作系统控制协会，只是将日志先写到AOF文件的内存缓冲区，由操作系统决定何时将缓冲区内容写回磁盘，会丢命令

三种策略的小总结

在这里插入图片描述

AOF 相对于Redis6 Redis7有何变化

在这里插入图片描述

底层的变了

AOF配置、启动、修复、恢复

AOF的配置

开启AOF

在这里插入图片描述

AOF-- 保存路径

在这里插入图片描述

在这里插入图片描述

AOF文件 --保存名称

redis6只有一个文件

在这里插入图片描述

Redis7之后有三个文件

在这里插入图片描述

在这里插入图片描述

Redis7 config对应的配置项

在这里插入图片描述

AOF的正常恢复

在这里插入图片描述

在这里插入图片描述

AOF的异常恢复

在这里插入图片描述

错误的AOF文件，会导致redis启动不了

在这里插入图片描述

在网络闪断时，aof文件写了错误的指令，使用

异常修复命令 ： redis-check-aof --fix 进行修复

在这里插入图片描述

AOF的优缺点

优点：

  • 更好的保护数据不丢失、性能高、可做紧急恢复

缺点：

  • 相同数据集的数据而言aof文件要远大于rdb文件，恢复速度慢于rdb
  • aof运行效率要慢于rdb，每秒同步策略效率较好，不同步效率和rdb相同

AOF的重写机制

1.什么是AOF的重写机制

一句话总结：启动AOF文件的内容压缩，只保留可以恢复数据的最小指令集

由于AOF持久化是Redis不断将写命令记录到AOF文件中，随着Redis不断的进行，AOF的文件会越来越大，文件越大，占用服务器内存越大以及AOF恢复要求时间越长。

为了解决这个问题，Redis新增了重写机制，当AOF文件的大小超过所设定的峰值时，Redis就会自动启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集

或者

可以手动使用命令bgrewriteaof来重新。

2.触发机制

开启重写
在这里插入图片描述

自动触发

  • 满足配置文件中的选项后，Redis会记录上次重写时地AOF大小
  • 默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时

手动触发

  • 客户端向服务器发送 bgrewriteaof 命令

也就是一旦重写就会生成新的base、incr文件，去替换之前的

3.结论

也就是说AOF文件重写并不是对原文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令，生成一个新的文件后去替换原来的AOF 文件。

AOF文件重写触发机制: 通过redis.conf 配置文件中的auto-aof-rewrite-percentage:默认值为100，以及auto-aof-rewrite-min-size: 64mb配置，也就是说默认Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。

4.重写原理

  1. 在重写开始前，redis会创建一个“重写子进程”，这个子进程会读取现有的AOF文件，并将其包含的指令进行分析压缩并写入到一个临时文件中。
  2. 与此同时，主进程会将新接收到的写指令一边累积到内存缓冲区中，一边继续写入到原有的AOF文件中，这样做是保证原有的AOF文件的可用性，避免在重写过程中出现意外。
  3. 当“重写子进程”完成重写工作后，它会给父进程发一个信号，父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
  4. 当追加结束后，redis就会用新AOF文件来代替旧AOF文件，之后再有新的写指令，就都会追加到新的AOF文件中
  5. 重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件，这点和快照有点类似

AOF优化配置项

在这里插入图片描述

总结

在这里插入图片描述

1.3 RDB+AOF混合持久化

共存听AOF的

数据恢复顺序和加载流程

在这里插入图片描述

RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储

AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾.

同时开启两种持久化方式
  • 当redis 重启时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
  • RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件
    • 那要不要只使用AOF呢
      • 安特雷兹建议不要
      • 因为RDB更适合用于备份数据库（AOF不断变化不好备份），留着AOF作为一个万一的手段

在这里插入图片描述

1.4 纯缓存模式

同时关闭RDB + AOF

  • save “”
    • 禁用rdb
    • 禁用db持久化模式下，我们仍然可以使用命令save、bgsave生成rdb文件
  • appendonly no
    • 禁用aof
    • 禁用aof持久化模式下，我们仍然可以使用命令 bgrewriteaof生成aof文件
标签
#redis #数据库 #缓存
Redis两种持久化方式
水w的博客
10-13 1945
Redis两种持久化方式
Redis 的学习笔记 16 原理剖析
promiseful的博客
09-13 256
1. Redis 为啥需要持久化 1）Redis是内存数据库，宕机后数据会消失。 2）Redis重启后快速恢复数据，要提供持久化机制 Redis持久化是为了快速的恢复数据而不是为了存储数据 。 3）Redis有两种持久化方式:RDB和AOF 注意:Redis持久化不保证数据的完整性。 当Redis用作DB时，DB数据要完整，所以一定要有一个完整的数据源(文件、mysql) 在系统启动时，从这个完整的数据源中将数据load到Redis中 数据量较小，不易改变，比如:字典库(xml、Table)
对Redis的持久化方式的笔记
qq_50930205的博客
10-25 944
redis持久化的方式有两种。一种是RDB数据快照的方式，一种是AOF增量日志的方式进行持久化。
Redis的持久化----RDB快照模式
Apple_Andy的博客
09-29 425
一.概念 redis持久化,就是将内存中的数据,永久的保存在磁盘上 redis持久化有两种方式:RDB(Redis DB) ,AOF(AppendOnlyFile) 二.RDB(快照模式) 1.概述 在默认情况下，Redis 将数据库快照保存在名字为dump.rdb的二进制文件中，可以在redis.conf配置文件中修改持久化信息。 save 900 1 表示在900秒内，至少更新了1条数据。Redis就将数据持久化到硬盘 save 300 10 表示在300内，至少更新了10条数据，Redis就会触发将
【redis 四】一文搞懂redis持久化之RDB
李光 未来科技
06-10 2707
前言： redis持久化分为RDB和AOF，此篇博文着重讲解RDB方式的持久化。演示系统 centos7。 1、官网说明 地址：https://redis.io/topics/persistence 以下内容为有道词典翻译 Redis持久性 RDB持久性按指定的时间间隔执行数据集的时间点快照。 RDB的优势 RDB是Redis数据的非常紧凑的单文件时间点表示。RDB文件非常适合备份。例如，您可能希望在最近的24小时内每小时存档一次RDB文件，并在30天之内每天保存一次RDB快照。这使您可以在灾难情况下轻松还
Redis持久化之RDB内存快照
搞数学的架构师的博客
12-09 841
Redis中持久化方法：内存快照，所谓内存快照是指，内存中的数据，在某一时刻被系统做个记录，类似于拍照。 Redis就是把某一时刻的状态以文件的形式记录到磁盘，也就是快照，这样一来就可以不丢失数据，也就是RDB（Redis Data Base）的缩写。 RDB和AOF的区别 AOF是记录的每一次操作的命令，而RDB则是记录某一时刻的数据。所以再做数据恢复时，把文件读入内存，很快就会完成恢复。 RBD给哪些数据做快照呢？ Redis的数据都是再内存中的，为了提供数据的可靠性，RDB执行的是全量快照，也就是把内
详解Redis之持久化
.
09-29 9292
详解Redis持久化之RDB持久化和AOF持久化。
[Redis] Redis数据持久化
无需多言
10-26 2616
我们之前在学习MySQL数据库的时候,我们学习过MySQL事务的四个比较核心的特性:分别是原子性(把对多个表的操作打包为一个操作),一致性(事务前后的数据都是合法数据,比如同一个操作中同时减少和增加一个值,要不同时成功,要不同时失败,不能出现中间状态),持久性(把数据存储在硬盘上),隔离性(脏读,不可重复读,幻读,串行化).
【Redis】持久化机制
chaodddddd的博客
01-23 2550
Redis持久化
Redis的持久化
tazj666的博客
12-27 985
1.MySQL可以保证事务中的持久性，即只要事务提交，之后无论MySQL挂了还是服务器宕机，数据都不会丢失。 2.而Redis虽然也有持久化策略，但是它缺无法保证持久性，当Redis挂了，往往都会丢失一定的数据。 造成这两种的区别就是它们的持久化策略不同
redis的持久化
2301_76723322的博客
11-03 1518
Redis 的持久化机制主要是通过内部的方式来实现的，而不是直接将数据写入到外部数据库（如 MySQL）。下面将详细介绍 Redis 的默认持久化机制，以及如何通过编程的方式将 Redis 数据手动同步到 MySQL。
【redis】redis持久化
rita_0567的博客
03-02 1593
两种持久化方式（1）RDB（Redis DataBase）：内存中数据直接写入文件中（2）AOF（Append Of File）：以追加的行为把内容写入文件中。
Redis 之持久化
gorgor在码农
12-03 1356
Redis提供了两个持久化数据的能力，RDB Snapshot 和 AOF（Append Only FIle）日志，RDB快照能够在指定的时间间隔内生成数据快照，而AOF日志则记录了所有的写操作命令。RDB做镜像全量持久化，AOF做增量持久化。 RDB全称Redis Database Backup file (Redis数据备份⽂件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。 当Redis实例故障重启后，从磁盘读取快照⽂件，恢复数据。这样一来即使
Redis 持久化
最新发布
2302_80192828的博客
01-07 1473
Redis持久化机制对比：RDB与AOF Redis提供两种持久化方式：RDB（快照）和AOF（日志）。RDB通过定期生成二进制快照文件实现备份，具有文件小、恢复快的特点，但可能丢失两次备份间的数据。AOF记录每个写操作，数据安全性更高，但文件体积较大。两者主要区别在于：RDB只保存fork时的内存状态，而AOF会额外缓存后续修改。实际应用中，Redis4.0引入混合持久化，结合两者优势，在AOF重写时先用RDB格式保存当前状态，再追加后续AOF日志。当两种文件同时存在时，Redis优先使用数据更完整的AO
Redis持久化的方式
sjhhshsh的博客
09-29 1926
本文主要讲述了redis的rdb，aof持久化的原理流程和配置使用
Redis --- Redis如何做持久化
热门推荐
xinbumi的博客
05-02 2万+
Redis如何做持久化 一共三种 一、RDB（快照）持久化：保存某个时间点的全量数据快照 redis.conf save 60 1 代表Redis在60秒内写入一条数据那么进行快照 stop-writes-on-basave-error yes 代表当备份进程出错的时候，主进程就停止写入新的操作了。这样是为了保护持久化数据一致性的问题。 rdbcompression yes 表示...
Redis：持久化
博客网站 https://async-area.com
10-07 1864
讲解Redis的持久化，包括AOF，RDB，混合持久化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值