Redis高级篇—分布式缓存

目录

Redis持久化

RDB持久化

AOF持久化

RDB与AOF对比

Redis主从

全量同步

增量同步 

Redis哨兵

RedisTemplate集成哨兵实现

Redis分片集群

散列插槽

集群伸缩

故障转移

自动故障转移

手动故障转移

RedisTemplate访问分片集群

Redis持久化

RDB持久化

        RDB全称Redis Database Backup file（Redis 数据备份文件），也被叫做Redis数据快照。简单来说就是把内存中的所有数据记录到磁盘中。当Redis实例故障重启后，会从磁盘读取快照文件，恢复数据。快照文件称为RDB文件，默认保存在当前运行目录中。

RDB持久化会在以下四种情况下执行：
1. 执行save命令

save命令会让主进程执行RDB，执行期间所有其他命令都会被阻塞，该命令通常在数据迁移时才会用到。

2. 执行bgsave命令

执行bgsave命令后，系统会开启独立进程完成RDB，主进程可以持续处理用户请求，不受其影响。

3. Redis停机时
Redis停机时会自动执行一次save命令，实现RDB持久化。

4. 触发RDB条件时
Redis内部存在触发RDB的机制，可以在redis.conf文件中设置，格式如下。

# 900秒内，如果至少有1个key被修改，则执行bgsave ， 如果是save "" 则表示禁用RDB
save 900 1  
save 300 10  
save 60 10000

RDB的其它配置也可以在redis.conf文件中进行设置。

# 是否压缩 ,建议不开启，压缩也会消耗cpu，磁盘的话不值钱
rdbcompression yes# RDB文件名称
dbfilename dump.rdb  # 文件保存的路径目录
dir ./

bgsave命令原理

        在Linux系统中，所有进程都无法直接操作物理内存，只能通过页表对物理内存进行操作。而bgsave执行时会fork主进程得到子进程，同时会将主进程的页表复制到子进程的页表中，因此子进程和主进程的页表是相同的，所以主进程和子进程从页表的映射层面实现了内存共享。
        于是子进程可以通过页表读取物理内存中的数据（读取的数据即主进程操作的数据），并将读取的数据存入磁盘中，替换旧的RDB文件。
        当主进程接收到请求，需要对数据进行写操作时，系统会对该数据进行拷贝，主进程可以对拷贝的数据副本进行读写操作，从而避免子进程在读数据时读到脏数据。在极端情况下，如果主进程对每个数据都进行写操作，那么每个数据都会被拷贝一次，内存将会翻倍，因此我们在开发时要给Redis预留足够的存储空间。

AOF持久化



RDB与AOF对比

Redis主从

全量同步

master如何判断slave是否是第一次进行同步数据?
这里会用到两个很重要的概念:
1.Replication ld：简称replid，是数据集的标记。若master与slave的replid一致，则说明主从属于同一数据集。每一个master都有唯一的replid，slave则会继承master节点的replid。
2.offset：偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时会记录当前同步的offset。如果slave的offset小于master的offset，则说明slave数据落后于master，需要进行更新。因此slave进行数据同步时，必须向master声明自己的replication id和offset，master才可以判断需要同步哪些数据给slave。 

简述全量同步的流程
1.slave节点请求增量同步
2.master节点判断slave节点的replid，发现不一致，拒绝增量同步
3.master将完整的内存数据生成RDB，发送RDB到slave
4.slave清空本地数据，加载master的RDB
5.master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave

增量同步 


简述全量同步和增量同步区别?
全量同步：master将完整的内存数据生成RDB，发送RDB到slave。后续命令则记录在repl baklog，逐个发送给slave。
增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave。

什么时候执行全量同步?
1. slave节点第一次连接master节点时；
2. slave节点断开时间太久，repl_baklog中的offset已经被覆盖时。

什么时候执行增量同步?
slave节点断开又恢复，并且在repl_baklog中能找到offset时。

Redis哨兵


选举新的master
一旦出现master故障，sentinel会选择一个salve作为新的master，选择依据如下。
1. 首先会判断slave节点与master节点断开时间长短，如果超过指定值(down-after-milliseconds*10)则会排除该slave节点
2. 然后判断slave节点的slave-priority值，越小优先级越高，如果是0则永不参与选举
3. 如果slave-prority一样，则判断slave节点的sffset值，越大说明数据越新，优先级越高
4.最后是判断slave节点的运行id大小，越小优先级越高。

Sentinel的三个作用是什么?
1. 监控
2. 自动故障恢复
3. 通知

Sentinel如何判断一个redis实例是否健康?
每隔1秒向master发送一次ping命令，如果超过一定时间没有响应则认为该master是主观下线，如果大多数sentinel都认为该master主观下线，则判定master客观下线。

故障恢复步骤有哪些?
1. 选定一个slave作为新的master，并令其执行slave of no one命令
2. 让其它所有节点都执行slave of 新master命令
3. 修改故障节点配置，添加slave of 新master命令

RedisTemplate集成哨兵实现

        在Sentinel集群监管下的Redis主从集群，其节点会因为自动故障转移而发生变化，Redis的客户端必须感知这种变化，及时更新连接信息。Spring的RedisTemplate底层利用lettuce实现了节点的感知和自动切换。以下是实现RedisTemplate集成哨兵机制的步骤。

1. 引入依赖

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2. 在配置文件application.yml中指定redis的sentinel相关信息

spring:redis:sentinel:master: mymasternodes:- 192.168.150.101:27001- 192.168.150.101:27002- 192.168.150.101:27003

3. 在项目的启动类中，添加一个新的bean

@Bean
public LettuceClientConfigurationBuilderCustomizer clientConfigurationBuilderCustomizer(){return clientConfigurationBuilder -> clientConfigurationBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
}

这个Bean用于配置Redis主从节点的读写策略，包括以下四种：
MASTER：从主节点读取
MASTER_PREFERRED：优先从master节点读取，master不可用才读取slave
REPLICA：从slave节点读取
REPLICA _PREFERRED：优先从slave节点读取，所有的slave都不可用才读取master 

Redis分片集群

散列插槽

Redis如何判断一个key应该存放在哪个实例中?
1. Redis将16384个插槽分配给不同实例
2. 根据key的有效部分计算哈希值，对16384取余
3. 余数作为插槽位置，寻找该插槽位置所在实例即可

如何将同一类数据固定保存在同一个Redis实例中?
令这一类数据使用相同的有效部分，例如key都以{typeld}为前缀

集群伸缩

需求1：将7004端口实例添加进集群中
命令如下。

redis-cli --cluster add-node  192.168.150.101:7004 192.168.150.101:7001

反馈如下图所示，7004加入了集群，并且默认是一个master节点。

但是，可以看到7004节点的插槽数量为0，因此没有任何数据可以存储到7004上。

需求2：将数据num存储到7004节点中

因为数据key不是与节点绑定，而是与插槽绑定的，因此我们需要查看num的插槽是多少。

如上图所示，num的插槽为2765，因此我们可以将0~3000的插槽从7001转移到7004，命令格式如下。

建立连接。

反馈如下。

复制7004节点id。

输入id后反馈如下。

此处询问：你的插槽是从哪里移动过来的？
all：代表全部，也就是各个节点转移一部分
具体的id：目标节点的id
done：结束输入

这里我们要从7001获取，因此填写7001的id，输入done表示结束填写。

反馈如下。

输入yes，确定转移插槽。

再次输入命令，查看节点信息。


可以看到，3000个插槽转移成功。

故障转移

自动故障转移

我们运行命令停止一个redis实例 ，模拟一个节点宕机，观察集群的反应。
redis-cli -p 7002 shutdown

1. 首先是该实例与其它实例失去连接
2. 然后是疑似宕机

3. 最后是确定下线，自动提升一个slave为新的master

4. 当7002再次启动，就会变为一个slave节点了

手动故障转移

RedisTemplate访问分片集群

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：
1. 引入redis的starter依赖
2. 配置分片集群地址
3. 配置读写分离
与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下。

spring:redis:cluster:nodes:- 192.168.150.101:7001- 192.168.150.101:7002- 192.168.150.101:7003- 192.168.150.101:8001- 192.168.150.101:8002- 192.168.150.101:8003

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3249601.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》

《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》

&#x1f4e2; 大家好&#xff0c;我是 【战神刘玉栋】&#xff0c;有10多年的研发经验&#xff0c;致力于前后端技术栈的知识沉淀和传播。 &#x1f497; &#x1f33b; CSDN入驻不久&#xff0c;希望大家多多支持&#xff0c;后续会继续提升文章质量&#xff0c;绝不滥竽充数…
阅读更多...
第三篇 Vue项目目录结构介绍

第三篇 Vue项目目录结构介绍

1、最外层目录结构 passagerFrontPage ├── .vscode //vscode配置&#xff0c;不用理会 ├── node_modules //项目依赖&#xff0c;npm install命令执行后自动生成 ├── public //公共资源存放 ├── src //源码 ├── tests //选装&#xff1a;测试模块 ├── .git…
阅读更多...
负载均衡 lvs

负载均衡 lvs

1. 4层转发(L4) 与 7层转发(L7) 区别 4层转发(L4) 与 7层转发(L7) 区别 转发基于的信息 状态 常用的服务 L4 基于网络层和传输层信息&#xff1a; L4转发主要依赖于网络层IP头部(源地址&#xff0c;目标地址&#xff0c;源端口&#xff0c;目标端口)和传输层头部&#xff…
阅读更多...
【python】OpenCV—Scanner

【python】OpenCV—Scanner

文章目录 1、需求描述2、代码实现3、涉及到的库函数cv2.arcLengthcv2.approxPolyDPskimage.filters.threshold_localimutils.grab_contours 4、完整代码5、参考 1、需求描述 输入图片 扫描得到如下的结果 用OpenCV构建文档扫描仪只需三个简单步骤: 1.边缘检测 2.使用图像中…
阅读更多...
UniVue@v1.5.0版本发布：里程碑版本

UniVue@v1.5.0版本发布：里程碑版本

前言 以后使用UniVue都推荐使用1.5.0以后的版本&#xff0c;这个版本之后&#xff0c;更新的速度将会放缓。 希望这个框架能够切实的帮助大家更好的开发游戏&#xff0c;做出一款好游戏&#xff01;本开源项目采用的开源协议为MIT协议&#xff0c;完全开源化&#xff0c;以后也…
阅读更多...
IDEA的工程与模块管理

IDEA的工程与模块管理

《IDEA破解、配置、使用技巧与实战教程》系列文章目录 第一章 IDEA破解与HelloWorld的实战编写 第二章 IDEA的详细设置 第三章 IDEA的工程与模块管理 第四章 IDEA的常见代码模板的使用 第五章 IDEA中常用的快捷键 第六章 IDEA的断点调试&#xff08;Debug&#xff09; 第七章 …
阅读更多...
web安全之SQL手工注入漏洞测试

web安全之SQL手工注入漏洞测试

一、目的 1.掌握SQL注入原理&#xff1b; Sql注入详解(原理篇)_sql注入攻击的原理-CSDN博客 2.了解手工注入的方法&#xff1b; 3.了解MySQL的数据结构&#xff1b; 4.了解字符串的MD5加解密 二、过程 1.进去后出现以下界面 找注入点 发现有注入点&#xff0c;即id被代入执…
阅读更多...
怎样优化 PostgreSQL 中对复杂的日期时间格式转换和时区处理？

怎样优化 PostgreSQL 中对复杂的日期时间格式转换和时区处理？

&#x1f345;关注博主&#x1f397;️ 带你畅游技术世界&#xff0c;不错过每一次成长机会&#xff01;&#x1f4da;领书&#xff1a;PostgreSQL 入门到精通.pdf 文章目录 怎样优化 PostgreSQL 中对复杂的日期时间格式转换和时区处理&#xff1f; 怎样优化 PostgreSQL 中对复…
阅读更多...
Linux-开机自动挂载（文件系统、交换空间）

Linux-开机自动挂载（文件系统、交换空间）

准备磁盘 添加三块磁盘&#xff08;两块SATA&#xff0c;一块NVMe&#xff09; 查看设备&#xff1a; [rootlocalhost jian]# ll /dev/sd* [rootlocalhost jian]# ll /dev/nvme0n2 扩&#xff1a;查看当前主机上的所有块设备&#xff0c;通过如下指令实现&#xff1a; [root…
阅读更多...
【Linux】Linux环境设置环境变量操作步骤

【Linux】Linux环境设置环境变量操作步骤

Linux环境设置环境变量操作步骤 在一些开发过程中本地调试经常需要依赖环境变量的参数&#xff0c;但是怎么设置对小白来说有点困难&#xff0c;今天就介绍下具体的操作步骤&#xff0c;跟着实战去学习&#xff0c;更好的检验自己的技术水平&#xff0c;做技术还是那句话&…
阅读更多...
Elasticsearch：评估搜索相关性 - 第 1 部分

Elasticsearch：评估搜索相关性 - 第 1 部分

作者&#xff1a;来自 Elastic Thanos Papaoikonomou, Thomas Veasey 这是一系列博客文章中的第一篇&#xff0c;讨论如何在更好地理解 BEIR 基准的背景下考虑评估你自己的搜索系统。我们将介绍具体的技巧和技术&#xff0c;以便在更好地理解 BEIR 的背景下改进你的搜索评估流程…
阅读更多...
vue项目build以后整合到springboot项目里面---------gxl

vue项目build以后整合到springboot项目里面---------gxl

很多时候我们需要用到vue的组件&#xff0c;但是全栈的背景下懒得去搞前后端分离&#xff0c;很多权限校验后台都写好了&#xff0c;没必要再去做接口或者前端写一遍了&#xff0c;因此我们需要把打包后的项目整合到项目里面。 整合也很简单&#xff0c;照常vue项目开发&#…
阅读更多...
Git分支合并以及分支部分合并 提交记录合并

Git分支合并以及分支部分合并 提交记录合并

Git分支合并,以及分支部分合并,提交记录合并 最近工作中用到git分支合并的场景,记录一下. 分支整体合并,合并所有记录 仅合并分支部分代码
阅读更多...
0718，TCP协议，三次握手，四次挥手

0718，TCP协议，三次握手，四次挥手

爬东西只能明天了喵 上课喵&#xff1a; TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;的状态迁移图 这图别看&#xff0c;会瞎 TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;的状态迁移图描述…
阅读更多...
插画插件：成都亚恒丰创教育科技有限公司

插画插件：成都亚恒丰创教育科技有限公司

【插画插件&#xff1a;数字创意时代的艺术加速器】 在数字化浪潮汹涌的今天&#xff0c;视觉艺术以其独特的魅力穿梭于互联网的每一个角落&#xff0c;成为连接人心、传递情感与信息的桥梁。而在这股创意洪流中&#xff0c;插画插件以其高效、便捷、个性化的特点&#xff0c;…
阅读更多...
【两两交换链表中的节点】python刷题记录

【两两交换链表中的节点】python刷题记录

书接上回【旋转链表】 思路&#xff1a; 1.创建dummy结点 2. 灵神牛啊 代码&#xff1a; # Definition for singly-linked list. # class ListNode: # def __init__(self, val0, nextNone): # self.val val # self.next next class Solution:def swa…
阅读更多...
AU软件包（2017-2027）下载

AU软件包（2017-2027）下载

下载链接&#xff1a; 迅雷网盘https://pan.xunlei.com/s/VO1kO3N_VUX46LHpigZ04Tj8A1?pwd5s8y# 夸克网盘https://pan.quark.cn/s/6c68be17ba5c 百度网盘https://pan.baidu.com/s/1m4nV0kWTQpY_cGQejl-_Kg?pwdetcp
阅读更多...
收银系统源码-商城下单，门店接单

收银系统源码-商城下单，门店接单

随着新零售时代的不断进步&#xff0c;线下线上一体化的收银系统&#xff0c;被很多门店越来越重视。用户在线上商城下单后&#xff0c;门店如何接单呢&#xff0c;如何处理订单呢&#xff1f; 1.收银系统开发语言 核心开发语言: PHP、HTML5、Dart后台接口: PHP7.3后合管理网…
阅读更多...
PostgreSql创建触发器并增加IF判断条件

PostgreSql创建触发器并增加IF判断条件

在 PostgreSQL 中&#xff0c;可以使用触发器&#xff08;Trigger&#xff09;来在表上定义自定义的插入&#xff08;INSERT&#xff09;、更新&#xff08;UPDATE&#xff09;和删除&#xff08;DELETE&#xff09;操作的行为。触发器是与表相关联的特殊函数&#xff0c;它们在…
阅读更多...
MybatisPlusException: Error: Method queryTotal execution error of sql 的报错解决

MybatisPlusException: Error: Method queryTotal execution error of sql 的报错解决

项目场景&#xff1a; 相关背景&#xff1a; 开发环境 开发系统时 系统页面加载正常 &#xff0c;发布运行环境后运行一段时间&#xff0c;前端页面 突然出现 报错信息&#xff0c; 报错信息如下&#xff1a; MybatisPlusException: Error: Method queryTotal execution erro…
阅读更多...
最新文章

Copyright @ 2022~2023