RocketMQ - RocketMQ的架构原理和使用方法

1. MQ如何集群化部署来支撑高并发访问

假设RocketMQ部署在一台机器上,即使这台机器的配置很高,但是一般来说一台机器也就支撑10万+的并发访问。
在这里插入图片描述
这个时候,假设有大量的系统都要往RocketMQ里高并发的额写入消息,可能达到每秒有几十万的请求,这样单机的RocketMQ是支撑不了的。

没关系,RocketMQ是可以集群化部署的,可以部署在多台机器上,假设每台机器能抗10万并发请求,然后你只要让几十万请求分散到多台机器上就可以了,让每台机器承受的QPS不超过10万就可以了。
在这里插入图片描述

2. MQ如果要存储海量消息应该怎么做?

MQ会收到大量的消息,这些消息并不是立马就会被所有的消费方获取过去消费的,所以一般MQ都得把消息在自己本地磁盘存储起来,然后等待消费方获取消息去处理。

既然如此,MQ就得存储大量的消息,可能是几百万条,可能是几亿条,甚至是万亿条,这么多的消息在一台机器上肯定是没有办法存储的,那么RocketMQ是如何分布式存储海量消息的呢?

延续上面的图,其实发送消息到MQ的系统会把消息分散发送给多台不同的机器,假设共一万条消息,分散发送给10台机器,可能每台机器就接收1000条消息。

其次,每台机器上部署的RocketMQ进程一般称之为broker,每个broker都会收到不同的消息,然后就会把这批消息存储在自己本地的磁盘文件里。这样的话,假设你有1亿条消息,然后有10台机器部署了RocketMQ的broker,理论上不就可以让每台机器存储1000万条消息了吗?
在这里插入图片描述
所以本质上RocketMQ存储海量消息的机制就是分布式的存储,所谓分布式存储,就是把数据分散在多台机器上来存储,每台机器存储一部分消息,这样多台机器加起来就可以存储海量消息了。

3. 高可用保障,万一Broker宕机了怎么办

要是任何一台Broker突然宕机了怎么办?是不是RocketMQ的一部分消息就丢失了?

其实RocketMQ可以通过Broker主从架构以及多副本策略来保证可用性;简单来说,Broker是有Master和Slave两种角色的。
在这里插入图片描述
Master Broker收到消息之后会同步给Slave Broker,这样Slave Broker上就有一模一样的额一份副本数据。这样同一条消息在RocketMQ整个集群里不就有两个副本了,一个是在Master Brocker中,一个是在Slave Broker中。

整个时候,如果任何一个Master Broker出现故障,还有一个Slave Broker上有一份数据副本,可以保证数据不丢失,还能继续对外提供服务,保证了MQ的可靠性和高可用性。

4. 数据路由,怎么知道访问哪个Broker?

对于系统来说,要发送消息到MQ里去,还要从MQ里消费消息,那么怎么知道有哪些Broker?怎么知道要连接到哪一台Broker上去发送和接收消息?
在这里插入图片描述
RockerMQ为了解决这个问题,有一个NameServer的概念,他也是独立部署在几台机器上的,然后所有Broker都会把自己注册到NameServer上去,NameServer就知道集群里有哪些Broker了。

然后对于业务系统而言,如果要发送消息到Broker,会找NameServer去获取路由信息,就是集群里有哪些Broker等信息,如果系统要从Broker获取信息,也会找NameServer获取路由,去找到对应的Broker获取消息。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2810067.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

canvas水波纹效果,jquery鼠标水波纹插件

canvas水波纹效果&#xff0c;jquery鼠标水波纹插件 效果展示 jQuery水波纹效果&#xff0c;canvas水波纹插件 HTML代码片段 <div class"scroll04wrap"><h3>发展历程</h3><div class"scroll04"><p>不要回头&#xff0c;一…

在苹果电脑MAC上安装Windows10(双系统安装的详细图文步骤教程)

在苹果电脑MAC上安装Windows10&#xff08;双系统安装的详细图文步骤教程&#xff09; 一、准备工作准备项1&#xff1a;U盘作为系统安装盘准备项2&#xff1a;您需要安装的系统镜像 二、启动转换助理步骤1&#xff1a;找到启动转换助理步骤2&#xff1a;启动转换助理步骤3&…

java接受命令行输入

在Java中&#xff0c;你可以使用​​Scanner​​类来接受命令行输入。以下是一个简单的例子&#xff0c;演示如何从命令行接受输入&#xff1a; import java.util.Scanner;public class CommandLineInputExample {public static void main(String[] args) {// 创建一个Scanner…

linux服务器vi文件中文乱码

服务器vi编辑中文乱码 cat 文本是中文 可以编辑 vi /etc/environment 文件修改为utf8中文字符集 LANGzh_CN.UTF-8 LANGUAGEen_US:en LC_CTYPE"zh_CN.UTF-8" LC_NUMERIC"zh_CN.UTF-8" LC_TIME"zh_CN.UTF-8" LC_COLLATE"zh_CN.UTF-8"…

48.仿简道云公式函数实战-文本函数-EXACT

1. EXACT函数 比较两个字符串是否完全相同&#xff08;区分大小写&#xff09;。完全相同则返回 true&#xff0c;否则返回 false。 2. 函数用法 EXACT(text1,text2) 3. 函数示例 比较两个字符串是否完全相同&#xff08;区分大小写&#xff09;。完全相同则返回 true&…

有效涨点,增强型 YOLOV8 与多尺度注意力特征融合,附代码,详细步骤

目录 摘要 结构图 原理 代码实现 添加ymal文件 实验结果 可接论文指导----------> v jiabei-545 完整代码&#xff08;失效 -----------&#x1f446; &#xff09; 执行程序流程 摘要 在本实验中&#xff0c;我们通过将双层路由注意&#xff08;BRA&#xff09;…

python中的 continue break 以及pass

在python中 continue 以及 break 的作用都用于跳出循环,不同的是continue是跳出当前循环,而break是跳出循环 具体图解如下 continue 执行流程图&#xff1a; break 执行流程图&#xff1a; 他们两个在while循环和for循环中分别为 在for循环中执行过程为 当循环体执行到cont…

linux---nginx基础

目录 一、Nginx的概念 二、Nginx常用功能 1、HTTP(正向)代理&#xff0c;反向代理 1.1正向代理 1.2 反向代理 2、负载均衡 2.1 轮询法&#xff08;默认方法&#xff09; 2.2 weight权重模式&#xff08;加权轮询&#xff09; 2.3 ip_hash 3、web缓存 三、基础特性 四…

Jitsi Meet 大型视频会议调优方案

jitsi meet 大型视频会议调优方案 在举办一些大型会议的时候,比如100个人会议,为了节约宽带和节省资源,我们并不会选择传输全部的音视频资源。 举个例子,比如100个人线下会议,如果大家都说话的情况下,大家要么听不清,要么听得是声音最大的那几个人。 视频会议也可以借…

赵丽颖林更新《与凤行》传乌龙!惊艳特效惹争议

古装偶像剧《与凤行》是收视女王赵丽颖和实力小生林更新继《楚乔传》的再度合作&#xff0c;“星月”CP时隔多年的二搭还没开播&#xff0c;就已经把观众的期待值高高拉起。 《与凤行》预告惊艳四座&#xff0c;特效究竟出自谁手&#xff1f; 观众早已苦“五毛特效”久矣&…

项目:shell实现多级菜单脚本编写

目录 1. 提示 2. 演示效果 2.1. 一级菜单 2.2. 二级菜单 2.3. 执行操作 3. 参考代码 1. 提示 本脚本主要实现多级菜单效果&#xff0c;并没有安装LAMP、LNMP环境&#xff0c;如果要用在实际生成环境中部署LNMP、LAMP环境&#xff0c;只需要简单修改一下就可以了。 2. 演…

Pycharm环境中,python为变量赋值的时候,如何自动添加空格?

在python中&#xff0c;为变量赋值的时候&#xff0c;如果没有加入空格&#xff0c;代码底部会有灰色波浪线&#xff0c;说明不符合Python规范。 可以在菜单栏选择code&#xff0c;reformat code。重新格式化代码&#xff0c;所有代码会自动格式化。 快捷方式为&#xff1a;ct…

java数据结构与算法刷题-----LeetCode98. 验证二叉搜索树

java数据结构与算法刷题目录&#xff08;剑指Offer、LeetCode、ACM&#xff09;-----主目录-----持续更新(进不去说明我没写完)&#xff1a;https://blog.csdn.net/grd_java/article/details/123063846 文章目录 1. 法一&#xff1a;利用BST性质进行递归2. 法二&#xff1a;利用…

CUDA 编程指南 —— 编程接口之CUDA Runtime

目录 CUDA Runtime 运行时在 cudart 库中实现&#xff0c;该库通过 cudart.lib 或 libcudart.a 静态链接到应用程序&#xff0c;或者通过 cudart.dll 或 libcudart.so 动态链接到应用程序。需要 cudart.dll 和/或 cudart.so 进行动态链接的应用程序通常将它们作为应用程序安装…

音视频开发之旅(70)- 人脸修复画质增强之CodeFormer

目录 1. 效果展示和使用简介 2. CodeFormer原理浅析和代码实现分析 3. SDWebui中使用 4. 关键细节&#xff1a;保真度和质量之间的平衡 5. 参考资料 一、效果展示和使用简介 1.1 老旧照片修复 1.2 对AI生成照片修复 1.3 人脸修复 1.4 人脸色彩增强 1.5 去除人脸打码 1.6…

k8s基础以及kubeadm安装部署

目录 一、什么是k8s&#xff1f; 二、k8s的特性 三、核心组件以及工作流程 核心组件&#xff1a; 工作流程&#xff1a; 四、k8s网络 五、kubeadm部署 一、什么是k8s&#xff1f; K8S 的全称为 Kubernetes&#xff0c;用于自动部署、扩展和管理“容器化&#xff08;con…

【牛客】2024牛客寒假算法基础集训营6ABCDEGHIJ

文章目录 A 宇宙的终结题目大意主要思路代码 B 爱恨的纠葛题目大意主要思路代码 C 心绪的解剖题目大意主要思路代码 D 友谊的套路题目大意主要思路代码 E 未来的预言题目大意主要思路代码 G 人生的起落题目大意主要思路代码 I 时空的交织题目大意主要思路代码 J 绝妙的平衡题目…

Linux7.9环境源码编译安装ffmpeg6.x

1.官网ffmpeg下载源码 https://ffmpeg.org/download.html#build-windows 2.未安装x264库则先安装配置 可以先查询x264库: whereis libx264 安装编译工具和依赖库&#xff1a; sudo yum install gcc make cmake mercurial git yasm pkgconfig autoconf automake libtool sudo…

DC-DC升压模块变换器微型SIP小体积5v12v15v24v转100V110V150V180V200V250V300V500V800VDC

0.2~2W&#xff0c;微型SIP&#xff0c;单/双输出DC/DC变换器 F特征 效率高达88%1000VDC/3000VDC隔离MTBF>2,000,000小时低成本输入5、12、15和24VDC输出100,110,150,180,200,250,300,500,800 VDC 50,55,75,90,100,125,150,250和400 VDC 温度性能-40℃~85℃UL 94V-0封装…

多维时序 | Matlab实现GRU-MATT门控循环单元融合多头注意力多变量时间序列预测模型

多维时序 | Matlab实现GRU-MATT门控循环单元融合多头注意力多变量时间序列预测模型 目录 多维时序 | Matlab实现GRU-MATT门控循环单元融合多头注意力多变量时间序列预测模型预测效果基本介绍程序设计参考资料 预测效果 基本介绍 1.多维时序 | Matlab实现GRU-MATT门控循环单元融…