RocketMQ~架构与工作流程了解

简介

RocketMQ 具有高性能、高可靠、高实时、分布式 的特点。它是一个采用 Java 语言开发的分布式的消息系统，由阿里巴巴团队开发，在 2016 年底贡献给 Apache，成为了 Apache 的一个顶级项目。 在阿里内部，RocketMQ 很好地服务了集团大大小小上千个应用，在每年的双十一当天，更有不可思议的万亿级消息通过 RocketMQ 流转。

对于主题模型的实现来说每个消息中间件的底层设计都是不一样的，就比如 Kafka 中的 分区 ，RocketMQ 中的 分队列 ，RabbitMQ 中的 Exchange 。我们可以理解为 主题模型/发布订阅模型 就是一个标准，那些中间件只不过照着这个标准去实现而已。
在这里插入图片描述
在整个图中有 Producer Group、Topic、Consumer Group 三个角色，我来分别介绍一下他们。

  • Producer Group 生产者组：代表某一类的生产者，比如我们有多个秒杀系统作为生产者，这多个合在一起就是一个 Producer Group 生产者组，它们一般生产相同的消息。
  • Consumer Group 消费者组：代表某一类的消费者，比如我们有多个短信系统作为消费者，这多个合在一起就是一个 Consumer Group 消费者组，它们一般消费相同的消息。
  • Topic 主题：代表一类消息，比如订单消息，物流消息等等。

你可以看到图中生产者组中的生产者会向主题发送消息，而主题中存在多个队列，生产者每次生产消息之后是指定主题中的某个队列发送消息的。

每个主题中都有多个队列(分布在不同的 Broker中，如果是集群的话，Broker又分布在不同的服务器中)，集群消费模式下，一个消费者集群多台机器共同消费一个 topic 的多个队列，一个队列只会被消费者组内的一个消费者消费。如果某个消费者挂掉，组内其它消费者会接替挂掉的消费者继续消费。就像上图中 Consumer1 和 Consumer2 分别对应着两个队列，而 Consumer3 是没有队列对应的，所以一般来讲要控制 消费者组中的消费者个数和主题中队列个数相同 。

当然也可以消费者个数小于队列个数，只不过不太建议。如下图。
在这里插入图片描述
为什么一个主题中需要维护多个队列 ？答案是 提高并发能力 。

每个主题中只存在一个队列也是可行的。你想一下，如果每个主题中只存在一个队列，这个队列中也维护着每个消费者组的消费位置，这样也可以做到 发布订阅模式 。如下图
在这里插入图片描述
但是，这样我生产者是不是只能向一个队列发送消息？又因为需要维护消费位置所以一个队列只能对应一个消费者组中的某个消费者，这样是不是其他的 Consumer 就没有用武之地了？并发度一下子就小了很多。

所以总结来说，RocketMQ 通过使用在一个 Topic 中配置多个队列并且每个队列维护每个消费者组的其中一个消费位置 实现了 主题模式/发布订阅模式 。

架构

RocketMQ 技术架构中有四大角色 NameServer、Broker、Producer、Consumer 。

我来向大家分别解释一下这四个角色是干啥的。

  • Broker：主要负责消息的存储、投递和查询以及服务高可用保证。说白了就是消息队列服务器嘛，生产者生产消息到 Broker ，消费者从 Broker 拉取消息并消费。

这里，我还得普及一下关于 Broker、Topic 和 队列的关系。上面我讲解了 Topic 和队列的关系—— 一个 Topic 中存在多个队列，那么这个 Topic 和队列存放在哪呢？

一个 Topic 分布在多个 Broker上，一个 Broker 可以配置多个 Topic ，它们是多对多的关系。

如果某个 Topic 消息量很大，应该给它多配置几个队列(提高并发能力)，并且 尽量多分布在不同 Broker 上，以减轻某个 Broker 的压力 。Topic 消息量都比较均匀的情况下，如果某个 broker 上的队列越多，则该 broker 压力越大。
在这里插入图片描述

  • NameServer：不知道你们有没有接触过 ZooKeeper 和 Spring Cloud 中的 Eureka ，它其实也是一个 注册中心 ，主要提供两个功能：Broker 管理 和 路由信息管理 。说白了就是 Broker 会将自己的信息注册到 NameServer 中，此时 NameServer 就存放了很多 Broker 的信息(Broker 的路由表)，消费者和生产者就从 NameServer 中获取路由表然后照着路由表的信息和对应的 Broker 进行通信(生产者和消费者定期会向 NameServer 去查询相关的 Broker 的信息)。

我们上文提到过 Broker 是需要保证高可用的，如果整个系统仅仅靠着一个 Broker 来维持的话，那么这个 Broker 的压力会不会很大？所以我们需要使用多个 Broker 来保证 负载均衡 。如果说，我们的消费者和生产者直接和多个 Broker 相连，那么当 Broker 修改的时候必定会牵连着每个生产者和消费者，这样就会产生耦合问题，而 NameServer 注册中心就是用来解决这个问题的。

  • Producer：消息发布的角色，支持分布式集群方式部署。
  • Consumer：消息消费的角色，支持分布式集群方式部署。支持以 push 推，pull 拉两种模式对消息进行消费。同时也支持集群方式和广播方式的消费，它提供实时消息订阅机制。

主从集群

RocketMQ 中的技术架构肯定不止前面那么简单，因为上面图中的四个角色都是需要做集群的。我给出一张官网的架构图，大家尝试理解一下。
在这里插入图片描述

  • 第一、我们的 Broker 做了集群并且还进行了主从部署 ，由于消息分布在各个 Broker 上，一旦某个 Broker 宕机，则该Broker 上的消息读写都会受到影响。所以 Rocketmq 提供了 master/slave 的结构，salve 定时从 master 同步数据(同步刷盘或者异步刷盘)，如果 master 宕机，则 slave 提供消费服务，但是不能写入消息 。
  • 第二、为了保证 HA ，我们的 NameServer 也做了集群部署，但是请注意它是 去中心化 的。也就意味着它没有主节点，你可以很明显地看出 NameServer 的所有节点是没有进行 Info Replicate 的，在 RocketMQ 中是通过 单个 Broker 和所有 NameServer 保持长连接 ，并且在每隔 30 秒 Broker 会向所有 Nameserver 发送心跳，心跳包含了自身的 Topic 配置信息，这个步骤就对应这上面的 Routing Info 。
  • 第三、在生产者需要向 Broker 发送消息的时候，需要先从 NameServer 获取关于 Broker 的路由信息，然后通过 轮询 的方法去向每个队列中生产数据以达到 负载均衡 的效果。
  • 第四、消费者通过 NameServer 获取所有 Broker 的路由信息后，向 Broker 发送 Pull 请求来获取消息数据。Consumer 可以以两种模式启动—— 广播（Broadcast）和集群（Cluster）。广播模式下，一条消息会发送给 同一个消费组中的所有消费者 ，集群模式下消息只会发送给一个消费者。

工作流程

  1. 启动NameServer，他会等待Broker、Producer以及Consumer的链接。
  2. 启动Broker，会和NameServer建立连接，定时发送心跳包。心跳包中包含当前Broker信息(ip、port等)、Topic信息以及Borker与Topic的映射关系。
  3. 启动Producer，启动时先随机和NameServer集群中的一台建立长连接，并从NameServer中获取当前发送的Topic所在的所有Broker的地址；然后从队列列表中轮询选择一个队列，与队列所在的Broker建立长连接，进行消息的发送。
  4. Broker接收Producer发送的消息，当配置为同步复制时，master需要先将消息复制到slave节点，然后再返回"写成功状态"响应给生产者；当配置为同步刷盘时，则还需需要将消息写入磁盘中，再返回"写成功状态"；要是配置的是异步刷盘和异步复制，则消息只要发送到master节点，就直直接返回"写成功"状态
  5. 启动Consumer,过程和Producer类似，先随机和一台NameSServer建立连接，获取订阅信息，然后在和需要订阅的Broker建立连接，获取消息。
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://xiahunao.cn/news/3246318.html

如若内容造成侵权/违法违规/事实不符，请联系瞎胡闹网进行投诉反馈，一经查实，立即删除！

相关文章

AI基于大模型语言存在的网络安全风险

AI基于大模型语言存在的网络安全风险

目的： 随着大语言模型（LLM）各领域的广泛应用，我们迫切需要了解其中潜在的风险和威胁，及时进行有效的防御。 申明： AI技术的普及正当的使用大模型技术带来的便利，切勿使用与非法用途&#xff…
阅读更多...
华为云SQLServer 慢日志查看

华为云SQLServer 慢日志查看

作者：梦莱 1、背景 华为云目前只支持 SQLServer 登录数据库，不支持查看慢日志。对于开启慢日志的实例，也只能通过将慢日志下载到本地 再远程连接目标实例数据库查看。本篇将华为云 SQLServer 实例出现资源异常，排查问题的方案整…
阅读更多...
Qt Style Sheets-入门

Qt Style Sheets-入门

Qt 样式表是一种强大的机制，允许您自定义小部件的外观，这是在通过子类化QStyle已经可行的基础上的补充。Qt 样式表的概念、术语和语法在很大程度上受到 HTML级联样式表 (CSS)的启发，但适用于小部件的世界。 概述 样式表是文本规范&#xff0…
阅读更多...
客流统计系统优化景区服务流程，增强游客满意度

客流统计系统优化景区服务流程，增强游客满意度

在当今旅游业蓬勃发展的时代，景区面临着越来越多的挑战和机遇。如何提供更优质、更高效的服务，满足游客日益增长的需求，成为了景区管理者们关注的焦点。客流统计系统作为一种创新的技术手段，正逐渐成为优化景区服务流程、增强游客…
阅读更多...
【入门级】docker

【入门级】docker

开头处生动的描述一下”码头工人”吧：小鲸鱼（登记处Registry：比如docker hub官方）背着好多集装箱（仓库repository：存放各种各样的镜像，一般存放的是一类镜像，这一类镜像中通过tag 版…
阅读更多...
【C++】题解：P1259 黑白棋子的移动_递归+模拟_算法竞赛_洛谷

【C++】题解：P1259 黑白棋子的移动_递归+模拟_算法竞赛_洛谷

文章目录 P1259 黑白棋子的移动 题解题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 提示解题思路AC CodeEnd P1259 黑白棋子的移动 题解 Link：Luogu - P1259 题目描述 有 2 n 2n 2n 个棋子排成一行，开始为位置白子全部在左边，黑…
阅读更多...
fastapi入门教程

fastapi入门教程

☆ FASTAPI 前期准备 运行环境和安装 安装python环境安装fastapi安装uvicron 开始使用fastapi 01.第一个简单程序 from fastapi import FastAPI app FastAPI() app.get("/") def read_root():return {"Hello": "World"}运行：…
阅读更多...
鸿蒙开发：Universal Keystore Kit（密钥管理服务）【获取密钥属性(ArkTS)】

鸿蒙开发：Universal Keystore Kit（密钥管理服务）【获取密钥属性(ArkTS)】

获取密钥属性(ArkTS) HUKS提供了接口供业务获取指定密钥的相关属性。在获取指定密钥属性前，需要确保已在HUKS中生成或导入持久化存储的密钥。 开发步骤 指定待查询的密钥别名keyAlias，密钥别名最大长度为64字节。调用接口[getKeyItemProperties]&…
阅读更多...
Large Language Model系列之一：语言模型与表征学习（Language Models and Representation Learning）

Large Language Model系列之一：语言模型与表征学习（Language Models and Representation Learning）

语言模型与表征学习（Language Models and Representation Learning） 1 语言模型 N-Gram模型 from collections import defaultdictsentences [The swift fox jumps over the lazy dog.,The swift river flows under the ancient bridge.,The swift br…
阅读更多...
羊大师提醒：夏日防溺水，安全记心间

羊大师提醒：夏日防溺水，安全记心间

夏日炎炎，阳光洒满大地，带来了无尽的活力与欢乐，但在这欢快的季节里，也潜藏着不容忽视的安全隐患——溺水事故。为了您和家人的幸福安康，我们特别提醒：“夏日防溺水，安全记心间”。 夏日是游泳戏…
阅读更多...
快手开源LivePortrait，实现表情姿态极速迁移，GitHub 6.5K Star

快手开源LivePortrait，实现表情姿态极速迁移，GitHub 6.5K Star

近日，快手可灵大模型团队开源了名为LivePortrait的可控人像视频生成框架，能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。如下动图所示： 来自网友测试LivePortrait 来自网友测试Li…
阅读更多...
世界启动Ⅱ--LLM的隐私问题

世界启动Ⅱ--LLM的隐私问题

前言 本文的目的是关注大语言模型 (LLM)所面临的挑战以及便利性和隐私性之间的权衡，以帮助您决定哪种途径最适合您。 在处理传统软件时，隐私问题通常围绕数据存储、传输和访问控制。我们实施加密、设置安全数据库并谨慎管理用户权限。然而，…
阅读更多...
JAVA零基础学习1（CMD、JDK、环境变量、变量和键盘键入、IDEA）

JAVA零基础学习1（CMD、JDK、环境变量、变量和键盘键入、IDEA）

JAVA零基础学习1（CMD、JDK、环境变量、变量和键盘键入、IDEA） CMD常见命令配置环境变量JDK的下载和安装变量变量的声明和初始化声明变量初始化变量 变量的类型变量的作用域变量命名规则示例代码 键盘键入使用 Scanner 类读取输入步骤示例代码 常用方法处…
阅读更多...
世界启动Ⅲ--什么是 Transformer？

世界启动Ⅲ--什么是 Transformer？

前言 Transformer 本质上是神经网络。专门从数据中学习上下文的神经网络。 但它们的特殊之处在于存在一些机制，可以消除对标记数据集以及网络中的卷积或循环的需求。 这些特殊机制是什么？ 有很多。但真正推动 Transformer 发展的两种机制是注意力加权…
阅读更多...
git 代理错误拒绝连接

git 代理错误拒绝连接

git 克隆项目拒绝连接 现象 Failed to connect to 127.0.0.1 port 15732: 拒绝连接 问题描述 代理错误解决方法 取消代理 git config --global --unset http.proxy
阅读更多...
艺术创作的新维度：yicaiai照片风格化

艺术创作的新维度：yicaiai照片风格化

艺术创作的新维度：yicaiai照片风格化 一、用户友好的设计理念 1.1 yicaiai照片风格化的核心设计理念 yicaiai平台以其创新的AI技术，颠覆了传统照片处理的方式，将艺术与科技完美融合。其核心设计理念在于赋予普通照片无尽的艺术潜力&#xf…
阅读更多...
【C++编程】双端数组 deque 容器基本操作

【C++编程】双端数组 deque 容器基本操作

🔥 特点：deque 头插、头删速度比 vector 快 deque 是一个双向队列（double-ended queue），可以在队列的两端进行元素的插入和删除操作。 deque 涵盖了 queue（队列）、stack（堆栈&#x…
阅读更多...
Spring Security Oauth2源码分析

Spring Security Oauth2源码分析

Spring Security Oauth2源码分析 前言一：客户端OAuth2授权请求的入口1、DefaultOAuth2AuthorizationRequestResolver类OAuth2AuthorizationRequest类authorizationRequestUri 的构建机制redirectUri 3、OAuth2AuthorizationRequestRedirectFilter类 二：O…
阅读更多...
元宇宙深入解析

元宇宙深入解析

元宇宙（Metaverse）是一个新兴的概念，它激发了技术专家、艺术家和商业领袖的无限想象。它代表着数字互动的新前沿，提供了一个平行的数字宇宙，用户可以在其中实时互动，超越物理世界的限制。 元宇宙是什么&am…
阅读更多...
前端开发体系+html文件详解

前端开发体系+html文件详解

目录 html骨架 body主体内基本元素 基本元素 超文本（超链接跳转） 锚点 图片标签 列表标签 表格标签 框架标签（窗口标签） 音频标签 视频标签 VScode编译器 输入框 字体样式 实例展示： 首先简要介绍前端的整…
阅读更多...
最新文章

Copyright @ 2022~2023