TiDB 7.1 多租户在中泰证券中的应用

本文详细介绍了中泰证券在系统国产化改造项目中采用 TiDB 多租户技术的实施过程。文章分析了中泰证券数据库系统现状以及引入 TiDB 资源管控技术的必要性,探讨了 TiDB 多租户的关键特性,并阐述了在实际应用中的具体操作步骤。通过该技术的应用,中泰证券有效降低了运维成本,提升了开发效率。 文章强调了 TiDB 多租户在证券企业中的应用优势,特别突出了其在资源观测、复用、可配置性等方面的价值。

项目背景

中泰证券股份有限公司(原名齐鲁证券有限公司)成立于 2001 年 5 月,是国内排名前 20 的全国大型综合性券商,在全国 28 个省市自治区设有 45 家分公司、280 多家证券营业部,员工 9000 多人,控股中泰期货、中泰资本、中泰金融国际、中泰资管、中泰创投、齐鲁股权交易中心、万家基金,形成了证券、期货、基金、投资等各项业务齐头并进的发展格局。

受国际环境影响,在国家政策的大力支持下,系统国产化开始在全国范围内加速落地。中泰证券在系统国产化改造项目中,使用 TiDB 和国产化操作系统、芯片,提升自主可控能力。

中泰科技研发部目前使用两套 TiDB 集群,将多套业务系统进行集合。TiDB 集群版本号均为 V7.1。按照业务系统服务对象的不同,分别承载对外和对内客户业务。基于 TiDB 对大表的支持性更友好,无需分库分表,复杂 SQL 的性能提升明显,TiDB 的弹性扩缩容,简单易运维操作。这些,都毫无疑问地降低了运维成本、提升了开发效率。但是这两套集群都是多套业务系统共用,因此,非常需要资源管控技术,确保每一个业务系统都拥有独立的资源池。

TiDB 多租户介绍

TiDB 6.6 首次引入资源管控(Resource Control,简称:RC)特性,并在 TiDB 7.0 进行了优化和增强。该技术利用资源组 (Resource Group) 限制每个资源组所能使用的计算和 IO 资源,同时创造性的引入 burst (可超用)属性,当集群有空闲资源时,允许资源组超越限制,实现资源的充分利用。

这个特性满足了目前一些企业的需求,也可以顺带解决了部分用户的痛点:

  1. 业务系统间影响和干扰 :某个业务系统的非预期负载变化会影响其他业务系统的正常运行。
  2. 分析业务对交易的影响 :对资源需求较高的数据分析或批量作业会影响其他业务系统的响应时间。
  3. 运维操作对资源的消耗 :数据备份、统计信息收集等后台任务可能会影响服务质量。

具体应用和实施

以下文章内容中的数据均基于生产环境做过修改,不是真实数据,仅供参考。

3.1 资源评估

打开 Dashboard 页面,在左侧菜单列表中找到 Resource Manager,在 Estimate Capacity 中 根据标准测试类型进行资源评估。

3.2 应用绑定 RU

通过梳理数据库中的业务用户,确定哪些用户是属于哪些业务系统,方便后面将不同的资源组与不同的用户绑定。

执行以下 SQL 为业务 A、业务 B、以及管理员绑定 Resource Control 和 RU。业务 A 和业务 B 同属于 TP 系统,业务重要性较高,对 sql 查询速度和效率都有一定的要求,对慢查询容忍性较低。所以对业务 A 和业务 B 的资源分配优先级要高一些,并且允许资源超用(BURSTABLE),应对前端业务流量的突增。而管理员账户日常主要用来做数据库管理相关的工作,很少或者不涉及业务 SQL,所以资源分配优先级较低,可以先设置成允许资源超用。

初步绑定都设置 BURSTABLE 属性确保每个业务都有充足 RU 可以使用,避免资源不足情况而无法观察到某个业务真实 RU 消耗情况。

-- 创建A资源组
CREATE RESOURCE GROUP IF NOT EXISTS a_rg RU_PER_SEC=180000 PRIORITY=HIGH BURSTABLE;
-- 创建B资源组
CREATE RESOURCE GROUP IF NOT EXISTS b_rg RU_PER_SEC=90000 PRIORITY=HIGH BURSTABLE;
.....
-- 创建管理员查询资源组
CREATE RESOURCE GROUP IF NOT EXISTS admin_rg RU_PER_SEC=20000 BURSTABLE;
​
-- 为不同业务系统用户绑定资源组
-- 将A资源组绑定到A业务系统用户上
ALTER USER a_user RESOURCE GROUP a_rg;
-- 将B资源组绑定到B业务系统用户上
ALTER USER b_user RESOURCE GROUP b_rg;
.....
-- 将管理资源组绑定到系统管理用户上
ALTER USER admin_user RESOURCE GROUP admin_rg;

3.3 观察应用 RU 使用情况

完成绑定后 ,TiDB 可以实时统计到各个业务消耗的资源情况。生产运行一段时间后,需要观察业务实际消耗 RU, 完成后续调整。

依然是去 Dashboard 页面,在左侧菜单列表中找到 Resource Manager。这个页面较之前业务系统用户没有绑定 RU 之前,多了一个 Configuration 模块。可以在这里模块清晰的观察到每个资源组的详细信息。

继续在 Resource Manager 页面中找到 Metrics 模块,观察 RU 的使用情况(建议观察时间区域尽可能长,以得到更全面的 RU 消耗情况),如下图所示。

将这个曲线和上面 Configuration 模块的 RU 信息对照,查看是否需要进行 RU 调整。调整语句如下:

-- A业务系统最高消耗 17000 RU ,建议绑定 25000 RU ,预留一定 Buffer ,由于总体资源充足设置 BURSTABLE 属性确保业务有足够资源
alter resource group a_rg RU_PER_SEC=25000 PRIORITY=HIGH BURSTABLE;
​
-- B业务系统最高消耗 14000 RU ,建议绑定 20000 RU ,预留一定 Buffer ,由于总体资源充足设置 BURSTABLE 属性确保业务有足够资源
ALTER RESOURCE GROUP b_rg RU_PER_SEC = 20000  BURSTABLE;
​
-- 设置管理员查询资源组,不设置 BURSTABLE 属性,降低管理员执行 Slow Query 时对集群影响
alter resource group admin_rg RU_PER_SEC=10000;

RU 使用收益

由于目前 TiDB 服务器资源充足,并且各个业务系统的峰值谷值都具有同一性,每个业务系统的重要程度也差不多。所以 TiDB 这个多租户特性带来的价值主要体现在资源的可观测性和可配置性上。

在资源可观测性上 :有了 RU,结合 Dashboard,可以清楚的观察到每个业务系统使用了多少资源,TiDB 整个集群资源是否充足,是否需要添加资源。

在资源可配置性上 :TiDB 多租户最重要的能力是在资源繁忙时实现资源控制,后续继续迁移新业务导致资源不足且临时没有服务器添加到集群的场景下可以在线解除 BURSTABLE 属性,给业务设置合适的 RU 大小来实现资源控制。此能力可以在线调整,对业务几乎无感知。在资源不足的极端场景下,能够控制不同用户的资源消耗,保证各业务系统的资源隔离性,用户可以安心使用 TiDB 多租户能力。

结语

大部分企业会给 TiDB 集群预留充足资源,此时利用 BURSTABLE 属性实现资源观测和资源复用;小部分企业无法给 TiDB 集群预留充足资源,此时可以在线修改多租户配置并实现资源控制。

目前,在证券企业中,许多业务系统跑在不同的 MySQL 集群上面。随着 MySQL 5.7 生命周期结束以及 IT 基础设施国产化改造的推进,把存量的多套 MySQL 集群归集到一套 TiDB 集群成为一个理想的解决方案。通过 TiDB 的资源管控特性,多个业务能够共享一套集群,实现资源的有效利用。对比传统多租户方案,TiDB 多租户除了基础资源控制能力以外还提供了更强大的资源复用能力、资源可观测性、在线可配置性、在线限流等能力。可以更好降低整体硬件成本、减少多集群运维成本、观测资源池使用率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2659704.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

python学习14

前言:相信看到这篇文章的小伙伴都或多或少有一些编程基础,懂得一些linux的基本命令了吧,本篇文章将带领大家服务器如何部署一个使用django框架开发的一个网站进行云服务器端的部署。 文章使用到的的工具 Python:一种编程语言&…

【论文阅读】Resource Allocation for Text Semantic Communications

这是一篇关于语义通信中资源分配的论文。全文共5页,篇幅较短。 目录在这里 摘要关键字引言语义通信资源分配贡献公式符号 系统模型DeepSC TransmitterTransmission ModelDeepSC Receiver 语义感知资源分配策略Semantic Spectral Efficiency (S-SE&#…

百度飞桨文心生态成果最新披露:开发者达1070万 模型数超86万

前言 12月28日,由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会2023在北京召开。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰现场公布了飞桨文心五载十届最新生态成果,文心一言最新用户规模破1亿&#xf…

PAT 乙级 1028 人口普查

解题思路:此题我想到俩种方法,一种是排序方法,一种是不排序的方法,首先都是看是否是有效年龄,然后一种是排序,另一种是维护最大值和最小值的变量,一定要注意如果有效数字是0那就只输出0就可以了…

Vue学习day_02

水果店的案例: 要求: 可以动态删除 一个对个数的修改,以及点击全选的时候,水果前面的按钮都要标记为选中,要把价格,结算的个数等都要动态变化出来. 分析: 1:渲染功能: v-if进行条件的判断,要是数组里面有数据的话,就把主页面显示出来,要是没数据的话,就显示另外一个盒子v-e…

【Java基础系列】body参数前后端不一致

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

一文详解Ehcache

Ehcache 快速入门 EhCache 是一个纯 Java 的进程内缓存框架,具有快速、精干等特点,是 Hibernate 中默认的 CacheProvider。 img 一、简介 Ehcache 虽然也支持分布式模式,但是分布式方案不是很好好,建议只将其作为单机的进程内缓存…

CAS-手写自旋锁

CAS与自旋锁,借鉴CAS思想 什么是自旋锁? CAS是实现自旋锁的基础,CAS利用CPU指令保证了操作的原子性,以达到锁的效果,至于自旋 锁---字面意思自己旋转。是指尝试获取锁的线程不会立即阻塞,而是采用循环的…

【CSAPP】探究BombLab奥秘:Phase_2的解密与实战

📋 前言 ​🌈个人主页:Sarapines Programmer🔥 系列专栏:《斯坦福大学之CSAPP》⏰诗赋清音:桃花灼灼春风暖,心随乐曲扬徐徐。 苦尽甘来梦未阑,岁月长河任舟游。 ​ 🎉欢迎…

来来来,带你实现最炫酷的卡片效果

📢 鸿蒙专栏:想学鸿蒙的,冲 📢 C语言专栏:想学C语言的,冲 📢 VUE专栏:想学VUE的,冲这里 📢 CSS专栏:想学CSS的,冲这里 &#x1f4…

掌汇云 | 公司库聚合企业,为垂直领域提供产品与服务展示窗口

11月29日晚,拼多多美股盘中市值首次超越阿里巴巴。拼多多是赢了,但也有人说阿里未必就输了,因为阿里拼的是整个阿里生态。 阿里生态使其庞大且屹立不倒,拼多多将社交用于撮合交易,通过平台连接消费者和供应商&#xf…

【没有哪个港口是永远的停留~论文简读】HRNet+OCR

一、Deep High-Resolution Representation Learning for Human Pose Estimation (HRNet) 论文:https://arxiv.org/pdf/1902.09212.pdf 代码:https://github.com/leoxiaobin/deep-high-resolution-net.pytorch 二、Deep high-res…

JVM篇:JVM的简介

JVM简介 JVM全称为Java Virtual Machine,翻译过来就是java虚拟机,Java程序(Java二进制字节码)的运行环境 JVM的优点: Java最大的一个优点是,一次编写,到处运行。之所以能够实现这个功能就是依…

ctf_show(web入门笔记)持续更新中

信息收集 1-2:查看源代码 3:bp抓包 4:robots.txt(这个文件里会写有网站管理者不想让爬虫的页面或其他) 5:网站源代码泄露index.phps 6:同样也是源码泄露,(拿到以后还…

C++力扣题目347--前k个高频元素

给你一个整数数组 nums 和一个整数 k &#xff0c;请你返回其中出现频率前 k 高的元素。你可以按 任意顺序 返回答案。 示例 1: 输入: nums [1,1,1,2,2,3], k 2 输出: [1,2]示例 2: 输入: nums [1], k 1 输出: [1] 提示&#xff1a; 1 < nums.length < 105k 的取…

别再写一堆的 for 循环了!Java 8 中的 Stream 轻松遍历树形结构,是真的牛逼!

可能平常会遇到一些需求&#xff0c;比如构建菜单&#xff0c;构建树形结构&#xff0c;数据库一般就使用父id来表示&#xff0c;为了降低数据库的查询压力&#xff0c;我们可以使用Java8中的Stream流一次性把数据查出来&#xff0c;然后通过流式处理。 我们一起来看看&#x…

Nginx直播服务器搭建及推拉流测试

文章目录 前言一、搭建 Nginx 直播服务器1、安装 Nginx 依赖2、下载并解压源码①、下载并解压 nginx-http-flv-module 直播模块源码②、下载并解压 Nginx 源码 3、编译安装4、配置 rtmp 服务①、添加 rtmp 服务②、验证配置 二、推流、拉流测试1、ffmepg 推流2、VLC 拉流 前言 …

案例224:基于微信小程序的餐厅点餐系统

文末获取源码 开发语言&#xff1a;Java 框架&#xff1a;SSM JDK版本&#xff1a;JDK1.8 数据库&#xff1a;mysql 5.7 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&#xff1a;Maven3.5.4 小程序框架&#xff1a;uniapp 小程序开发软件&#xff1a;HBuilder X 小程序…

基于Java Swing的图书管理系统

一、项目总体架构 本项目基于Java Swing框架&#xff0c;数据库采用的是MySQL。项目文件夹如下&#xff1a; 二、项目截图 1.登录和注册界面 2.用户界面 3.管理员管理图书类别 4.管理员管理书籍 5.管理员管理用户 项目总体包括源代码和课程论文&#xff0c;需要源码的…

OCP NVME SSD规范解读-3.NVMe管理命令-part2

NVMe-AD-8&#xff1a;在某些情况下&#xff08;如Sanitize命令、Format NVM命令或TCG Revert方法后数据被清除&#xff09;&#xff0c;设备应允许读取已清除的LBAs而不产生错误&#xff0c;并在最后一次清除完成后&#xff0c;对未写入LBAs的读取返回所有零值给主机 NVMe-AD…