2024可信数据库发展大会|存算分离架构驱动电信数据平台革新

7 月 16 日 - 17 日,由中国通信标准化协会和中国信息通信研究院主办,大数据技术标准推进委员会承办,InfoQ 联合主办的「2024 可信数据库发展大会」(TDBC)在北京召开。


酷克数据解决方案架构师吴昊受邀参与“电信行业数据库应用创新分论坛”,并发表《存算分离架构:加速电信行业数据处理,驱动业务创新》主题演讲,深入剖析了当前电信行业在数据平台建设过程中面临的挑战,并分享了存算分离架构的 HashData 云数仓在电信行业的方案与成果。

69ed5ea63e4f7b40d760de9f4d2e1051.jpeg


吴昊指出,移动互联网的发展导致电信行业数据量激增,这对数据平台的建设提出了前所未有的挑战。从解决单点业务问题到垂直大数据应用,再到企业级大数据中心的构建,这一系列的演变,不仅要求数据平台在数据处理和业务支撑上具备更强的能力,更重要的是,催生了一种全新的数据思维。在这种新思维下,数据洞察不再依存于基于复杂模型的抽样理论,而是基于全量数据进行分析,进行全量计算,从而降低对复杂模型的依赖。


这要求数据平台必须拥有出色的处理能力和高度的灵活性,以便能够迅速适应不断变化的数据环境和业务需求。然而,传统的 MPP 数据库由于采用了存储与计算紧密耦合的架构,导致其弹性伸缩能力不足,难以满足当前数字化转型需求。为了解决这些挑战,需要采用新的技术架构和管理方法,以提高数据平台的灵活性、可扩展性和安全性。


针对上述挑战,吴昊详细介绍了基于存算分离架构的 HashData 云原生数据仓库的独特优势。他强调,HashData 采用元数据、计算和存储三者分离的架构,能够更好地适应跨集群、跨中心以及跨云中心的数据访问。



f22aea4595b63965cecc24baed1969da.jpeg


HashData 利用统一的元数据和存储服务,构建了具有权威性的企业级数据视图,使得多个计算集群能够无缝共享数据。借助云端资源的灵活伸缩性,不仅显著提升了运维效率,还降低了系统复杂度,并成功消解了木桶效应等潜在问题。基于存算分离和云原生架构,目前 HashData 部署的最大规模已达到 35000 节点,能够根据业务需求动态地分配资源,从而实现了计算资源的高效利用与弹性扩展。


•多形态数据集中存储能力,打破数据存储孤岛:非结构化多模态数据涵盖范围广,管理过程复杂。HashData 引入 Directory Table 目录表,存储和管理非结构化数据对象的元数据,这些元数据以结构化的形式存在 ,元数据信息与共享存储上的非结构化数据文件本身形成关联关系,用户可以使用熟悉的 SQL 语句来操作 Directory Table 和普通表。



89910739570736b9f0b68930969e3202.jpeg


•利用外部表/连接器集成大数据生态,融入企业湖仓架构:面对日益多样化的数据分析场景,HashData 云数仓提供湖仓一体技术方案,数据可以在湖仓之间高效互通,支持多种数据类型存储,从架构上真正实现了湖仓一体,减少用户重复建设成本。HashData 可以同步 Hive、Hudi、Iceberg 元数据,建立外部表,并行访问大数据生态数据,参与 SQL 计算,并将数据缓存在计算节点,供后续使用。


d732df2a24ea56afdc6dcc434e525684.jpeg


•多样化分析计算能力—HashML 引擎:AI 技术的兴起为我们提供了新的机遇。HashData 基于 In-Database AI 的理念,内置功能丰富的 AI 开发工具箱 HashML,在一套架构下同时提供了面向 SQL 查询分析任务的 MPP 计算引擎和面向机器学习和深度学习任务的 ML/DL 计算引擎,赋能用户在数据查询处理、高级分析、机器学习、深度学习等场景的一站式、多层次融合分析和 AI 能力,帮助企业快速开发大模型等 AI 应用。


•存算分离的弹性架构,克服传统 MPP 局限性:HashData 通过独特的元数据、计算与存储分离架构,实现了计算集群的按需搭建与横向扩展,从而有效突破了传统 MPP 数据库在并发和计算能力上的局限。基于云原生能力,让计算、存储实现秒级独立伸缩,多个计算集群间共享同一份元数据信息,从而支撑企业业务的灵活扩展,确保工作负载在峰值场景下平稳运行。在保证了数据的一致性的同时,更节省存储和调用资源,大幅降低系统建设和维护成本。


吴昊进一步分享了 HashData 在电信行业的实际应用案例:


•基于信创底座构建湖仓融合的数据中台:某大型运营商选用 HashData 进行数据中台信创升级改造。HashData 运用云原生技术重构大数据算力调度引擎,并基于客户信创底座构建多样化分析平台。该平台融合现有大数据体系,支持批量和准实时分析,采用联邦 HDFS 统一存储、管理多源异构数据,实现数据一次入湖、直观分析。同时,支持多引擎融合,允许用户根据需求灵活选择计算引擎,并能根据租户需求隔离计算业务集群,弹性调整算力。基于存算分离架构,该平台能够满足各类业务场景的技术需求,实现业务资源需求快速交付,历史数据平滑过渡,核心技术自主可控,为用户业务增长提供了强有力的支持。


•基于 K8S 打造云原生数据平台:某运营商联合酷克数据团队,突破以往容器化仅用于无状态应用场景或开发测试环境的限制,采用 K8S+HashData 的技术路线,在国内率先建成真实生产环境下的容器化部署大规模云原生数据仓库。相比原有数据平台,基于容器化部署的 HashData 云数仓,具备高可用、高并发、计算资源水平无限扩展、秒级扩缩容等能力,扩缩容期间不影响业务连续性,实现了计算资源快速部署、高效交付的建设目标。


最后,吴昊展望了存算分离架构在电信行业的广阔前景。他认为,随着技术的不断进步和业务的持续发展,存算分离架构将在更多领域发挥重要作用。酷克数据也将继续致力于云端数据仓库的研发与应用推广,为电信行业乃至整个社会的数字化转型贡献更多力量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/3249753.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

给Wordpress评论列表的用户昵称增加个性化角色称号和注册年数

什么是个性化角色称号? 个性化称号:其实就是对应wordpress的几个用户组,重新给它装个面具。 比如:管理员 -> 华山掌门 比如:订阅者 -> 华山弟子 比如:VIP组 -> 掌门亲传弟子 。。。 就是个好玩的东西 什么又是注册年数? 显示用户在你的网站上注册了多少…

阿里布达插画:成都亚恒丰创教育科技有限公司

阿里布达插画:梦幻与现实交织的绮丽画卷 在浩瀚的艺术长河中,总有一些作品以其独特的魅力,跨越时空的界限,触动着每一个观者的心灵。阿里布达插画,便是这样一股不可忽视的艺术清流,它以细腻的情感描绘、奇…

紫光展锐5G安卓核心板T760__国产手机芯片方案

展锐T760安卓核心板是具备续航和性能更加均衡的5G移动平台。其主要特点包括主流的6400万像素摄像头和高达120Hz的刷新率。 平台采用多模融合的创新架构和AI智能调节技术,从而在5G数据场景下降低了37%的整体功耗,在5G待机场景下降低了18%的整体功耗。 多…

收银系统源码-线上商城diy装修

线下线上一体化收银系统越来越受门店重视,尤其是连锁多门店,想通过线下线上相互带动,相互引流,提升门店营业额。商城商城如何装修呢? 1.收银系统开发语言 核心开发语言: PHP、HTML5、Dart后台接口: PHP7.3后合管理网…

40.简易频率计(基于等精度测量法)(3)

(1)BCD8421码:十进制数字转换成BCD8421码的方法 补零:你需要显示多少位数字,就在前面补上四倍的位宽。比如你要显示一个十进制8位的数字,就在前面补上8*432个零。判断:判断补零部分显示的十进制…

2024717-VSCode-1.19.1-部署gcc13-C++23-win10-22h2

2024717-VSCode-1.19.1-部署gcc13-C++23-win10-22h2 一、软件环境 标签:C++ VSCode mingw gcc13分栏:C++操作系统:Windows10 x64 22h2二、操作步骤 1. 下载安装VScode 1.1官网 打开官网【https://code.visualstudio.com/Download】,选择【System Installer】【x64】,按…

一款由AI编写,简洁而实用的开源IP信息查看器

大家好,今天给大家分享一款用于查询和显示用户当前 IP 地址的轻量级项目MyIP。 MyIP提供了多种功能,包括IP地址查询、网络连通性检查、WebRTC连接检测、DNS泄露检查、网速测试、MTR测试等等。 使用MyIP,我们可以轻松地查看自己的公网IP地址&…

微软成为PostgreSQL主要贡献者

微软对PostgreSQL贡献的很多新功能都来自于客户在使用微软Azure上的PostgreSQL管理实例数据库,所以这些新功能都来自于真实的客户需求 微软贡献的这些新功能都是比较实用的功能 在这里,【真实的客户需求】要突出一下,因为现在很多社区贡献者…

电脑屏幕录制怎么弄?分享3个简单的电脑录屏方法

在信息爆炸的时代,屏幕上的每一个画面都可能成为我们生活中不可或缺的记忆。作为一名年轻男性,我对于录屏软件的需求可以说是既挑剔又实际。今天,我就为大家分享一下我近期体验的三款录屏软件:福昕录屏大师、转转大师录屏大师和OB…

DMA空闲中断实现接收不定长数据(基于HAL库)

DMA空闲中断实现接收不定长数据(基于HAL库-F103ZET6): 第一步正常配置Cubemx: 1 时钟:SYS: 2 LED: 我这里判断它进入的是哪个中断 第二步串口及DMA基础配置: 1 串口设置: 开启中断&#xff…

新文件覆盖旧文件还能复原吗?八大excel文档修复软件免费

新文件覆盖旧文件还能复原吗?文件操作失误,尤其是新文件意外覆盖旧文件的情况时有发生,面对文件被覆盖的情况,我们不仅需要冷静应对,更需要掌握一系列有效的恢复策略。本文将深入探讨八种免费方法,旨在帮助…

将达梦数据库的JDBC驱动包 DmJdbcDriver18.jar 安装到本地 Maven 仓库

项目打包报错:Failure to find com.dameng:DmJdbcDriver18:jar:8.1.3.12 in http://maven.aliyun.com/nexus/content/groups/public 解决方式如下: 从 https://eco.dameng.com/download/ 中下载 达梦JDBC 驱动包,如下 JDK 1.8 对应的 JDBC…

免费恢复软件有哪些?电脑免费使用的 5 大数据恢复软件

您是否在发现需要的文件时不小心删除了回收站中的文件?您一定对误操作感到后悔。文件永远消失了吗?还有机会找回它们吗?当然有!您可以查看这篇文章,挑选 5 款功能强大的免费数据恢复软件,用于 Windows 和 M…

【iOS】——编译链接和动态链接器

前言 计算机语言分为机器语言:汇编语言,高级语言。 可以将高级语言分为两种:1,编译语言和解释型语言(直译式语言)。 编译型语言(一次性翻译) 编译型语言的程序只要经过编译器编译之…

Spring如何管理Mapper

目录 一、背景二、猜测三、源码查看步骤1、创建MapperScannerConfigurer.java2、MapperScan注解3、MapperScannerRegistrar执行registerBeanDefinitions方法4、MapperScannerConfigurer执行postProcessBeanDefinitionRegistry方法5、执行doscan6、设置beanClass7、使用jdk生成代…

sql常见50道查询练习题

sql常见50道查询练习题 1. 表创建1.1 表创建1.2 数据插入 2. 简单查询例题(3题)2.1 查询"李"姓老师的数量2.2 查询男生、女生人数2.3 查询名字中含有"风"字的学生信息 3. 日期相关例题(6题)3.1 查询各学生的年龄3.2 查询本周过生日的…

解决:Linux上SVN 1.12版本以上无法直接存储明文密码

问题:今天在Linux机器上安装了SVN,作为客户端使用,首次执行SVN相关操作,输入账号密码信息后,后面再执行SVN相关操作(比如"svn update")还是每次都需要输入密码。 回想以前在首次输入…

Typora 1.5.8 版本安装下载教程 (轻量级 Markdown 编辑器),图文步骤详解,免费领取

文章目录 软件介绍软件下载安装步骤激活步骤 软件介绍 Typora是一款基于Markdown语法的轻量级文本编辑器,它的主要目标是为用户提供一个简洁、高效的写作环境。以下是Typora的一些主要特点和功能: 实时预览:Typora支持实时预览功能&#xff0…

云监控(华为) | 实训学习day3(10)

实现数据的增删改查 SpringBoot框架模式 向送外卖一样理解 写程序 1、准备食材(java bean) 2、菜谱(pojo接口->预制->sql 语句) 3、service处理 4、controller 派送 5、用户请求->页面 一、Spring Boot实现增加 第一步:食材(表),用户增加,这里还是用户…

使用Python和Pandas进行数据分析:入门与实践

目录 引言 准备工作 安装Python与Pandas 导入Pandas库 Pandas基础 数据结构 创建Series和DataFrame 读取数据 数据探索 查看数据 数据清洗 数据可视化 实战案例:分析销售数据 引言 在当今数据驱动的时代,数据分析已成为各行各业不可或缺的…