OpenMLDB 作为中国唯一的特征平台产品入选 2023 Gartner 研究报告

在国际权威咨询与研究机构 Gartner 发布的重要研究报告《The Logical Feature Store: Data Management for Machine Learning》(《逻辑特征存储:机器学习的数据管理》,下文简称报告)中,OpenMLDB 荣幸作为中国唯一的特征平台代表产品入选该报告。
file
该报告深刻剖析了当前机器学习应用在实际落地过程中面临的三大难题:全流程效率低、可复用性差、训练环境与生产环境不一致,从而解释了数据库特征平台的迫切必要性。考虑到研发特征平台所涉及的高度复杂性和资源占比的挑战, Gartner 坚信相对于企业自主研发,寻求外部采购尤其是购买集成特征平台的 MLOps 全方位数据库解决方案,是一种更具性价比的选择。在这一方面, OpenMLDB 以其卓越表现成功入选 Gartner 推荐的供应商名单,成为中国唯一入选的集成特征平台的 MLOps 数据库解决方案产品。此报告对渴望拓展机器学习业务规模的企业具有专业指导意义。

OpenMLDB:提供线上线下一致的生产级特征平台,实现每单位成本效能提升500%

Gartner 在其报告中强调了机器学习在实际应用中的挑战,即企业的机器学习团队通常不得不投入大量时间在解决数据问题上,而没有精力专注于实际的模型开发和优化,在这一过程中,还存在大量的特征定义不一致以及频繁的重复返工。 OpenMLDB 的研究也揭示了相似的现象:在人工智能工程实践中,企业的数据和工程化团队往往耗费了整体95%的时间和精力用于数据处理、特征校验等相关工作。

在没有 OpenMLDB 的传统方式下,实时特征计算上线通常需要经历以下三个步骤:(1)数据科学家离线使用SparkSQL 或 Python 开发特征脚本;(2)由于开发的离线脚本无法满足生产环境的需求,工程化团队需要将其基于不同的工具栈重新优化;(3)最后,需要对数据科学家开发的离线特征脚本和工程化团队开发的线上服务进行计算逻辑的一致性校验。整个过程涉及两组开发人员、两套工具栈,带来高昂的落地成本。
file
OpenMLDB 的目标是开发即上线,让数据科学家开发的特征脚本能够在生产环境直接上线。平台具备离线和在线两套处理引擎,其中在线引擎经过深度优化,既满足线上生产级需求,也通过一致性执行计划生成器自动保证线上线下一致性。使用 OpenMLDB ,机器学习应用在特征环节的落地仅包含以下两个步骤:(1)数据科学家使用 SQL 开发离线特征脚本;(2)通过一条部署命令,即可将特征脚本部署到线上引擎。这样在保证线上线下一致性的同时,成功实现毫秒级低延迟、高并发、高可用的线上服务。
file
因此, OpenMLDB 的最大价值是显著降低人工智能的工程化落地成本。对一个较大的业务场景, OpenMLDB 可以通过省去工程化团队的在线服务开发和线上线下一致性校验,将传统方式原有的6人月降低到1人月,实现每单位成本效能提升500%。

OpenMLDB X Akulaku:通过场景驱动,对 10 亿条订单进行窗口特征计算,成功实现4 毫秒延迟性能,节约资源保守估计400万以上

OpenMLDB 致力于解决 AI 工程化落地的数据治理难题,并且已经在上百个企业级人工智能场景中得到落地。其中 Akulaku 作为东南亚领先的互联网金融服务商,服务内容涵盖了电商全链路,应用场景包含金融风控、智能客服及电商推荐等。在以上众多场景中, Akulaku 都需要落地相应的 AI 应用。而对于电商金融这一领域,其往往对于特征计算环节有着极高的要求,要求线上部署具有低延时与高时效性,能尽可能反映新数据的实时特征计算,线下需求分析具有高吞吐量,与此同时还要保证线上线下的一致性。而在实际场景中,同时满足这三点并不容易。

对于这个难题, OpenMLDB 协助 Akulaku 针对性地构建了一套智能计算架构,将 OpenMLDB 的在线引擎嵌入模型计算层,离线引擎嵌入特征计算层,并通过场景驱动,在业务调用环节调用实时计算结果,成功对10亿条订单进行窗口特征计算,实现4毫秒延迟性能,节约资源保守估计400万以上。
file
除此之外, OpenMLDB 还帮助更多企业优化了其数据库架构,实现更好的 AI 场景落地。比如帮助唯品会将商品个性化推荐场景的特征开发迭代速度从5人天降低到2人天,带来特征开发迭代速度60%的提升。某头部银行反欺诈系统在离线开发、线上推理、自学习阶段都使用了 OpenMLDB 进行特征计算和管理,解决了困扰其已久的数据穿越、结果不一致问题,省去了昂贵的一致性校验成本。华为将 OpenMLDB 用于实时商品个性化推荐场景后,实现数据分钟级更新,小时级特征上线。未来, OpenMLDB 希望能帮助更多的企业解决数据及特征处理上的真实业务落地问题。

作为中国唯一入选 Gartner《The Logical Feature Store: Data Management for Machine Learning》报告的数据库特征平台代表产品, OpenMLDB 之后将持续打磨产品、优化性能,继续发挥自身在数据库特征平台领域的优势,力求将 AI 工作者们的时间从繁琐低效的数据处理中释放出来,助力企业实现更简单高效的机器学习应用落地。

相关阅读

  • OpenMLDB 官网:https://openmldb.ai/OpenMLDB
  • OpenMLDB GitHub 主页 https://github.com/4paradigm/OpenMLDB
  • OpenMLDB 文档 https://openmldb.ai/docs/zh/
  • 微信交流群
    file

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2774452.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

国产信创领跑者:暴雨信息的创新与实践

随着数字化转型的加速推进,信创产业作为数字经济发展的重要支柱,正日益受到社会各界的广泛关注。在这个大背景下,暴雨信息积极响应国家号召,全面适配国产化,推动信创产业的技术创新和应用拓展,成为了行业的…

Mybatis- plus 基本使用

目录 一. 引入依赖 二.定义Mapper 三.常见注解 3.1TableName 3.2.TableId 3.3TableField 3.4常见配置 一. 引入依赖 由于这个starter包含对mybatis的自动装配&#xff0c;因此完全可以替换掉Mybatis的starter。 <dependency><groupId>com.baomidou</gr…

前端JavaScript篇之数组的遍历方法有哪些?forEach和map方法有什么区别?

目录 数组的遍历方法有哪些&#xff1f;forEach和map方法有什么区别&#xff1f;forEach()map()filter()for…ofevery() 和 some()find() 和 findIndex()reduce() 和 reduceRight()forEach和map方法有什么区别总结 数组的遍历方法有哪些&#xff1f;forEach和map方法有什么区别…

U3D记录之FBX纹理丢失问题

今天费老大劲从blender建了个模型&#xff0c;然后导出进去unity 发现贴图丢失 上网查了一下 首先blender导出要改设置 这个path mode要copy 然后unity加载纹理也要改设置 这里这个模型的纹理load要改成external那个模式 然后就有了&#xff0c;另外这个导出还有好多选项可…

Spring如何扫描自定义的注解?

目录 一、Spring框架介绍 二、什么是自定义注解 三、如何扫描自定义的注解 一、Spring框架介绍 Spring框架是一个开源的Java应用程序框架&#xff0c;它提供了一种全面的编程和配置模型&#xff0c;用于构建现代化的企业级应用程序。Spring框架的核心原则是依赖注入&#x…

使用Softing edgeConnector模块将云轻松连接到Siemens PLC

一 工业边缘的连接解决方案 云服务提供商 (CSP) 引入了服务和功能&#xff0c;以简化基于云的工业物联网解决方案的实施。Azure Industrial IoT Platform或AWS IoT SiteWise支持标准协议和接口&#xff0c;例如OPC UA或MQTT。但是&#xff0c;如果您希望在典型的旧改项目中连接…

HttpServletResponse接口用于表示状态代码的字段

1. HttpServletResponse接口用于表示状态代码的字段 您已学习了状态代码以及可用于从servlet向客户机发送状态代码的HttpServletResponse接口的字段。下表列出了HttpServletResponse接口表示状态代码的一些其他字段。 字段状态代码描述SC_HTTP_VERSION_NOT_SUPPORTED505服务器…

Midjourney提示词风格调试测评

在Midjourney中提示词及风格参数的变化无疑会对最终的作品产生影响&#xff0c;那影响具体有多大&#xff1f;今天我我们将通过一个示例进行探究。 示例提示词&#xff1a; 计算机代码海洋中的黄色折纸船&#xff08;图像下方&#xff09;风格参考:金色长发的女人&#xff0c…

222. 完全二叉树的节点个数 - 力扣(LeetCode)

题目描述 给你一棵 完全二叉树 的根节点 root &#xff0c;求出该树的节点个数。 完全二叉树 的定义如下&#xff1a;在完全二叉树中&#xff0c;除了最底层节点可能没填满外&#xff0c;其余每层节点数都达到最大值&#xff0c;并且最下面一层的节点都集中在该层最左边的若干…

20240207-不要用摸鱼打发时间

20240207-不要用摸鱼打发时间 今天是农历年倒数第三天&#xff0c;很多人都已经回家过年了。我有其他出行计划&#xff0c;所以今年没有回家。其实这一点也有违背自己每年都要回家的原则&#xff0c;但相比往年&#xff0c;真的是更愿意出去不愿意回家了。 想家吗&#xff0c;…

FPGA_简单工程_无源蜂鸣器驱动实验

一 理论 蜂鸣器按其结构可分为电磁式蜂鸣器和压电式蜂鸣器2中类型&#xff0c;按其有无信号源&#xff0c;分为有源蜂鸣器和无源蜂鸣器。 有源蜂鸣器&#xff0c;内部装有集成电路&#xff0c;不需要音频驱动电路&#xff0c;就直接能发出声响&#xff0c;而无源蜂鸣器&#…

算法——前缀和算法

1. 什么是前缀和算法 前缀和算法&#xff08;Prefix Sum&#xff09;是一种用于快速计算数组元素之和的技术。它通过预先计算数组中每个位置前所有元素的累加和&#xff0c;将这些部分和存储在一个新的数组中&#xff0c;从而在需要计算某个区间的和时&#xff0c;可以通过简单…

C++ 内存管理(newdelete)

目录 本节目标 1. C/C内存分布 2. C语言中动态内存管理方式&#xff1a;malloc/calloc/realloc/free 3. C内存管理方式 3.1 new/delete操作内置类型 3.2 new和delete操作自定义类型 4. operator new与operator delete函数 5. new和delete的实现原理 6. 定位new表达式(placem…

设置idea中放缩字体大小

由于idea没默认支持ctrl滚轴对字体调节大小&#xff0c;下面一起设置一下吧&#xff01; 点击 文件 -> 设置 按键映射 -> 编辑器操作 -> 搜索栏输入f 点击减小字体大小 -> 选择增加鼠标快捷键 按着ctrl键&#xff0c;鼠标向下滚动后&#xff0c;点击确定即可 然后…

微软.NET6开发的C#特性——类、结构体和联合体

我是荔园微风&#xff0c;作为一名在IT界整整25年的老兵&#xff0c;看到不少初学者在学习编程语言的过程中如此的痛苦&#xff0c;我决定做点什么&#xff0c;下面我就重点讲讲微软.NET6开发人员需要知道的C#特性。 C#经历了多年发展&#xff0c; 进行了多次重大创新&#xf…

Hadoop搭建(完全分布式)

节点分布&#xff1a; bigdata-masterbigdata-slave1bigdata-salve2 NameNode NodeManager NodeManager SecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode 目录 一、jdk安装&#xff1a; 二、hadoop安装 一、jdk安装&#xff1a; jdk-8u212链接&am…

git 使用 (备查)

git忽略清单 添加忽略清单 SSH免登录 ssh协议可以实现免登录操作&#xff0c;身份验证通过密钥实现。 跨团队写作 解决冲突 拉取 克隆 拉取最新版本 推送 远程仓库别名 直接使用git push推送 多人协作开发 分支命令 合并分支命令在主分支使用&#xff0c;将develop分支合并到…

【力扣】快乐数,哈希集合 + 快慢指针 + 数学

快乐数原题地址 方法一&#xff1a;哈希集合 定义函数 getNext(n) &#xff0c;返回 n 的所有位的平方和。一直执行 ngetNext(n) &#xff0c;最终只有 2 种可能&#xff1a; n 停留在 1 。无限循环且不为 1 。 证明&#xff1a;情况 1 是存在的&#xff0c;如力扣的示例一…

【C++基础入门】七、指针(定义和使用、所占内存空间、空指针和野指针、const关键字修饰指针、指针和数组、指针和函数)

七、指针 7.1 指针的基本概念 指针的作用&#xff1a; 可以通过指针间接访问内存 内存编号是从0开始记录的&#xff0c;一般用十六进制数字表示可以利用指针变量保存地址 7.2 指针变量的定义和使用 指针变量定义语法&#xff1a; 数据类型 * 变量名&#xff1b; 示例&…

深入Pandas:精通文本数据处理的20+技巧与应用实例【第68篇—python:文本数据处理】

文章目录 Pandas文本数据处理方法详解1. str/object类型转换2. 大小写转换3. 文本对齐4. 获取长度5. 出现次数6. 编码方向7. 字符串切片8. 字符串替换9. 字符串拆分10. 字符串连接11. 字符串匹配12. 去除空格13. 多条件过滤14. 字符串排序15. 字符串格式化16. 多列文本操作17. …