Flink基础篇|002_Flink前世今生

在这里插入图片描述

📫 作者简介:「六月暴雪飞梨花」,专注于研究Java,就职于科技型公司后端工程师
🏆 近期荣誉:华为云云享专家、阿里云专家博主、腾讯云优秀创作者
🔥 三连支持:欢迎 ❤️关注、👍点赞、👉收藏三连,支持一下博主~

文章目录

  • 伊始
  • 关于Stratosphere
  • 派生Apache Flink
  • 阿里巴巴和Blink
  • 当前的Apache Flink
  • 总结

伊始

2010年,由Volker Markl(德国研究基金会——DFG资助)领导的研究项目“平流层:云上的信息管理”作为柏林工业大学、柏林洪堡大学和波茨坦Hasso-Plattner-Institut的合作项目启动。Flink从平流层分布式执行引擎的一个分支开始,并于2014年3月成为Apache孵化器项目。2014年12月,Flink被接受为Apache顶级项目。
在这里插入图片描述

关于Stratosphere

当我看到这个单词的时候,我其实第一次翻译过来是stratosphere「平流层」,亦称同温层,是地球大气层里上热下冷的一层,此层被分成不同的温度层,当中高温层置于顶部,而低温层置于低部。在第二届网格和超级计算机多任务计算研讨会论上提出高效的并行数据处理,在当时stratosphere是作为一个研究性的项目,目标是开发下一代大数据分析平台。Stratosphere的官网地址大家如果有兴趣可以过去浏览下,主要是了解下当时的一些概念以及意图。
在这里插入图片描述

派生Apache Flink

2014年Flink从Stratosphere分布式执行引擎的一个分支开始,当时的版本为v0.9,并于2014年3月成为Apache孵化器项目。2014年12月,Flink被接受为Apache顶级项目,2015年第一个发布版本v0.9.1。下面是Apache Flink的发布表(截止到目前为止,最新的发布版本为v1.18)帮助我们了解flink的发展历史:
在这里插入图片描述

阿里巴巴和Blink

如果提到Flink,那么就不得不提一下阿里巴巴的Blink。阿里巴巴在2015年开始尝试使用Flink,基于Blink的计算平台于2016年正式上线。在当时,阿里绝大多数的技术部门都在使用Blink。Blink一直在阿里内部错综复杂的业务场景中锻炼成长着。所以,Blink是阿里巴巴基于Apache Flink(具体是从flink v1.5版本开始)构建的一站式、高性能实时计算平台,广泛应用于流式数据处理、离线数据处理、DataLake计算等场景。
2019年1月,阿里云宣布将Blink开源给Apache Flink社区。Blink融入了Blink Table API和Blink Planner,这些都是对Flink原有功能的扩展和优化。因此,可以说Blink是Flink的一个改进版本,旨在提供更好的性能和更多的功能。
在Flink的母公司Data Artisans被阿里巴巴收购后,阿里巴巴开始逐步将内部的Blink代码开源,并将其合并到Flink的主分支上。这一合并过程发生在2019年8月22日,正式发布Apache Flink 1.9.0 版本,合并后,Flink 1.9中存在两个Planner:Flink Planner和Blink Planner。
在v1.9的版本上,做了如下的改进:
● 细粒度批作业恢复 (FLIP-1)
● State Processor API (FLIP-43)
● Stop-with-Savepoint (FLIP-34)
● 重构 Flink WebUI
● 预览新的 Blink SQL 查询处理器
● Table API / SQL 的其他改进
● 预览 Hive 集成 (FLINK-10556)
● 预览新的 Python Table API (FLIP-38)
这表明Blink的代码已经被正式集成到Flink的官方代码中,并成为了Flink的一部分。

当前的Apache Flink

Apache Flink成为ASF项目之后,官网地址:https://flink.apache.org/
在Github中,地址为:https://github.com/apache/flink
在这里插入图片描述

在Github中,目前最新的发布版本为v1.18.1,而在主版本中v1.19已经在开发迭代中,相信在不久的将来也会成为发布版本。如果在我们开发中,尽量避免使用新版本,而是使用稳定版本。
在这里插入图片描述在这里插入图片描述

总结

本文通过Flink和Blink来了解Flink的由来,了解在阿里贡献了很多代码给Flink,作为一个全球最大的电商公司,阿里使用Flink搜索、搜索算法实时A/B测试、在线机器学习、系统精准推荐功能等。得力于Flink的能力,我们可以解决工作中的很多事情,Flink主要应用场景包括实时数据计算、实时数据仓库和ETL、事件驱动型场景(如告警、监控)等。

[引用]
1、Stratosphere项目官网:http://stratosphere.eu/
2、Stratosphere公开出版:http://stratosphere.eu/project/publications/
3、Apache Flink 维基百科:https://en.wikipedia.org/wiki/Apache_Flink


欢迎关注博主 「六月暴雪飞梨花」 或加入【六月暴雪飞梨花社区】一起学习和分享Linux、C、C++、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和技术。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://xiahunao.cn/news/2778372.html

如若内容造成侵权/违法违规/事实不符,请联系瞎胡闹网进行投诉反馈,一经查实,立即删除!

相关文章

【计算机网络】协议层次及其服务模型

协议栈(protocol stack) 物理层链路层网络层运输层应用层我们自顶向下,所以从应用层开始探究应用层 协议 HTTP 提供了WEB文档的请求和传送SMTP 提供电子邮件报文的传输FTP 提供两个端系统之间的文件传输报文(message)是…

gem5学习(19):gem5内存系统——The gem5 Memory System

目录 一、Model Hierarchy 二、CPU 三、Data Cache Object 四、Tags & Data Block 五、MSHR and Write Buffer Queues 六、Memory Access Ordering 七、Coherent Bus Object 八、Simple Memory Object 九、Message Flow 1、Memory Access Ordering(re…

【MySQL】MySQL表的增删改查(进阶)

MySQL表的增删改查(进阶) 1. 数据库约束1.1 约束类型1.2 NULL约束1.3 UNIQUE:唯一约束1.4 DEFAULT:默认值约束1.5 PRIMARY KEY:主键约束1.6 FOREIGN KEY:外键约束:1.7 CHECK约束(了解) 2. 表的设…

NTLM||LM算法lsasswinlogon进程

来填坑了,这篇blog我们就来讲一下mimikatz能抓到开机的密码的原理 1.lsass&&winlogon 不知道大家有没有好奇过,我们每次开机输入密码之后,电脑又怎么知道我们是否输入正确呢? :这就要的得益于我们的两个进程…

单片机的认识

单片机的定义 先简单理解为: 在一片集成电路芯片上集成了微处理器(CPU )存储器(ROM和RAM)、I/O 接口电路,构成单芯片微型计算机,即为单片机。 把组成微型计算机的控制器、运算器、存储器、输…

【开源】SpringBoot框架开发校园疫情防控管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 学生2.2 老师2.3 学校管理部门 三、系统展示四、核心代码4.1 新增健康情况上报4.2 查询健康咨询4.3 新增离返校申请4.4 查询防疫物资4.5 查询防控宣传数据 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVueSpringBoot…

【linux温故】linux调度机制

假如你是设计者,你会设计怎样的调度机制呢? 时间片 最简单的,小学生都能想出来的一种,每个 ready task,按照一个固定的时间片轮流执行。 大家不要抢,挨个儿排队执行。执行完时间片,就排在后面…

RCS-YOLO复现

复现结果–Precision:0.941,Recall:0.945,AP 50 _{50} 50​:0.941,AP 50 : 95 _{50:95} 50:95​:0.693,误差在5个点内,可以接受 感想 第5篇完全复现的论文

Stable Diffusion 模型下载:Disney Pixar Cartoon Type A(迪士尼皮克斯动画片A类)

文章目录 模型介绍生成案例案例一案例二案例三案例四案例五案例六案例七案例八案例九案例十下载地址模型介绍 目前还没有一个好的皮克斯迪士尼风格的卡通模型,所以我决定自己制作一个。这是将皮克斯风格模型与我自己的Loras合并在一起,创建一个通用的3D西方卡通效果。在示例…

专业145+总分400+合肥工业大学833信号分析与处理综合考研经验电子信息通信,真题,大纲,参考书

今年专业课145总分400,我总结一下自己的专业课合肥工业大学833信号分析与处理和其他几门的复习经验。希望对大家复习有帮助。 我所用的教材是郑君里的《信号与系统》(第三版)和高西全、丁玉美的《数字信号处理》(第四版&#xff…

中文GPTS,字节中文扣子Coze使用全教程

字节出自己的GPTS了,名字英文名叫coze,中文名叫“扣子”。和OpenAI的GPTS类似。具有可定制性和完成特定任务的强大功能,它提供了一种新的GPT方式,可以让用户根据自己的需求定制化,并与其他用户共享。 国内用的是云雀大…

【闲谈】初识深度学习

在过去的十年中,深度学习彻底改变了我们处理数据和解决复杂问题的方式。从图像识别到自然语言处理,再到游戏玩法,深度学习的应用广泛且深入。本文将探讨深度学习的基础知识、关键技术以及最新的研究进展,为读者提供一个全面的视角…

Flink on k8s之historyServer

1.Flink HistoryServer用途 HistoryServer可以在Flink 作业终止运行(Flink集群关闭)之后,还可以查询已完成作业的统计信息。此外,它对外提供了 REST API,它接受 HTTP 请求并使用 JSON 数据进行响应。Flink 任务停止后&…

音视频/流媒体协议和编码汇总

一、流媒体协议 1. RTMP/RTMPT/RTMPS/RTMPE 等多变种 是应用层协议,使用TCP作为底层传输协议,并提供了低延迟、高带宽利用率和实时性的特点。 (1)RTMP协议是Adobe的私有协议,未完全公开 (2)一般传输的是 flv,f4v 格式流 2. RTP/RTCP/SRTP …

基础面试题整理7之Redis

1.redis持久化RDB、AOF RDB(Redis database) 在当前redis目录下生成一个dump.rdb文件,对redis数据进行备份 常用save、bgsave命令进行数据备份: save命令会阻塞其他redis命令,不会消耗额外的内存,与IO线程同步;bgsav…

云卷云舒:论超级数据库、算网数据库、智算数据库

笔者大胆提出一种“超级数据库”的概念设想。 一、超级能力 就像当初提出“超级计算机”一样,我们是否同样可以提出“超级数据库”的概念呢?当然不是不可以。 二、超级计算机 我们回忆一下“超级计算机”的发展之路,大致经过了如下几个环…

C++入门篇(4)—— 类与对象(1)

目录 1.类的引入 2.类的定义 3.类的访问限定符 4.类的作用域 5. 类对象的存储方式 6. this指针 6.1 this指针的引入 6.2 this指针的特性 6.3有意思的面试题 1.类的引入 C语言struct 结构体中只能定义变量,而C中可以定义函数。 struct Date {void Init(int…

VitePress-14- 配置-titleTemplate 的作用详解

作用描述 1、titleTemplate 是标题的后缀&#xff1b;2、可以自定义标题的后缀&#xff1b;3、可以自定义整个的标题以及后缀&#xff0c;语法如下&#xff1a; titleTemplate: :title 链接符号 自己定义的后缀 【:title】&#xff1a;从页面的第一个 <h1> 标题推断出的…

记录一次centos 使用selenium运行环境

这里写自定义目录标题 宝塔面板 安装 selenium安装google-chrome 宝塔面板 安装 selenium 安装google-chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 查看chrome版本 google-chrome --version 下载对应chrome版本的chro…

python实现基数排序

如果在给不同的整形数组排序的时候,一般会这样做,也就是先看最高位,如果最高位数值大的话也就意味着它的数值是最大的,而如果两个数字的最高位的数值是一样的,则继续比较次高位,这样依次去比较可以决定数字的排序。而对于基数排序来说,其思想是与以上的思想是不同的,基…