Flink快速入门 2024年08月3日
0 收藏 0 点赞 137 浏览 1382 个字
摘要 :

一、Flink 是什么 Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意……

一、Flink 是什么

Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。

二、发展历史

Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由三所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目,由柏林理工大学的教授沃克尔·马尔科(Volker Markl)领衔开发。

  沃克尔·马尔科教授从 2001 年开始在美国 IBM Almaden 研究院工作,2008 年辞职。辞职前去走访了一些地方,表示他要回德国做教授了。还做了一些小范围的报告,研究方向是做一个比 MapReduce 牛逼的类似 MapReduce 的东西。这东西后来做出来了,就是 Stratosphere。

  这个项目起点比 Spark 还早,不知道为什么就是没有流行起来。而 Stephan Ewan 则是教授招的第一批学生里的一位。2014 年的时候,Stratosphere 等人决定把项目 rebrand 一下,改名叫做 Flink。当然代码里面很多也改了一下。从抄 MapReduce 转向了抄谷歌新一代系统 MillWheel。

  当然也不能说全抄袭,Flink 在分布式 Snapshot 上面还是有其独特的贡献的。于是 Flink 成为了第一个以流计算为核心的开源的计算引擎。其中 Stratosphere 贡献的代码是很多的。

  早期,Flink 是做 Batch 计算的,但是在 2014 年,Stratosphere 里面的核心成员孵化出 Flink,同时 Flink 计算的主流方向被定位为 Streaming。

  在德语中,Flink 一词表示快速和灵巧,项目采用一只松鼠的彩色图案作为 Logo,这不仅是因为松鼠具有快速和灵巧的特点,还因为柏林的松鼠有一种迷人的红棕色,而 Flink 的松鼠 Logo 拥有可爱的尾巴,尾巴的颜色与 Apache 软件基金会的 Logo 颜色相呼应,也就是说,这是一只 Apache 风格的松鼠。

一、Flink概述

  • 2014 年 8 月,Flink 第一个版本 0.6 正式发布(至于 0.5 之前的版本,那就是在 Stratosphere 名下的了)。与此同时 Fink 的几位核心成员创办了 Data Artisans 公司,主要做 Fink 的商业应用,帮助企业部署大规模数据处理解决方案;
  • 2014 年 12 月,Flink 项目完成了孵化,一跃成为 Apache 软件基金会的顶级项目;
  • 2015 年 4 月,Flink 发布了里程碑式的重要版本 0.9.0,很多国内外大公司也正是从这时开始关注、并参与到 Flink 社区建设的;
  • 阿里巴巴的搜索团队相中了 Flink,内部克隆并做了大量改动,改名叫做 Blink。意思是非常非常快,一眨眼功夫。然后 Flink 和阿里巴巴之间的互动就变得很频繁了。
  •  2019 年 1 月,长期对 Flink 投入研发的阿里巴巴,以 9000 万欧元(1.033 亿美元)的价格收购了 Data Artisans 公司,然后从 Data Artisans 并改名成为 Ververica。之后又将自己的内部版本 Blink 开源,继而与 8 月份发布的 Flink 1.9.0 版本进行了合并。自此之后,Flink 被越来越多的人所熟知,成为当前最火的新一代大数据处理框架。
  •  阿里云 Flink 产品:https://www.aliyun.com/product/bigdata/sc

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:http://yjxxt.com/335.html

上一篇:

已经没有上一篇了!

相关推荐
2024-08-03

        Flink 应用程序需要做的第一件事是设置它的执行环境。执行环境是确定程序在本地机器上运行…

862
2024-08-03

         构建一个典型的 Flink 流式程序需要以下几步:  设置执行环境; 从数据源中读取一条或多…

1,066
2024-08-03

一、分层 API         Flink 自底向上在不同的抽象级别提供了多种 API,并且针对常见的使用场景开…

645
2024-08-03

一、软件栈 Storage 层(存储层):Flink 本身并没有提供分布式文件系统,因此 Flink 的分析大多…

1,035
2024-08-03

         当前大数据领域主流的流式计算框架有 Apache Storm、Spark Streaming、Apache Flink 三种…

793
2024-08-03

一、事件驱动型应用 1.1 事件驱动型应用 事件驱动型应用是一种软件设计模式,它的工作方式就像在等…

678
发表评论
暂无评论

还没有评论呢,快来抢沙发~

点击联系客服

在线时间:9:00-18:00

客服电话

15201841284

客服邮箱

shanxn@yjxxt.com

扫描二维码

扫码加微信咨询