一、Flink 是什么 Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意……
一、
Apache Flink 是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行,并能以内存速度和任意规模进行计算。
二、
沃克尔·马尔科教授从 2001 年开始在美国 IBM Almaden 研究院工作,2008 年辞职。辞职前去走访了一些地方,表示他要回德国做教授了。还做了一些小范围的报告,研究方向是做一个比 MapReduce 牛逼的类似 MapReduce 的东西。这东西后来做出来了,就是 Stratosphere。
这个项目起点比 Spark 还早,不知道为什么就是没有流行起来。而 Stephan Ewan 则是教授招的第一批学生里的一位。2014 年的时候,Stratosphere 等人决定把项目 rebrand 一下,改名叫做 Flink。当然代码里面很多也改了一下。从抄 MapReduce 转向了抄谷歌新一代系统 MillWheel。
当然也不能说全抄袭,Flink 在分布式 Snapshot 上面还是有其独特的贡献的。于是 Flink 成为了第一个以流计算为核心的开源的计算引擎。其中 Stratosphere 贡献的代码是很多的。
早期,Flink 是做 Batch 计算的,但是在 2014 年,Stratosphere 里面的核心成员孵化出 Flink,同时 Flink 计算的主流方向被定位为 Streaming。
在德语中,Flink 一词表示快速和灵巧,项目采用一只松鼠的彩色图案作为 Logo,这不仅是因为松鼠具有快速和灵巧的特点,还因为柏林的松鼠有一种迷人的红棕色,而 Flink 的松鼠 Logo 拥有可爱的尾巴,尾巴的颜色与 Apache 软件基金会的 Logo 颜色相呼应,也就是说,这是一只 Apache 风格的松鼠。
- 2014 年 8 月,Flink 第一个版本 0.6 正式发布(至于 0.5 之前的版本,那就是在 Stratosphere 名下的了)。与此同时 Fink 的几位核心成员创办了 Data Artisans 公司,主要做 Fink 的商业应用,帮助企业部署大规模数据处理解决方案;
- 2014 年 12 月,Flink 项目完成了孵化,一跃成为 Apache 软件基金会的顶级项目;
- 2015 年 4 月,Flink 发布了里程碑式的重要版本 0.9.0,很多国内外大公司也正是从这时开始关注、并参与到 Flink 社区建设的;
- 阿里巴巴的搜索团队相中了 Flink,内部克隆并做了大量改动,改名叫做 Blink。意思是非常非常快,一眨眼功夫。然后 Flink 和阿里巴巴之间的互动就变得很频繁了。
- 2019 年 1 月,长期对 Flink 投入研发的阿里巴巴,以 9000 万欧元(1.033 亿美元)的价格收购了 Data Artisans 公司,然后从 Data Artisans 并改名成为 Ververica。之后又将自己的内部版本 Blink 开源,继而与 8 月份发布的 Flink 1.9.0 版本进行了合并。自此之后,Flink 被越来越多的人所熟知,成为当前最火的新一代大数据处理框架。
- 阿里云 Flink 产品:https://www.aliyun.com/product/bigdata/sc
还没有评论呢,快来抢沙发~