Flink快速入门 2024年08月3日
0 收藏 0 点赞 716 浏览 443 个字
摘要 :

        任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。         数据可以……

        任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录,所有这些数据都形成一种流。

        数据可以被作为 无界 或者 有界 流来处理。

三、无界和有界数据三、无界和有界数据

  • 无界流

    • 有定义流的开始但没有定义流的结束

    • 它们会无休止地产生数据。无界流的数据必须持续处理即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的,在任何时候输入都不会完成。

    • 处理无界数据通常要求以特定顺序摄取事件例如事件发生的顺序以便能够推断结果的完整性

  • 有界流

    • 有定义流的开始也有定义流的结束

    • 有界流可以在摄取所有数据后再进行计算

    • 有界流所有数据可以被排序、统计或汇总计算后再输出结果所以并不需要有序摄取

    • 有界流处理通常被称为批处理

  Apache Flink 擅长处理无界和有界数据集 精确的时间控制和状态化使得 Flink 的运行时(runtime)能够运行任何处理无界流的应用。有界流则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理,产生了出色的性能。

 

微信扫一扫

支付宝扫一扫

版权: 转载请注明出处:http://yjxxt.com/197.html

下一篇: 四、应用场景
相关推荐
2024-08-03

        Flink 应用程序需要做的第一件事是设置它的执行环境。执行环境是确定程序在本地机器上运行…

862
2024-08-03

         构建一个典型的 Flink 流式程序需要以下几步:  设置执行环境; 从数据源中读取一条或多…

1,236
2024-08-03

一、分层 API         Flink 自底向上在不同的抽象级别提供了多种 API,并且针对常见的使用场景开…

788
2024-08-03

一、软件栈 Storage 层(存储层):Flink 本身并没有提供分布式文件系统,因此 Flink 的分析大多…

1,207
2024-08-03

         当前大数据领域主流的流式计算框架有 Apache Storm、Spark Streaming、Apache Flink 三种…

975
2024-08-03

一、事件驱动型应用 1.1 事件驱动型应用 事件驱动型应用是一种软件设计模式,它的工作方式就像在等…

843
发表评论
暂无评论

还没有评论呢,快来抢沙发~

点击联系客服

在线时间:9:00-18:00

客服电话

15201841284

客服邮箱

shanxn@yjxxt.com

扫描二维码

扫码加微信咨询