Advertisement

Flink程序处理多种类型的数据流及管理多种类型的数据传输链路

阅读量:

本文所用图来源网络,侵删

程序与数据流(DataFlow)

所有的Flink程序都是由三部分组成的: Source 、 Transformation 和 Sink。

Source 处理来自外部的数据输入;Transformation 应用各种运算算子对输入数据进行运算转换;Sink 管理将转换后的结果传递给外部系统。

在运行时, Flink上运行的程序会被映射成“逻辑数据流”( dataflows)。

每个dataflow都源自一个或多个sources,并导向一个或多个sinks。 dataflow相当于任意一种有向无环图(DAG)。

每个dataflow都源自一个或多个sources,并导向一个或多个sinks。 dataflow相当于任意一种有向无环图(DAG)。

通常情况下,在程序中执行的转换运算与Dataflow框架中的操作符之间存在一一对应的关系。

执行图(ExecutionGraph)

通过将Flink程序直接映射生成的数据流图也被视为StreamGraph这一高级视图形式,并被视为逻辑层架构的核心部分。在Flink系统中,为了实现对一个

全部评论 (0)

还没有任何评论哟~