Incremental text data reading in FLlink
发布时间
阅读量：
阅读量
以下代码能够完成从文件地址中进行增量读取操作；在完成第一次读取后，请注意当你向文件添加新数据时，系统会相应地进行第二次读取。
在该方法中定义了三个属性包括以下三个：
- 仅针对新增文件的类型负责整体内容处理
- 焦点放在追加操作的部分进行管理
- 针对追加后的内容进行完整重算以确保数据的一致性
在新的Flink版本中，默认只提供了两种运行模式：一个是单一处理模式（PROCESS_ONCE），另一个是增量式数据流支持（PROCESS_CONTINUOUSLY）。前者负责执行一次数据处理任务，后者则能够实现对增量式数据流的支持。
大家可以根据自己的需求选择模式。
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.io.TextInputFormat;
import org.apache.flink.core.fs.Path;
import org.apache.flink.streaming.api.datastream.DataStream;
im全部评论 (0)
还没有任何评论哟~