DataSet API编程
DataSet API开发概述
Data Source
Transformation
Sink
Source:源/源头
reading files
local collections
Source ==> Flink(transformations)==> Sink
Sink:目的地
distributed)files
standard output
转换/算子
scala
基于flink编程的计数器开发三步曲
step1:定义计数器
step2:注册计数器
step3:获取计数器
Flink中使用数据源
StreamExecutionEnvironment.addSource(sourceFunction)
implementing the SourceFunction for non-parallel sources
implementing the ParallelSourceFunction interface
extending the RichParallelSourceFunction for parallel sources.
SourceFunction
ParallelSourceFunction
RichParallelSourceFunction
之间的关系
自定义Sink总结
1)RichSinkFunction<T> T就是你想要写入对象的类型
2)重写方法
open/close 生命周期方法
invoke 每条记录执行一次