网站建设 化工百度云搜索引擎官方入口

背景

在flink基于事件的时间处理中，水位线记录的生成是一个很重要的环节，本文就来记录下几种水位线记录的生成方式的其中一种：基于特殊记录的水位线生成器

基于特殊记录的水位线生成器

我们发送的事件中，如果带有某条特殊记录的元素代表了某种进度的标识的话，我们可以基于这条特殊的记录生成水位线，这样我们当收到这条特殊记录时就知道这个记录的时间戳之前的记录都已经全部收到了，也就是可以基于这条特殊记录发出水位线了。代码如下所示：

public class SpecialRecordWaterMark extends AssignerWithPunctuateWaterMarks{public long extractTimeStamp(event Event, previousTs long){
// 抽取记录的时间戳return event.getTimeStamp();
}public WaterMark checkAndGetNextWaterMark(event Event, extractedTs long){
if(event is '特殊记录'){//发出水位线,这里的delay可以为0，也可以为比如一分钟等数值return new WaterMark(extractedTs - delay)
}else{
//不发出水位线记录
}
}
}

总结

基于特殊记录的水位线生成器的最大问题时，flink是并行处理输入记录的，你如何能确保特殊记录是比正常记录后处理的？我能想到的场景是比如kafka队列，所有你要处理的记录都在某个分区中有序，特殊记录也是分区有序的情况下才能使用这种方法生成水位线