flink 去重问题请教

[dtgxx]

请教大家一个问题，flink 实时处理 kafka 的 json 数据，比如数据结构里面的 key 有 a 、b 、c ，我需要对 a 相同的所有数据去重，然后输出 a 、b 、c ，例如：
① {"a":"1","b":"2","c":"3"} ② {"a":"1","b":"222","c":"333"} 就会认为 ① 和 ② 是重复数据，最终只会输出 ①，只要当天的数据可以这样去重就可以。 在 flink 如何实现这个需求呢？麻烦大佬详细说说。

[vvtf]

2 种思路,
1 是使用滑动窗口, 窗口大小为 24h,
然后去重;

2 是记录一个上次 a 出现的时间, 如果大于 24h 就重新计算, 小于 24h 就跳过.

下面是方法 1 的代码:
ds
.windowAll(TumblingProcessingTimeWindows.of(Time.hours(24)))
.process(new ProcessAllWindowFunction<String, String, TimeWindow>() {
private static final long serialVersionUID = 1L;

@Override
public void process(ProcessAllWindowFunction<String, String,
TimeWindow>.Context ctx,
Iterable<String> values, Collector<String> out) throws Exception {
boolean repeat = false;
for (String value : values) {
if (value.toLowerCase().indexOf("a") > -1) {
if (repeat) {
continue;
}
repeat = true;
}
out.collect(value);
}

}
})
.print();

[vvtf]

if (value.toLowerCase().indexOf("a") > -1)
这个判断是我的测试代码,
你可以改成你的 json 方式判断.

[dtgxx]

@vvtf 感谢大佬 感谢大佬 直接贴代码了，膜拜！！

[ihehe]

一楼的滚动窗口是有问题的，24 小时才触发一次
这种简单的去重 keyby 后存个 state 就可以了