flink web ui显示的数据,和实际插入表里的数据不一致

Viewed 5

1.使用flink doris connector,批次是10s;使用stream load csv格式实现upsert
2.目前程序运行1h,flink发送的数据有76w条,实际入库74w,有2w的一个延迟
3.程序日志没有看到报错的情况
请问下大佬们,这种情况应该怎么去定位,少的数据去哪里了?

1 Answers

可以参考如下两点进行定位:
1、可以开启严格模式,看是否因为数据质量的原因导致被过滤了:常见问题10
2、表模式是否为聚合模型,也可能是由于数据被去重聚合了