我在使用的时候发现有时候会出现随机的数据丢失问题,不知道是什么原因导致的
建表代码
create table test_trade_calendar (
trade_dt date not null
)
UNIQUE KEY(`trade_dt`)
DISTRIBUTED BY HASH(`trade_dt`) BUCKETS AUTO
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);
然后执行的操作是
- 批量插入20180101到最新日期的连续日期
- 每天定时插入当天的一个日期,例如在0点插入当天的日期
- 每个小时校验数据完整性,即检查过去30天是否有数据缺失,正常情况下应当为连续的日期
执行上述流程短至一天多至一周就会出现数据缺失的问题,大致缺失的情况如图
因为sql是其他框架产生的,我就把和这个表相关的audit_log导出了一下
可以看到在316行正常应当返回30行数据,实际只返回了29行,最相近的301行正常返回了30行数据
在版本2.0.3和2.1.1都存在这个问题
能否请各位大佬帮忙检查一下是什么原因,非常感谢!