表结构:
create_date(Datetime),product_id(String),product_name(String),cpu(smallint),mem(smallint),disk(smallint),band(smallint),cnt(smallint)
- doris当前版本2.0.4
- 表为unique key表(create_date,product_id),按月进行分区
- 该表经历从1.2.4升级到2.0.4
现象:
整个表只有cpu,mem两列的少量行出现null的情况,而且全部集中在其中几十个相同的product_id,其它smallint的字段没有为null的情况
数据写入:
stream.map(p -> JSON.toJSONString(p, SerializerFeature.WriteNullNumberAsZero, SerializerFeature.WriteNullStringAsEmpty))
.sinkTo(dorisSink)
stream在转成json字符串过程中已经把为null的数值字段 默认设置为0了,所以正常来说写到doris不会存在null. 怀疑是丢了数据?