doris利用自带routine load消费kafka,doris出现丢失数据的情况?

Viewed 27

问题描述:当前doris版本为2.0.2-rc版本,采用doris自带的routine load进行消费kafka,kafka里面的数据格式是数组json串格式的,很明确的是数据已经发送到kafka中,但是在消费过程中丢失数据导致未入doris中。
官网声称是可以保证数据不丢失的,而且我们的数据模型是uqique模型,大佬有知道是什么问题导致的吗?就这个主题的表数据丢失数据,其他表目前没问题。

1 Answers

1、show routine load看看meg是否有异常信息
2、是否开启了严格模式strict_mode=true,也可能是数据质量问题导致被过滤了,具体属性可参考:routine load导入参数说明