【已解决】Flink消费kafka数据到Doris,Doris的streamload返回Encountered unqualified data,stop processing

Viewed 314

【Doris版本】2.1.2
【问题】flink任务执行过程中,BE的streamload返回success和Encountered unqualified data,stop processing这两种状态,请问这种情况有没有规避的方法

{"TxnId":44416,
"label":"*****_0_1",
"Comment":"",
"TwoPhaseCommit":"true",
"Status":"Fail",
"Message":"[INTERNAL_ERROR]canceled: [CANCELLED][END_OF_FILE]Encountered unqualified data,stop processing"
"NumberTotalRows":0,
"NumberLoadedRows":0,
"NumberFilteredRows":0,
"NumberUnselectedRows":0,
"LoadBytes":13062144,
"LoadTimeMs":22157,
"BeginTxnTimesMs":0,
"StreamLoadPutTimeMs":2,
"ReadDataTimeMs":21,
"WriteDataTimeMs":3818,
"CommitAndPublishTimeMs":0
} 

补充

实际测试: 出现上述问题使用的表采用dynamic_partition设计,将动态分区删除重建为auto partition模式后,运行flink任务恢复正常

2 Answers

Auto partition成功以后可以看下分区,如果确实有一些Dynamic partition之前范围以外的分区的话,就能确认之前的问题原因了。
另外使用Auto partition,推荐尽快将doris升级到2.1.4,在2.1的早期版本,这个功能在个别情况下仍然有一些问题

实际测试: 出现上述问题使用的表采用dynamic_partition设计,将动态分区删除重建为auto parttion模式后,运行flink任务恢复正常
Doris版本2.1.2