routine load 任务RUNNING 但数据无法导入

Viewed 119

Doris routine load 数据导入任务 卡着不动,lag值很大,show routine load没有报错,状态在RUNNING。

doris fe master 日志 fe.log,找不到明显错误日志。

3 Answers

去be.log找一下日志,估计是反复失败了

有一个怀疑的点是
"jsonpaths" = 这里什么都不写可能有问题,不需要这个值可以直接去了

看下 max_batch_interval 设置的值是多少,不宜太小,可以改成30看看

升级2.1的最新版本(目前2.1.6)已经解决了这个问题,有其他问题可以新起一个帖子继续跟进

我现在遇到了和你一样的问题
我有几张表,其中一些表能正常导入,一些表就不行
我是几张表发送到一个kafka的topic里,然后数据格式是 tableName|jsonDataString
发现数据不能正常导入,我就一张表一张表的尝试,然后有些表能正常导,有些表就不能,我对比表结构也找不出问题来,尝试用streamLoad去导入也能正常导入
最终在任务的otherMsg里发现了一个报错信息 failed to submit task. error code: TOO_MANY_TASK

但还是找不到解决办法