【已记录】routine load 不消费kafka数据

Viewed 51

我有7张表,以 tableName|jsonData 的格式写到同一个kafka的topic,数据没有被消费
然后我尝试一张表一张表的导入到不同的topic,然后创建不同的导入任务进行导入,发现有些表能导入进去,有些表不行
而导入不了的表的任务状态是 RUNNING,但是就是不消费数据,statistic里的loadedRows一直是0,progress也一直是{"0":"OFFSET_BEGINNING"},lag的值很大
我检查了这些表的表结构,和能导入的那些表的结构的数据类型、模型类型基本都是差不多的

到后来,我发现连创建的任务都有问题了,比如创建后状态是RUNNING,otherMsg=
2024-05-14 08:07:59:errCode = 2, detailMessage = failed to send task: errCode = 2, detailMessage = failed to submit task. error code: TOO_MANY_TASKS, msg: (192.168.x.x)[TOO_MANY_TASKS]8200b69752a0422c-935632a7251c6d7d_192.168.x.x

我所有创建过的任务都有经过stop取消的

创建任务的语句:

CREATE ROUTINE LOAD xxxdb.task_test_1
PROPERTIES(
"format" = "json",
"json_root" = "$.data"
)
FROM KAFKA(
"kafka_broker_list" = "192.168.x.x:9092",
"kafka_topic" = "topic_source6",
"property.group.id" = "gid_ods6",
"property.kafka_default_offsets" = "OFFSET_BEGINNING"
);

希望有大佬解答下疑惑

2 Answers
  1. 确定下是2.1的那个版本
  2. 一流多表 TOO_MANY_TASKS 这个问题在2.1.3上有fix PR: https://github.com/apache/doris/pull/33816
  3. 确定使用 json_root=$.data 能取到数据哈,否则就需要使用json_path的方式一个个取字段的方式。

例行导入支持一流多表了?