【已记录】routine load 不消费kafka数据

Viewed 105
2.1 ingestion

我有7张表，以 tableName|jsonData 的格式写到同一个kafka的topic，数据没有被消费
然后我尝试一张表一张表的导入到不同的topic，然后创建不同的导入任务进行导入，发现有些表能导入进去，有些表不行
而导入不了的表的任务状态是 RUNNING，但是就是不消费数据，statistic里的loadedRows一直是0，progress也一直是{"0":"OFFSET_BEGINNING"}，lag的值很大
我检查了这些表的表结构，和能导入的那些表的结构的数据类型、模型类型基本都是差不多的

到后来，我发现连创建的任务都有问题了，比如创建后状态是RUNNING，otherMsg=
2024-05-14 08:07:59:errCode = 2, detailMessage = failed to send task: errCode = 2, detailMessage = failed to submit task. error code: TOO_MANY_TASKS, msg: (192.168.x.x)[TOO_MANY_TASKS]8200b69752a0422c-935632a7251c6d7d_192.168.x.x

我所有创建过的任务都有经过stop取消的

创建任务的语句：

CREATE ROUTINE LOAD xxxdb.task_test_1
PROPERTIES(
"format" = "json",
"json_root" = "$.data"
)
FROM KAFKA(
"kafka_broker_list" = "192.168.x.x:9092",
"kafka_topic" = "topic_source6",
"property.group.id" = "gid_ods6",
"property.kafka_default_offsets" = "OFFSET_BEGINNING"
);

希望有大佬解答下疑惑

____3
2 Answers
  1. 确定下是2.1的那个版本
  2. 一流多表 TOO_MANY_TASKS 这个问题在2.1.3上有fix PR: https://github.com/apache/doris/pull/33816
  3. 确定使用 json_root=$.data 能取到数据哈，否则就需要使用json_path的方式一个个取字段的方式。
阿渊@SelectDB5485

例行导入支持一流多表了？

阿帅73