RoutineLoad异常,数据源是Kafka,提示获取不到Topic所有的Partition

Viewed 163

使用Kafka数据源进行Routine Load,状态变成了PAUSE,提示获取Partition失败,但是实际上是可以获取到Partition的

3 Answers

确定下Doris集群和kafka的联通性:
看下kafka service.properties 中配置的是ip还是hostname,需要和routineload job 中配置一致,同时需要确定联通性,如果是hostname 需要在Doris集群统一做映射

  • 目前排查发现在报错的时间段,在一个BE节点上,存在另一个节点的open brpc connection timeout错误;
  • 关闭掉另一个节点,再次提交Routine Load任务,正常,重启节点,发现不再输出open brpc connection timeout错误;
  • 再次提交Routine Load任务,正常,目前运行正常。

再观察一下,不过不太却确定是网络问题导致的还是我操作导致的,持续时间很长,应该不是网络问题

这个routine load在创建的时候有写partition吗?如果写的话可以把partiton属性给去掉,offset改成begining试试。

这样可以排查,是连通性问题还是partititon错误导致的