【已解决】doris利用自带routine load消费kafka,出现反消费情况?

Viewed 100

1、我们的doris集群版本是2.0.3rc版本,采用doris 自带的routine load作业进行消费kafka,目前有20个load作业消费kafka,但是最近经常出现消费某个主题后,有重新回到最开始的位移进行消费,大约一个小时出现一次,不知道什么情况导致的?将每次拉去最大记录数和间隔时间均改小后,还是出现一样的额情况,大家有知道怎么回事的吗?求解答。
2、我们集群有2个fe节点,7个be节点,其中be节点分组,一个节点为stream组,2 3 4 5为online组,6 7 为pffline组,但是4 5 节点上的tabletnum数远超过2 3,导致online节点,压力全部落在4 5 ,这样会导致消费kakfa也会变慢,应该如何将online组的数据均匀分布在2 3 4 5节点呢?

1 Answers
  1. 根据 routine load的jobid去fe.log获取一下相关信息
  2. 第二个问题参考这个副本均衡排查指南看看