Routineload 间歇性失败, be报错"Too many task" 后无响应(需重启be)

Viewed 71

如题,kafka单组多消费者模式(hbase和doris同时消费), 5台物理机跑5be, 160core CCPU 600G内存, 启动了4个routineload 3个读取同一个topic并且可以稳定消费800万每秒 一到两小时, 另外一个routineload 压力较小可以忽略不计,在稳定消费1到2小时后有BE会报错"Too many tasks", 然后该be无响应, 在稳定运行期间负载从未超过10%, 内存负载也很低, 除了routineload写表外无任何其他操作,同消费组下的hbase稳定运行。简单看过日之后发现有锁严重超时,但是不知道原因。
下面是针对taskid筛选出来我觉得有问题的日志截图:

zoomed1.jpg

zoomed2.jpg

zoomed3.jpg

1 Answers

1.是哪个版本呢
2.用的是一流多表吗