【已解决】be磁盘坏修复重启be后,cpu持续占满问题

Viewed 87

版本:2.0.9
背景:一台be数据盘坏盘
操作:修复坏盘后,去掉custom_conf中的broken path,启动be进程
问题现象:

  1. 启动be后,cpu使用率逐步上升,load飙升,磁盘使用率不高,监控如下:
    image.png
    image.png

  2. pstack无法打印

  3. compaction score持续上升,10000+
    image.png

  4. be日志里大量报错
    image.png

  5. replica missing的状态为decommission
    image.png
    image.png

2 Answers

是由于brpc_heavy_work_pool_threads设置太高导致;

我们把disable_tablet_scheduler打开后,负载下降到合理范围,使用top -Hp /pstack等命令查看,发现brpc_heavy这个线程很多(10400)。之前由于使用单副本导入模式,经常报错brp线程不够,就提升了,后面没有使用这个模式,把这个参数降低成默认值,解决了。

目前什么情况,pstack还打不了吗?