版本:2.0.9
背景:一台be数据盘坏盘
操作:修复坏盘后,去掉custom_conf中的broken path,启动be进程
问题现象:
-
启动be后,cpu使用率逐步上升,load飙升,磁盘使用率不高,监控如下:
-
pstack无法打印
-
compaction score持续上升,10000+
-
be日志里大量报错
-
replica missing的状态为decommission
版本:2.0.9
背景:一台be数据盘坏盘
操作:修复坏盘后,去掉custom_conf中的broken path,启动be进程
问题现象:
启动be后,cpu使用率逐步上升,load飙升,磁盘使用率不高,监控如下:
pstack无法打印
compaction score持续上升,10000+
be日志里大量报错
replica missing的状态为decommission
是由于brpc_heavy_work_pool_threads设置太高导致;
我们把disable_tablet_scheduler打开后,负载下降到合理范围,使用top -Hp /pstack等命令查看,发现brpc_heavy这个线程很多(10400)。之前由于使用单副本导入模式,经常报错brp线程不够,就提升了,后面没有使用这个模式,把这个参数降低成默认值,解决了。