【已解决】算存分离中,为什么我的数据量才80G,但是存储高达600G甚至有时达到1.4T

Viewed 100

查询的数据
image.png
hdfs 的副本数是3个
image.png
我的配置都是使用默认配置;
我需要注意什么,才能保证不会暴增硬盘使用率;

2 Answers

需要看 Meta Service 是否有正常运行,如果 recycler是独立部署的话,则看recycler 有没有正常运行;
如果都正常运行,则考虑是否出现回收线程被阻塞了。 通过 ps ef|grep 找到对应进程pid,jstack 人工判断阻塞情况;
3.0.3版本中recycler 服务随着运行时间增加,回收效率会下降
因此可以考虑定期重启 recycler 数据回收服务;

注意: recycler服务,在回收大批量数据时,会频繁出现回收效率低下,需要多次重启,来保证数据正常被回收;