【已解决】算存分离中，为什么我的数据量才80G，但是存储高达600G甚至有时达到1.4T

Viewed 80
decoupled 3.0 storage cluster

查询的数据
image.png
hdfs 的副本数是3个
image.png
我的配置都是使用默认配置；
我需要注意什么，才能保证不会暴增硬盘使用率；

21
2 Answers
21

需要看 Meta Service 是否有正常运行，如果 recycler是独立部署的话，则看recycler 有没有正常运行；
如果都正常运行，则考虑是否出现回收线程被阻塞了。 通过 ps ef|grep 找到对应进程pid,jstack 人工判断阻塞情况；
3.0.2版本中recycler 在仅有一个服务的情况下，随着运行时间增加，回收效率会下降
因此可以考虑定期重启 recycler 数据回收服务；

21