【已解决】算存分离中，为什么我的数据量才80G，但是存储高达600G甚至有时达到1.4T

Viewed 100
decoupled 3.0 storage cluster

查询的数据
image.png
hdfs 的副本数是3个
image.png
我的配置都是使用默认配置；
我需要注意什么，才能保证不会暴增硬盘使用率；

21
2 Answers
21

需要看 Meta Service 是否有正常运行，如果 recycler是独立部署的话，则看recycler 有没有正常运行；
如果都正常运行，则考虑是否出现回收线程被阻塞了。 通过 ps ef|grep 找到对应进程pid,jstack 人工判断阻塞情况；
3.0.3版本中recycler 服务随着运行时间增加，回收效率会下降
因此可以考虑定期重启 recycler 数据回收服务；

注意： recycler服务，在回收大批量数据时，会频繁出现回收效率低下，需要多次重启，来保证数据正常被回收；

21