怀疑FE不会释放内存,导致内存一直累积使用,直到FE崩掉

Viewed 76


这两张图片,第一张是内存使用过量,导致FE崩掉,manager自动启动了;
第二张是最近7天的FE内存使用情况,按说任务每天执行,内存使用曲线应该是也是按天起伏的,但看起来并不是,所以怀疑是FE不会释放内存,导致内存一直累积使用,直到FE崩掉。
各位大佬看看是不是这个原因。
下面是集群的情况:
1个FE节点,16G内存
1个BE节点,48G内存。
一共300张表,30G数据量。每天用DataX抽数的数据量在20多G左右。

3 Answers

这个问题解决了,是因为我fe节点的物理内存是16G,但jvm默认内存也是16G造成的,我改成8G就好了,fe节点安装好之后,需要按照实际情况修改jvm内存配置。
修改fe.conf
image.png

我也有这种怀疑,测试节点32g内存,fe服务内存会一直膨胀到20多g

image.png
24号崩一回,30号崩一会,看这个周期,下一次要在4月6号了