这两张图片,第一张是内存使用过量,导致FE崩掉,manager自动启动了;
第二张是最近7天的FE内存使用情况,按说任务每天执行,内存使用曲线应该是也是按天起伏的,但看起来并不是,所以怀疑是FE不会释放内存,导致内存一直累积使用,直到FE崩掉。
各位大佬看看是不是这个原因。
下面是集群的情况:
1个FE节点,16G内存
1个BE节点,48G内存。
一共300张表,30G数据量。每天用DataX抽数的数据量在20多G左右。
这两张图片,第一张是内存使用过量,导致FE崩掉,manager自动启动了;
第二张是最近7天的FE内存使用情况,按说任务每天执行,内存使用曲线应该是也是按天起伏的,但看起来并不是,所以怀疑是FE不会释放内存,导致内存一直累积使用,直到FE崩掉。
各位大佬看看是不是这个原因。
下面是集群的情况:
1个FE节点,16G内存
1个BE节点,48G内存。
一共300张表,30G数据量。每天用DataX抽数的数据量在20多G左右。
这个问题解决了,是因为我fe节点的物理内存是16G,但jvm默认内存也是16G造成的,我改成8G就好了,fe节点安装好之后,需要按照实际情况修改jvm内存配置。
修改fe.conf