FE 的元数据过大, FE 8G 内存一直OOM ,增加内存后缓解了, 请问如何彻底解决?
1. 观察profile是否是开启的,如果开启的话全局关闭
2. 导入任务多的话,可能是label堆积,可以修改label的保留时间
fe.conf
label_keep_max_second = 14400;
streaming_label_keep_max_second = 14400;
3. 将FE JVM GC算法修改为G1,CMS算法修改为G1 算法
# G1 JAVA OPTS
JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UnlockExperimentalVMOptions -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE -Dlog4j2.formatMsgNoLookups=true"
-Xmx改成一致的,注意下CUR_DATE这个环境变量,在老版本可能叫DATE
4. 在内存较高时,可以打个jmap看看哪些模块占用较多:jmap -histo:live pid > 1.jmp