【已解决】Doris 1.2.1.1 元数据过大,FE OOM问题

Viewed 103

FE 的元数据过大, FE 8G 内存一直OOM ,增加内存后缓解了, 请问如何彻底解决?
img_v3_02d2_c2035888-d851-47a1-a043-da635766e33g.jpg

1 Answers
  1. 建议升级至稳定版本可以避免版本缺陷,比如1.2.8或2.0.13
  2. 内存较高时可以基于如下方式排查:
1. 观察profile是否是开启的,如果开启的话全局关闭

2. 导入任务多的话,可能是label堆积,可以修改label的保留时间
fe.conf
label_keep_max_second = 14400; 
streaming_label_keep_max_second = 14400;

3. 将FE JVM GC算法修改为G1,CMS算法修改为G1 算法

# G1 JAVA OPTS
JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UnlockExperimentalVMOptions -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE -Dlog4j2.formatMsgNoLookups=true"

-Xmx改成一致的,注意下CUR_DATE这个环境变量,在老版本可能叫DATE

4. 在内存较高时,可以打个jmap看看哪些模块占用较多:jmap -histo:live pid > 1.jmp