【已解决】doris2.0,以下参数的调整,可以帮助降低内存占用吗

Viewed 70

优化参数​

  1. FE的配置项cache_result_max_row_count,查询结果集放入缓存的最大行数,可以根据实际情况调整,但建议不要设置过大,避免过多占用内存,超过这个大小的结果集不会被缓存。
    vim fe/conf/fe.conf
    cache_result_max_row_count=3000

  2. BE最大分区数量cache_max_partition_count,指每个SQL对应的最大分区数,如果是按日期分区,能缓存2年多的数据,假如想保留更长时间的缓存,请把这个参数设置得更大,同时修改cache_result_max_row_count的参数。
    vim be/conf/be.conf
    cache_max_partition_count=1024

  3. BE中缓存内存设置,有两个参数query_cache_max_size和query_cache_elasticity_size两部分组成(单位MB),内存超过query_cache_max_size + cache_elasticity_size会开始清理,并把内存控制到query_cache_max_size以下。可以根据BE节点数量,节点内存大小,和缓存命中率来设置这两个参数。
    query_cache_max_size_mb=256
    query_cache_elasticity_size_mb=128

1 Answers
  1. 首先确定下具体的版本号,可以show backends查看
  2. FE 内存问题,可以这样排查
    a. 查看 profile是否有打开
    b. 如果导入任务比较多的话,可以先把label 保留时间调整下
    label_keep_max_second
    streaming_label_keep_max_second
  3. BE 内存问题,先看下 memtracker,分析下哪块比较多
    mem tracker