workload group 内存隔离问题

Viewed 70

使用内存硬隔离, 发现如果设置并行度较多的时候,进行压测, 使用内存仍然高于设定值, 也就是内存硬限没有生效, 问下这个为什么

2 Answers

workload group只统计了在workload group中注册了memtracker的query,doris的page cache,内存分配的cache,be元数据部分的cache是没有统计的,可以理解为doris的系统内存,所以预期是要高一些的

  1. 高多少,有没有相关metric指标看看的。
  2. 使用workload group若设置了内存硬隔离(通过将enable_memory_overcommit设置为false),但发现在并行度较高的情况下进行压力测试时,使用的内存仍然超过了设定的值,可能的原因有以下几点:
  • 在高并发场景下,由于多个查询任务可能在同一时间被触发,它们可能会短暂地同时使用内存,导致瞬间内存使用量超过设定的硬限制。
  • 在压力测试期间,由于内存资源竞争激烈,系统可能未能及时响应内存限制策略,或者策略的执行存在延迟,导致内存硬限制没有立即生效。