查询外部数据源因内存限制取消,是否有落盘策略,除增加物理内存外有没有其它方法解决

Viewed 32

【Doris 使用环境】生产环境

【Doris 版本】3.0.4

【问题描述】

doris内目标表为unique数据模型
外部数据源为PG库 使用jdbcCatalog连接

执行sql模板:
insert into doris目标表
SELECT xxx
from 外表数据源.外部表A
join ...

外部数据源查询结果集会上亿或十亿

【机器配置】包括:5台虚拟机,32c 10tssd。混布5台fe,机器内存均为64G

1 Answers

算子落盘会在3.1支持,目前只能加资源或者where过滤查询