Apache Doris 2.1.3版本未开启enable_join_spill,导致left join数据量过大的场景下计算结果数据不一致。

Viewed 28

Doris版本信息:2.1.3
Version: doris-2.1.3-rc09-2dc65ce356
复现语句:create table temp_4 as
select a.*,b.PROD_CATALOG_CD from temp_3 a left join INT3BAS.WID_PRD_PROD_INST_D b on a.prod_inst_id=b.PROD_INST_ID where b.P_DAY_ID=20240901 and b.PROD_CATALOG_CD='0';
问题描述:
enable_join_spill变量为默认关闭状态,查询返回结果为164行,无任何报错
image.png
打开enable_join_spill,查询返回结果为1762行
image.png
已验证打开enable_join_spill的1762行为准确结果。
烦请专家指导,感激不尽!

1 Answers

排查是旧优化器的问题,打开新优化器是OK的。