我目前通过doris外部表的方式,采集业务库的数据(亿级),利用子查询每次基于自增主键id(增量标识基于doris的目标表查询),增量同步10000条数据到doris目标库中,执行效率很低,不用子查询的情况下,执行效率正常,麻烦帮忙看看会是哪里存在问题?
目前分析了profile文件,发现子查询和业务查询的sql被拆成了两条sql语句在不同be节点上执行了,求指教是不是这个原因导致的问题,需要怎么解决?
外部表子查询,需要3m左右
select
*
from mysql8_out.schema.table
where
id > ( select max(id) from doris.table )
limit 10000
不适用子查询,写明固定配置查询,耗时8s
select
*
from mysql8_out.schema.table
where
id > '0100300320240407016668016'
limit 10000