doris外部表方式增量同步数据,速度很慢

Viewed 4

我目前通过doris外部表的方式,采集业务库的数据(亿级),利用子查询每次基于自增主键id(增量标识基于doris的目标表查询),增量同步10000条数据到doris目标库中,执行效率很低,不用子查询的情况下,执行效率正常,麻烦帮忙看看会是哪里存在问题?

目前分析了profile文件,发现子查询和业务查询的sql被拆成了两条sql语句在不同be节点上执行了,求指教是不是这个原因导致的问题,需要怎么解决?

外部表子查询,需要3m左右

select 
    *
from mysql8_out.schema.table 
where 
    id > ( select max(id) from doris.table )
limit 10000

不适用子查询,写明固定配置查询,耗时8s

select 
    *
from mysql8_out.schema.table 
where 
    id > '0100300320240407016668016'
limit 10000
0 Answers