flinkcdc 从postgresql 同步数据到doris 读取wal日志慢

Viewed 28

12f63e47abda2da20336744e91a014c.png
使用flink-doris-connector 1.6.1 从 pgsql 同步数据到doris,使用一流多表方式。因源表分区表较多,需要捕获的表也较多。1000+ ,flinkcdc 在读取xlogstart 时花费非常长的时间,超过flink checkpoint时间就会报错。从日志来看,一个表读取xlogstart 需要接近1s的时间。请问大佬这个有什么方法优化?

2 Answers

多表时初始化 xlogstart 消耗时间非常长,如果同步20张表,每张表20个分区,初始化读取wal位置偏移量 一个表 Read xlogStart 起码30秒以上