使用flink-doris-connector 1.6.1 从 pgsql 同步数据到doris,使用一流多表方式。因源表分区表较多,需要捕获的表也较多。1000+ ,flinkcdc 在读取xlogstart 时花费非常长的时间,超过flink checkpoint时间就会报错。从日志来看,一个表读取xlogstart 需要接近1s的时间。请问大佬这个有什么方法优化?
使用flink-doris-connector 1.6.1 从 pgsql 同步数据到doris,使用一流多表方式。因源表分区表较多,需要捕获的表也较多。1000+ ,flinkcdc 在读取xlogstart 时花费非常长的时间,超过flink checkpoint时间就会报错。从日志来看,一个表读取xlogstart 需要接近1s的时间。请问大佬这个有什么方法优化?
全量阶段如果比较慢,可以调大checkpoint的时间和失败容忍次数
参考这里 https://nightlies.apache.org/flink/flink-cdc-docs-release-3.2/docs/connectors/flink-sources/postgres-cdc/#limitation