doris connector 1.6.1 同步几小时后 不同步数据

Viewed 46

mysql to doris 使用flink cdc doris-connector 同步多表 使用flink-doris-connector-1.17-1.6.1.jar org.apache.doris.flink.tools.cdc.CdcTools 命令行的形式同步 指定了五张千万级的表,这几张表都是同步了几小时后 就不同了 查看taskmanager没有报错信息,之前有过打印字段内存地址的情况也是不同步数据。
mysql-sync-database --database xxx --mysql-conf hostname=xxx
--mysql-conf port=3306 --mysql-conf username=xxx --mysql-conf password=xxx
--mysql-conf database-name=xxx --mysql-conf server-id=5441-5450
--sink-conf fenodes=doris001:8030 --sink-conf username=xxx
--sink-conf password=xxx --sink-conf jdbc-url=jdbc:mysql://doris001:9030
--sink-conf sink.label-prefix=label --table-conf replication_num=3
--table-conf enable_unique_key_merge_on_write=true
--including-tables "table01|table02|table03" --table-suffix _full
同步了十几张表
并行度 1 jobmanager内存2G taskmanager 2g flink-sql-connector-mysql-cdc-2.4.2.jar

2 Answers

您好,方便的话麻烦取一下taskmanager的日志看看的,还得基于日志来进一步分析的,可以私聊下我主页微信看下的,之后我们将结论信息同步到帖子下

昨晚改成了默认的checkpoint刷写形式,今天早上发现数据同步不正确,taskmanager日志中正常打印数据同步 刷写了多少条数据,但是没有搜索到当前时间段的数据,doris中的数据还是到凌晨3点的最大更新时间。感觉cdc正常同步并打印了刷写信息,但是数据没有存储到doris