mysql to doris 使用flink cdc doris-connector 同步多表 使用flink-doris-connector-1.17-1.6.1.jar org.apache.doris.flink.tools.cdc.CdcTools 命令行的形式同步 指定了五张千万级的表,这几张表都是同步了几小时后 就不同了 查看taskmanager没有报错信息,之前有过打印字段内存地址的情况也是不同步数据。
mysql-sync-database --database xxx --mysql-conf hostname=xxx
--mysql-conf port=3306 --mysql-conf username=xxx --mysql-conf password=xxx
--mysql-conf database-name=xxx --mysql-conf server-id=5441-5450
--sink-conf fenodes=doris001:8030 --sink-conf username=xxx
--sink-conf password=xxx --sink-conf jdbc-url=jdbc:mysql://doris001:9030
--sink-conf sink.label-prefix=label --table-conf replication_num=3
--table-conf enable_unique_key_merge_on_write=true
--including-tables "table01|table02|table03" --table-suffix _full
同步了十几张表
并行度 1 jobmanager内存2G taskmanager 2g flink-sql-connector-mysql-cdc-2.4.2.jar