flink cdc 同步mysql整库到doris

Viewed 90

开启第一次同步任务,doris中能自动建表并将全量同步过去,后续增量也OK,取消任务后再次重启任务,增量就同步不了了image.png
cdc捕获到了数据,就是没写到doris

5 Answers

connector 1.6.2 加个参数--single-sink true 再试试了

1、doris和flink-doris-connector分别什么版本
2、taskmanager上下文有没有其它异常日志

我换成seatunnel了,几乎一次部署上线后就没调试过,太香了,flink的资源占用以及各类问题让我抓狂

设置了svaepoint后再停掉同步任务,再次从savepoint中恢复时还需要设置--allowNonRestoredState允许状态丢失,启动后对新增的变化还是没有写入image.png

原本用的是 flink-doris-connector-1.17-1.6.2.jar,
后来降成了flink-doris-connector-1.17-1.5.0.jar
问题都解决了