我是用 flink-doris-connector 整库同步 mysql 数据库到 Doris 数仓中的,后来因为实时任务异常停止等等其它的问题,某些表的删除或者更新没有同步到,出现了数据不一致的问题,请问这种情况下,重新整库同步耗时太长,不合适,怎样在不重新整库同步的情况下单独修复那些有问题的表呢?
我是用 flink-doris-connector 整库同步 mysql 数据库到 Doris 数仓中的,后来因为实时任务异常停止等等其它的问题,某些表的删除或者更新没有同步到,出现了数据不一致的问题,请问这种情况下,重新整库同步耗时太长,不合适,怎样在不重新整库同步的情况下单独修复那些有问题的表呢?
1、整库同步的情况下,可以先考虑打个savepoint停止作业
2、额外启动一个cdc作只补有问题的表,走完snapshot后马上停止作业即可。
3、重新启动1选项中作业从savepoint启动,这样会保证继续消费上次停止的binlog点位。
除了重新整库同步,可以考虑如下方式来修复出现记录总数不一致的表:
通过以上步骤,可以在不重新整库同步的情况下,修复特定表出现记录总数不一致的问题。希望有所帮助!如果有其他问题,也欢迎继续提问。