【已解决】FLink Doris Connector 1.4整库同步方案能否解决相同批次内重复Unique Key数据顺序问题

Viewed 42

实际使用中,唯一模型建表,没有发现需要设置Sequqnce Column才能解决的替换乱序问题.
没有整库同步方案之前,使用flink sql 编写代码写入doris表,设置了 sink.batch.size =30000 sink.batch.interval= 3s 也没有发现替换乱序的问题.
请问是doris conenctor内有什么操作防治了替换乱序的问题吗? 还是说有发生的概率,只是这边还没有发现.
这边数据更新频率 3s一个批次 是完全有可能一个批次内相同unique key的数据多条的.

1 Answers

doris在一批次里不保证顺序,只能自己保证,或者加Sequqnce Column,你现在没有发现,要么是你的业务数据3s内不会重复,要么是运气好