flink读kafka实时写入doris遇到问题

Viewed 60

读kafka实时写入doris
image.png

实时观察doris数据,发现不能实时写入,是攒批写入,查找相关文档后,发现是因为checkpoint时间太长,Flink Doris Connector 主要是依赖 Checkpoint 进行流式写入,实测也是。

求教:除了缩短Checkpoint时间,还有其他方式吗?

1 Answers

流模式写入,强依赖ckp的机制;batch模式以来攒批相关参数、不依赖ckp。
流模式下主要还是,基于业务时效性和场景需求,进行调整ckp间隔。