【已解决】使用Flink Doris Connector读取kafka数据写入DORIS,如何提升写入速度

Viewed 154

使用Flink Doris Connector读取kafka数据写入DORIS,开启了checkpoint,checkpoint的间隔是20秒,现在写入速度是10000每秒,请问如何提升单并发的写入速度?

3 Answers
  1. 10000每秒是怎么判断的?
  2. 可以尝试增加 checkpoint 的间隔
  3. 看下每次提交 streamload 的请求的耗时,即日志【stream load stopped for】 和 【load Result】之间的耗时,如果耗时比较大,可能是 be 响应慢了,可以确认下 be 的资源负载情况

10000每秒是怎么判断的?这个我是看kafka的消费情况判断出的。
日志请看截图:

1、这里面的NumberTotalRows受哪些因素和配置的影响呢?
2、如何调优写入性能?