【已解决】使用Flink Doris Connector读取kafka数据写入DORIS，如何提升写入速度

Viewed 139
ingestion 2.0

使用Flink Doris Connector读取kafka数据写入DORIS，开启了checkpoint,checkpoint的间隔是20秒，现在写入速度是10000每秒，请问如何提升单并发的写入速度？

gfox15
3 Answers
  1. 10000每秒是怎么判断的？
  2. 可以尝试增加 checkpoint 的间隔
  3. 看下每次提交 streamload 的请求的耗时，即日志【stream load stopped for】 和 【load Result】之间的耗时，如果耗时比较大，可能是 be 响应慢了，可以确认下 be 的资源负载情况
JNSimba146

10000每秒是怎么判断的？这个我是看kafka的消费情况判断出的。
日志请看截图：

1、这里面的NumberTotalRows受哪些因素和配置的影响呢？
2、如何调优写入性能？

gfox15