2.0版本doris使用spark写入,并行度参数不生效 #39130

Viewed 31

设置的参数为:
.option("doris.sink.task.use.repartition", "true")
.option("doris.sink.task.partition.size", "1")

但doris的合并压力太大,还是产生了太多次streamload请求,收到报错。
detailMessage = current running txns on db 11341 is 1000, larger than limit 1000

1 Answers

调整 fe.conf 的参数 max_running_txn_num_per_db