doris压测-使用flink+doris压测,性能一直卡在4W每秒

Viewed 92

机器信息:2台FE+5台BE,CPU和内存都是高配(肯定不是机器资源问题)
doris信息:
FE Collect Compaction Score 压测时不到30
BE Compaction Score 压测时不到30
有点不知道从何下手了

2 Answers

降低checkpoint,由原来的60s改成5s,增大source和sink两端的并行度,原来设置的并行度较小,之后改成了64和128。
降低建表的分桶数,用户这里数据预计14g左右,但是建了60个桶,不合理,桶越多导入会相对变慢,根据每个桶建议1-10g的数据量,推荐修改成6。
进行以上修改后,性能提升到8w多

求助求助,感谢各位大佬,如果能加微信帮我解决,我跪谢