doirs 2.0.8 高并发测试 ,实时查询TB级别数据遇到瓶颈

Viewed 123

测试现象

flink实时进行点查,cpu负载很高,内存使用低,io使用也不高,qps 最高只有1000多?
如何能够降低 cpu 的使用,提高内存使用,提高qps呢?

机器配置

doris 配置
3台FE 都是16核,32G,1块系统云盘100G
2台Observer 都是16核,32G,1块系统云盘100G
10台BE 都是16核,64G,1块系统云盘100G,1块ssd数据盘1000G

测试场景:

流程
使用flink消费kafka数据,再消费途中查询doris表,最后写入doris表

数据源读取
kafka拉取。每秒10w条

doris表情况
3副本3TB数据,unique key类型,分10个桶。

建表参数

"bloom_filter_columns"="key1,key2",
 "replication_num" = "3",
 "compression"="zstd",
 "enable_unique_key_merge_on_write" = "true",
 "light_schema_change" = "true",
 "store_row_column" = "true"

查询方式
连接查询使用PreparedStatement,useServerPrepStmts=true
因业务场景问题只能使用单key1进行高并发点查

写入方式
DorisSink SteamLoad

性能情况

QPS
image.png

查询延迟
image.png

cpu负载
image.png

内存使用情况
image.png

IO情况
image.png

1 Answers

您好,能方便加下我主页微信,我们看下这个问题的