【已解决】Doris 实际性能与官方文档性能测试不符,差距较大

Viewed 173

官方测试文档中60亿数据联表查询返回时间在150ms左右,我本地部署了三个BE,一个FE的集群,集群机器配置48C 256G,其中FE与一个BE在同一节点,两个表是unique 模型,A表6.5亿,有5列,B表31亿,有39列,执行SQL如下
select reg.province,reg.aaa,count(reg.id) as num
from (select province,aaa,id from td_sub_A where DATE_SUB(CURDATE(), INTERVAL 30 DAY) <= date(create_time))as reg
left join td_sub_B_all as als
on als.province_name = reg.province and
als.aaa = reg.aaa
group by reg.province,reg.aaa
order by num desc
执行时间特别久,执行时间超过5000秒,最后优化了一版,加了一个关联条件,但执行时间仍需要20多秒;
我使用的Doris版本是2.1.3,集群有是哪个节点(48C256G),单个FE节点,FE与一台BE在同一主机

2 Answers

您好,首先我们先排除环境问题,比如我们可以先配置一个manager,利用manager的巡检工具对集群做一个整体的巡检,可能是一些系统参数设置的不合理导致的。

  1. 可以先排查下CPU模式,cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor 看看是不是CPU 自动降频了,开了节能模式导致的。如果是这样的话,可以改成性能模式再跑一把。
  2. 如果环境没问题,咱们可以针对性的case by case的看看 plan 和 profile了

这个可以来一个profile吗?这个是其中Q几来着?