存算分离架构中,聚合查询获取远端S3数据时非常缓慢

Viewed 37

如上,我的查询语句是
select level,avg(cost) from logstore_test_pro group by level;
这个查询大概命中表里面的全部数据18亿行,耗时需要3分钟+
Profile中可以看到,从远端S3获取50多M数据总共花费28分钟,而从本地Cache获取34M数据花费600多毫秒,这个差距离预期水平较远(理论上这个S3是走内网,至少可以提供50Gbps的带宽,不知Doris请求时为何如此缓慢)
另外,我发现从S3大约产生了5.7万次IO,这个服务预期吗,为什么几十M数据会请求这么多次S3呢

1 Answers

“从远端S3获取50多M数据总共花费28分钟” 这个耗时应该是累加的。

您用的是什么对象存储系统呢?方便的话加我主页微信我们看下的