doirs 业务系统 分页时 count 统计结果 响应比分页接口慢很多

Viewed 55

doirs 业务系统 分页查询时 count总数接口平均返回时间总是大于分页返回的接口 这部分是否有相关建议

1 Answers

1.count操作通常需要对整个结果集进行统计,特别是在数据量大的情况下,这可能涉及到全表扫描或者复杂的聚合计算,从而导致较高的时间消耗。而分页查询通常只返回部分数据,计算量相对较小,所以返回时间可能较短。
2.优化:
a. 可以通过Doris提供的一些近似计数的方法,例如使用 HyperLogLog 等数据结构来快速估计行数,而不是进行精确的计数。虽然不是完全准确的计数,但在很多情况下可以满足业务需求,并且大大减少查询时间。
b. 通过show data from db.table 或者 通过元数据表获取:

select TABLE_ROWS from information_schema.tables 
where TABLE_SCHEMA = 'db' and TABLE_NAME = 'table'