现有一个doris的数据表 3个亿左右的数据量,例如 select * from temp where device_no in ("1","2",..."10001"),会执行报错,其中的参数是有由户选择的的,也没法事先建临时表和用子查询;同时也是分页查询,如果使用代码进行逻辑拆分查询,又会导致多次查询数据库,存在效率问题;所以对于这种情况该如何去优化,有什么更好的方案去解决呢;还是说从改业务层面呢;什么方式都试过了,没有好的可行方案。还希望广大朋友能解答一下这种业务场景下如何去优化改良。
现有一个doris的数据表 3个亿左右的数据量,例如 select * from temp where device_no in ("1","2",..."10001"),会执行报错,其中的参数是有由户选择的的,也没法事先建临时表和用子查询;同时也是分页查询,如果使用代码进行逻辑拆分查询,又会导致多次查询数据库,存在效率问题;所以对于这种情况该如何去优化,有什么更好的方案去解决呢;还是说从改业务层面呢;什么方式都试过了,没有好的可行方案。还希望广大朋友能解答一下这种业务场景下如何去优化改良。