【已记录】Doris 2.1.0查询obs hive外表,sql执行失败

Viewed 93

1fe+6be的2.1.0doris集群,查询hive外表sql异常
hive catalog表结构:390多列的parquet表,除了两个时间戳字段为bigint,其他均为string
中间省略了300多个字段显示
sql示例:

窗口和be日志报错异常:

be日志:


1 Answers

【处理状态】已处理
【处理流程】32c 256G的配置,调大 parallel_pipeline_task_num 会话参数为16和32均均可解决
【问题备注】此类问题可参考如下几个方案看能否解决:

1.set enable_pipeline_x_engine = false;
2.调大 parallel_pipeline_task_num 会话参数
3.analyze table后再重跑:[https://doris.apache.org/zh-CN/docs/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/ANALYZE?_highlight=analyze](https://doris.apache.org/zh-CN/docs/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/ANALYZE?_highlight=analyze)
4.大拆小优化(按事件分区或其它方式简化数据量)重跑观察

为更具体地了解问题(处理后会更新回帖),可以➕我一下W:yz-jayhua