【已解决】spark-doris写入失败: Load Doris data failed, schema size of fetch data is wrong.

Viewed 180

原先代码在doris1.2.6版本可以运行, 近期将doris升级到doris2.0.9之后, 该任务报错
org.apache.doris.spark.exception.DorisException: Load Doris data failed, schema size of fetch data is wrong.

相关组件版本信息
升级前
spark:3.1.3
doris:1.2.6
spark-doris-connector: 3.1_2.12-1.2.0
升级后
升级前
spark:3.1.3
doris:2.0.9
spark-doris-connector: 3.1_2.12-1.2.0
代码块:

报错信息

2 Answers

已知问题,使用最新的spark connector就可以了

doris里面只有7个字段,使用spark-doris-connector读取是 , 提示有8个字段, schema数量不匹配