【已解决】2.1版本,Spark Connector 插入doris时,字段数据不一致

Viewed 118

dwd_ap_supplier_fee_detail_monthly_df.write
.mode("overwrite")
.format("doris")
.option("doris.table.identifier", "dw_dwd.dwd_ap_supplier_monthly")
.option("doris.fenodes", "xxxx:8030")
.option("doris.query.port",9030)
.option("user", "xxxxx")
.option("password", "xxxxxx")
.option("doris.batch.size",1024 * 10)
.option("doris.sink.enable-2pc","true")
.option("doris.write.fields","orderno,busimonth,billno,billtype,busi_maincateg_name")
.save()
在hive中busimonth作为分区字段放在最后,同时插入doris时,指定了字段顺序,查看结果乱序
image.png

2 Answers

这里是指定写入Doris表的字段或者字段顺序,或者你有指定的列要映射。

默认写入时要按照Doris表字段顺序写入全部字段,所以这里不需要指定,看下将指定部分注释掉看下结果是否还会乱序?