求助!如何高效更新部分列

Viewed 76

背景:flink监听kafka,从不同的业务表中查出字段信息,然后更新大宽表中某条数据的对应字段,其他字段不变,大宽表是unique模型
参考文档:https://doris.apache.org/zh-CN/docs/data-operate/update/unique-update
https://doris.apache.org/zh-CN/docs/data-operate/update/update-of-unique-model
问题:通过INSERT INTO支持部分列更新,但是在数据量较大情况下,性能较差
求助:高并发下,有何高效的方式更新部分列
image.png

2 Answers

部分列更新性能确实不太好,streamload下实测,大宽表情况下,性能极差。
大宽表字段800+,每次更新30+字段,攒批几千到几万都尝试了。

用的unique-update?可以试试partial_columns部分列更新的方式:主键模型的导入更新

为更具体地了解问题(处理后会更新回帖),可以➕一下W:yz-jayhua