Doris update 更新效率问题: 高并发、大数据量修改场景下 快速支持数据更新update的解决办法推荐下呢?或者有没有其他更新方案推荐?

Viewed 13

update 更新效率 单条100ms ,串行化执行。40w 数据 可能要耗时 10 小时。如何快速更新doris 表中数据。

参考:https://doris.incubator.apache.org/zh-CN/docs/3.0/data-operate/update/unique-update-concurrent-control/
UPDATE 并发控制
默认情况下,并不允许同一时间对同一张表并发进行多个 UPDATE 操作。

主要原因是,Doris 目前支持的是行更新,这意味着,即使用户声明的是 SET v2 = 1,实际上,其他所有的 Value 列也会被覆盖一遍(尽管值没有变化)。

这就会存在一个问题,如果同时有两个 UPDATE 操作对同一行进行更新,那么其行为可能是不确定的,也就是可能存在脏数据。

但在实际应用中,如果用户自己可以保证即使并发更新,也不会同时对同一行进行操作的话,就可以手动打开并发限制。通过修改 FE 配置 enable_concurrent_update,当该配置值设置为 true 时,更新命令将不再提供事务保证。

1 Answers