update 更新效率 单条100ms ,串行化执行。40w 数据 可能要耗时 10 小时。如何快速更新doris 表中数据。
参考:https://doris.incubator.apache.org/zh-CN/docs/3.0/data-operate/update/unique-update-concurrent-control/
UPDATE 并发控制
默认情况下,并不允许同一时间对同一张表并发进行多个 UPDATE 操作。
主要原因是,Doris 目前支持的是行更新,这意味着,即使用户声明的是 SET v2 = 1,实际上,其他所有的 Value 列也会被覆盖一遍(尽管值没有变化)。
这就会存在一个问题,如果同时有两个 UPDATE 操作对同一行进行更新,那么其行为可能是不确定的,也就是可能存在脏数据。
但在实际应用中,如果用户自己可以保证即使并发更新,也不会同时对同一行进行操作的话,就可以手动打开并发限制。通过修改 FE 配置 enable_concurrent_update,当该配置值设置为 true 时,更新命令将不再提供事务保证。