【已解决】通过调整dynamic_partition.start删除历史分区,磁盘未见释放

Viewed 97

半保存一年数据的几张表通过 alter table set ('dynamic_partition.start' = '-180') 改为半年后, show partitions 看到分区已经清了,但show backends的tabletNum、trashUsed跟磁盘使用率都没变化(清理的每天分区量有近100G)
在第二天能正常trash掉第180天的一天分区磁盘量,总磁盘使用量还是与alter前的一样,trash中也没多少变化

  1. 请问如果正确地清理历史分区,并释放磁盘(alter table drop 指定每个分区?)
  2. set dynamic_partition.start=180后,删除的历史分区磁盘还能如何清理出来

version 2.0.4

2 Answers

设置删除历史分区后,到了一定时间会自动将分区删掉,但是此时删除的数据并不是直接将数据从磁盘删掉;

Doris 中有删除机制,就是到时间后会将数据放入trash中(或者可以手动删除分区,drop table partition p_xxx force),然后 trash中有默认保留时间

到达默认删除时间后,才会自动将数据删除,此时是真正删除。和手动 admin clean trash 操作是一致的。

如果想要一放入 trash 中就删除的话,可以调整下 trash 的数据保留时间。语法参考:trash_file_expire_time_sec清理trash时间间隔配置说明

过了24小时后,tablet、磁盘一下就清了。。。