如何基于明细表来创建T+1更新的统计维度物化视图呢

Viewed 59
  1. 现有一个实时更新的账户收支明细表,分区字段为日期
  2. 需要生成一个包含全部历史的账户收支统计表,T+1更新,不能使用同步物化视图更新,因为需要按日期导出统计数据,所以要锁定导出时候的日期版本
  3. 如果使用异步视图并且希望增量更新的话,是不是就需要同样适用日期字段分区呢,但是统计表是希望覆盖全部历史时间区间的,所以看起来就不太合适这样做了

请问应该如何设计来满足这样的需求呢

1 Answers

异步物化视图,本质就是例行的对目标表执行一个insert into select xxxx 导入任务。

所以,你可以先想一想,如果利用doris的例行任务执行,create event xxx,然后手动执行sql,进行导入,怎么写。

当前 doris 还不支持源表的增量数据读取,类似mysql的binlog数据,在未来会增加此项功能,可能实现你说的这个能力就简单一些了。