创建包含有hive catalog 物化视图数据刷新问题(ver 2.1.2)

Viewed 5

我在物化视图里使用了hive的catalog,刷新策略为定时5分钟一次,但是每次hive有新分区数据时,对应数据没有刷新到物化视图中,我手动刷新一次catalog或者将catalog刷新元数据的时间调的很短比如一分钟,数据就刷新了。 请问这种情况是正常情况吗?
如果是正常,如何保证每次物化视图刷新,对应hive新分区的数据可以即使刷新到物化视图中?

另关于hive catalog 元数据刷新有一个小疑问
创建catalog的时候
"background_refresh_metadata_interval_millis" 这个参数并没有刷新元数据
"metadata_refresh_interval_sec" 这个参数好用,刷新频率小于物化视图刷新频率,每次hive有新分区,物化视图都会刷新对应数据

0 Answers