doris怎么完成ck的功能

Viewed 24
3.0

ck完成的功能
1.iot_kafka ENGINE = Kafka从kafka拉取json数据
2.创建 iot_main表
3.创建 kafka2mian的物化视图，数据经过sql转换从iot_kafka存到iot_main
4.创建 iot_main_agg表
5.创建 agg物化视图，把iot_main的表数据经过sql汇总到iot_main_agg表
现在用doris好像完不成这个

  1. 创建iot_kafka表，只能是olap引擎
  2. 创建ROUTINE LOAD从kafka拉取从数据到iot_kafka
  3. 创建异步物化视图iot_main，因为doris没有TO到一张物理表。这里有个问题ck的kafka引起表读取完数据这张表数据就没了，而doris的iot_kafka就要设置动态分区。而异步物化视图的分区又要跟iot_kafk一样，有点蛋疼
  4. 没有办法基于异步物化视图，建立同步视图。

怎么完成ck完成的功能

cpt_doris1
2 Answers

“doris没有TO到一张物理表”，这个直接跑insert into select的etl语句即可。另外，异步物化视图，可以和表一样用来查询分析。

张彬华7438

异步物化视图底层是不是也是Job Scheduler。想用资源消耗最小的方式完成这个事情。
1.Job Scheduler最低延迟多久一次
2.比方说 insert into xx select xx 1min 。 没有where的话会全表？还是1分钟的增量

cpt_doris1