较多的分享资料已经有公司分享利用doris构建实时/离线一体的数仓。由于doris不支持flink流式读取,对dwd层的实时生成,看分享文档有些通过SQL调度,有些是借助kafka实现,是否有更好的方式来实现,还是需要借助支持流式读取的组件,将维度拼接后的数据写入doris表中?
较多的分享资料已经有公司分享利用doris构建实时/离线一体的数仓。由于doris不支持flink流式读取,对dwd层的实时生成,看分享文档有些通过SQL调度,有些是借助kafka实现,是否有更好的方式来实现,还是需要借助支持流式读取的组件,将维度拼接后的数据写入doris表中?
目前实时/离线一体主要是微批的链路;
doris在下半年会推出内置cdc能力,这样大家就不用再独立部署kafka和flink了。
为更具体地了解场景,可以➕一下W聊聊:yz-jayhua