【用户案例】浙江霖梓基于 Doris + Paimon 打造实时-离线一体化湖仓架构

Viewed 96
catalog content

浙江霖梓是一家专注于深度学习和人工智能应用的金融创新企业，自 2018 年成立以来，专注于深度学习和⼈⼯智能的应⽤ ，通过构建数据迭代能⼒形成结构化的数据决策产品，为企业提供精准经营决策。同时，提供基于大数据的风控能力的一系列高效便捷的金融服务产品。

然而，随着业务的持续扩展，大数据业务系统的局限逐渐暴露：报表系统计算缓慢、运维成本持续攀升、组件间的高度耦合导致架构稳定性较差等，严重影响了大数据系统产出效率，因此浙江霖梓引入 Doris + Paimon 重新构建了实时/离线一体化湖仓架构，为反欺诈策略、用户⾏为分析、BI 应用等若干系统提供了高效准确的服务，实现了查询提速 30 倍、资源成本节省 67% 等显著成效。

欢迎点击阅读全文：浙江霖梓基于 Doris + Paimon 打造实时-离线一体化湖仓架构

椰子Echo@SelectDB1036
1 Answers

原文节选：

经过七个月的设计与实施，最终完成了基于 Apache Doris 离线 / 实时一体化湖仓统一架构。离线数据通过 DataX 同步、实时数据通过 Flink CDC 采集加工，这些数据最终存储到 Doris 或 Paimon 表格式中。

目前基于 Paimon 的全量数据入湖还在持续完善，原先的部分离线数据通过 Flink CDC 实时入湖，而另一部分会直接进入 Doris 来缩短数据链路。这些数据经由 Doris 统一分析处理后，最终服务于自研数据服务。在这其中，Doris 集群被灵活拆分为多个资源组，分别满足离线数仓、数据集市、实时业务监控等不同上游服务的数据处理与分析需求。Apache Doris 的引入，也带来许多显著收益。

椰子Echo@SelectDB1036