【技术干货】天翼云：Apache Doris + Iceberg 3000+ 节点的超大规模湖仓一体实践

Viewed 22
content

本文转录自李康（天翼云 大数据总监）在 Doris Summit Asia 2024 上的演讲，经编辑整理。

天翼云是中国电信旗下一家科技型、平台型、服务型公司，以“云网融合、安全可信、绿色低碳、生态开放”四大优势向客户提供公有云、私有云、专属云、混合云、边缘云全栈云服务。目前，天翼云基于 Apache Doris 成功落地项目已超 20 个，整体集群规模超 50 套，部署节点超 3000 个，存储容量超 15PB。 天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案，兼具灵活性、高性能和低成本优势，同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。

欢迎阅读原文了解：天翼云：Apache Doris + Iceberg 超大规模湖仓一体实践

椰子Echo@SelectDB1006
1 Answers

原文节选

天翼云的数据来源多样，包括 B 域、O 域和 M 域等多方数据。数据通过 Kafka 进行采集，并使用 Flink 和 Spark 实现数据加工处理。依据数据时效性的需求，数据被接入 Iceberg 数据湖或 Doris 内部存储。在这一架构中，Doris 扮演了两个重要角色：

  • 数据湖分析处理引擎： Doris 与 Iceberg 数据湖深度融合，能够直接访问 Iceberg 表中数据，实现湖中数据的加速查询。分析结果不仅可以展示给应用层，也可以通过 Doris 写回到 Iceberg 中进行存储。消除了数据孤岛、提升了分析效率。
  • 实时分析引擎： Doris 具备强大的实时分析能力，能够对数据进行极速分析。对于时效性要求更高（秒级）的数据，经过处理后直接流入 Doris，使其能够快速进行分析和对外服务。
椰子Echo@SelectDB1006