【用户案例】网易游戏如何基于 Apache Doris 构建全新湖仓一体架构

Viewed 82

导读:随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。

网易游戏数据与平台服务部旨在通过数据科技为网易旗下众多游戏提供运营及决策支持,是推动游戏商业成功、品质提升以及渠道优化的重要支撑。近年来,随着网易游戏品类及产品的快速增加,数据规模呈爆炸性增长,每日新增数据达百 TB 级别,不仅需要对玩家基本行为指标(活跃度、付费情况、用户新增等)进行分析,还需深入游戏内部复杂数据,对譬如游戏行为、游戏性能等详细信息进行分析。面对如此大规模的数据增长,如何高效实时的提供数据支持成为必须面对的一大挑战。

欢迎点击文章查看详情:
网易游戏如何基于 Apache Doris 构建全新湖仓一体架构

1 Answers

原文节选:

自网易游戏内部最初引入 Apache Doris 至今, 已建成十余个集群、为内部上百个项目提供稳定可靠的服务、日均查询量数百万次,Apache Doris 已成为网易游戏内部数据服务体系中不可或缺的一部分。

后续我们也将继续跟随社区版本迭代节奏,截至发文前,Apache Doris 2.1 系列版本已经逐步稳定,该版本推出许多重磅功能是我们非常关注的,后续我们也会将工作重点聚焦于以下几方面:

  • 存算分离: 期望引入更廉价的存储介质,同时希望在数据湖场景下更灵活的进行弹性部署。
  • 倒排索引: 鉴于内部使用 Elasticsearch 的用户对倒排索引比较感兴趣,且 Apache Doris 倒排索引的能力已趋于成熟,后续将尽快测试并应用。
  • 资源隔离:新版本的内置调度功能和 Workload Group 能更好地简化架构和隔离资源,我们希望在业务场景上使用进而完善湖仓融合方案。
  • 完善 Doris Manager:我们希望 Doris manager 能够提供 On K8S 小实例部署模式,降低用户在专属集群需求上的接入门槛。另外计划建设 Doris manager 对新版本特性的管理支持,比如推出跨集群数据同步等功能。