【用户案例】抖音集团基于 Apache Doris 的实时数据仓库实践

Viewed 132

在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。

此外,实时数据处理比离线数据更复杂,需要应对多流 JOIN、维度表变化等技术难题,并确保系统的稳定性和数据的准确性。本文将分享基于 Apache Doris 的实时数仓架构在不同业务场景的实践经验,以及该架构带来的收益。

欢迎点击原文查看详情:
抖音集团基于 Apache Doris 的实时数据仓库实践

1 Answers

原文节选:

最后分享我们在未来要做的一些工作。

  • 首先是对解决方案的封装。我们已经封装了一个榜单业务场景,还有许多其他场景,比如 DMP、标签和中间层数据等,这些场景都可以被打包成解决方案。除了模式和方法论的封装之外,还有存储架构的封装。
  • 在存储架构方面,不断演进自研的数据湖产品,扩展更多的存储架构。
  • 另外是智能化运维整合,实时数据的稳定性对开发和运维人员压力是非常大的,我们希望整合一些规则和算法,实现自动化处理部分场景,剩下的做推荐化预案,从而提升 MTTR,提升故障恢复的时效性并降低成本。