【回顾&资料&问答】Apache Doris x 天翼云联合 Meetup@上海站

Viewed 718

Apache Doris「城市行」正式回归,首站登陆上海,现已圆满结束!

活动详情

在数字化浪潮的推动下,各大企业都在经历数据量爆发式增长带来的实时数据处理及分析的挑战,如何在数据洪流中探索更为经济高效的解决方案,成为大数据从业者与管理者首要关注的目标。

为帮助社区伙伴更快找到答案,飞轮科技与天翼云联合发起本次上海城市行 Meetup,并邀请来自天翼云、翼支付、Cisco、哪吒科技、众安国际等多位社区技术大咖,带来 Apache Doris 在不同行业的应用实践,分享其在湖仓一体、AI 等前沿领域的技术落地。此外,飞轮科技也将借此机会向参会者分享回馈 Apache Doris 社区的 3.0 版本核心功能——存算分离,为企业降本提效提供新思路。

前期互动

请在本帖下方留言您的问题,我们将在活动现场解答,并且从评论区抽取 3 个小伙伴送上惊喜周边一份,欢迎踊跃报名与提问🙋!

4 Answers

Doris城市行上海站合影

7月20日,Apache Doris 城市行首站落地上海!

本次活动由飞轮科技与天翼云联合发起,为大家揭秘 Apache Doris 3.0 新版本核心特性--存算分离,并邀请到来自天翼云、翼支付、Cisco、哪吒科技、众安国际等行业领先企业的技术专家,针对 Apache Doris 在金融、保险、制造等领域的高效应用与落地思考展开分享与交流。

夏日炎炎不及社区伙伴们对 Doris 的热情,上海站 Meetup 现场汇集了 120+ 参会者,现场互动交流气氛火热!在此,非常感谢各位小伙伴对 Apache Doris 社区的支持~

以下为本次活动的全程回顾及内容材料,欢迎下载查阅。

精彩内容回顾

全程回放:Doris 城市行 2024 - 上海站

1)Apache Doris 3.0 云原生存算分离架构的实现

陈明雨 - 飞轮科技 技术副总裁、Apache Doris PMC Chair

2)天翼云基于 Apache Doris 的数据湖场景实践

李康 - 天翼云 技术总监

  • 如何基于 Apache Doris 湖仓一体升级数据体系、打造开放统一的数据平台
  • 利用 X2Doris 应对海量数据迁移挑战
  • Apache Doris 在国产化平台的兼容性、性能优化实践与安全加固

PPT 下载:天翼云基于 Apache Doris 的数据湖场景实践

3)从 Elasticsearch 到 Apache Doris:中国电信翼支付金融安全数据架构升级实践

刘剑群 - 中国电信翼支付 技术总监

  • 翼支付安全数据平台技术架构演进
  • All in One:以 Apache Doris 替代 ES、Hudi、Hive 和 Presto
  • 海量安全日志下的存储分析调优实践

PPT 下载:从 Elasticsearch 到 Apache Doris:中国电信翼支付金融安全数据架构升级实践

4)Apache Doris 在哪吒港航智慧科技数据智能中的应用与实践

邓宇超 - 上港集团哪吒科技 数据平台负责人

  • 离线实时一体,哪吒科技数据仓库的架构全新升级
  • TPS 100w+,海量实时数据写入的最优实践
  • 导入、监控等场景实践过程的问题与解决思路

PPT 下载:Apache Doris 在哪吒港航智慧科技数据智能中的应用与实践

5)Webex 基于Apache Doris 的故障分析实践

赵发凯 - Cisco Cloud Engineer

  • 从 Apache Pinot 到 Apache Doris,OLAP 选型、架构改造与收益
  • 数据导入与建表的优化实践,以及实用技巧分享
  • 基于 Doris 存算分离、向量检索存储、AI 智能故障预测等方向的探索展望

PPT 下载:Webex 基于Apache Doris 的故障分析实践

6)众安国际寿险基于 Apache Doris 的实时数仓实践与高可靠探索

沈健 - 众安国际 寿险资深研发工程师

  • 基于 Apache Doris 实现 CDH 数据架构改造
  • 数据驱动业务流程重构提效
  • 保险业务和数据迁移的实战经验

PPT 下载:众安国际寿险基于 Apache Doris 的实时数仓实践与高可靠探索

现场花絮

Doris城市行上海站

1.请问有规划Doris 表级别的 Binlog功能吗?
2. X2Doris 是否有计划推进支持CDC功能?

@dukewf 转述天翼云李康老师的回答:

  1. 这个是双跑的情况下对比两边结果,又遇到一些数据差异性的,比如说时区问题、空值问题、decimal数据导致数据差异性问题,这些都是内核中存在的问题,需要根据问题进行内核的修复和改造,有时甚至涉及到周边生态组件的改造的
  2. 超大SQL之前在doris的一些低版本(2.1以下的版本)中是会存的比较大的问题的,sql的Anaysis都出行卡顿,后面我们是修复了那些bug, 在高版本中貌似没出现

这些还得更加实际情况来,都涉及内核改造,有不少问题也会在高版本中fix了

  1. 天翼云的实践中,业务数据实时接入数仓时是否出现过数据差异的问题?因此,是否有同源库的质量检查方案以确保实时数据准确可靠?
  2. 复杂业务或因历史遗留问题导致的大SQL接入在现有湖仓一体架构的适配性如何?接入Doris后的性能指标方面是否能给一些进一步的介绍?