【2.1 版本新特性】Apache Doris 支持 Arrow Flight SQL 协议,数据传输效率实现百倍飞跃

Viewed 79

近年来,随着数据科学、数据湖分析等场景的兴起,对数据读取和传输速度提出更高的要求。而 JDBC/ODBC 作为与数据库交互的主流标准,在应对大规模数据读取和传输时显得力不从心,无法满足高性能、低延迟等数据处理需求。

为提供更高效的数据传输方案,Apache Doris 在 2.1 版本基于 Arrow Flight SQL 协议实现了高速数据传输链路 ,使得数据传输性能实现百倍飞跃。

欢迎点击原文查看详情(含演示视频):
Apache Doris 支持 Arrow Flight SQL 协议,数据传输效率实现百倍飞跃

1 Answers

原文节选:

目前,已有多家社区企业用户验证并使用 Arrow Flight SQL 从 Doris 加载数据到 Python、Spark、Flink,测试结果说明,该方式的读取速度相较于以往有了显著的提升。未来,Apache Doris 计划支持 Arrow Flight SQL 写入,届时由主流编程语言构建的系统均可借助 ADBC 客户端来读写 Doris,实现高速的数据交互;并计划利用 Arrow Flight 的并行化能力实现多 BE 并行读取,还可以借助 Arrow Flight SQL 实现 Doris 和 Doris、 Spark 和 Doris 之间的联邦查询。

欢迎有需求的同学下载 Apache Doris 2.1 版本 进行体验。如有问题可在论坛发帖反馈。