【已解决】2.1.1版本测试arrow flight效率不预期

Viewed 53

使用的是datagrip 直接select * from table limit N的方式
发现使用arrow flight端口链接查询和直接fe端口查询的效率基本一致,并没有这边文档说的效率差那么夸张
https://www.selectdb.com/blog/220
是我测试的方式不对吗

ps:
1.全表灌了差不多100W
2.limit 10w左右

1 Answers

我没有用过datagrip,我本地测下试试

不过 arrow flight sql 加速的原理是 1. 避免了两次行列转换 2. arrow本身传输的速度优势,

用 jdbc:arrow-flight-sql 的话还是避免不了行列转换,不过其他用户在 flink 和 spark 上测试相比 jdbc:mysql 也有性能提升

想要达到极致的性能,还是需要 java/cpp/python 直接创建 adbc client 连