如何提高SteamLoad导入速度

Viewed 48

从那些方面入手提高导入速度?比如增加分桶是否有利于提高SteamLoad导入速度

1 Answers

可以试试Doris Streamloader这个工具

Doris Streamloader 是一款用于将数据导入 Doris 数据库的专用客户端工具。相比于直接使用 curl 的单并发导入,该工具可以提供多并发导入的功能,降低大数据量导入的耗时。拥有以下功能:

  1. 并发导入,实现 Stream Load 的多并发导入。可以通过 workers 值设置并发数。
  2. 多文件导入,一次导入可以同时导入多个文件及目录,支持设置通配符以及会自动递归获取文件夹下的所有文件。
  3. 断点续传,在导入过程中可能出现部分失败的情况,支持在失败点处进行继续传输。
  4. 自动重传,在导入出现失败的情况后,无需手动重传,工具会自动重传默认的次数,如果仍然不成功,打印出手动重传的命令。