集群有三台机器,其中3台部署了be,一台部署fe,配置是96 core,11t disk,256mem,使用streamload导入260亿条数据,表一共242个列。导入数据时集群资源没有波澜,每秒差不多能写入3w-4W条数据。
请问怎么配置才能提升导入的能力?
集群有三台机器,其中3台部署了be,一台部署fe,配置是96 core,11t disk,256mem,使用streamload导入260亿条数据,表一共242个列。导入数据时集群资源没有波澜,每秒差不多能写入3w-4W条数据。
请问怎么配置才能提升导入的能力?
可以试下streamloader,可以实现多并发导入的功能,降低大数据量导入的耗时
https://doris.apache.org/zh-CN/docs/ecosystem/doris-streamloader