程序端往Doris写入数据特别慢

Viewed 182

我这边测试一个功能,生成了近6000条数据,springboot中使用的mybatis-plus,使用saveBatch方法插入数据,数据库连接串带有rewriteBatchedStatements=true参数,但写入的速度特别慢,一秒只有10条左右,这种要怎么优化呢?

我的Doris版本是2.1.3,数据库表是unique key模型,引擎是OLAP,properties属性如下:

PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"disable_auto_compaction" = "false",
"enable_unique_key_merge_on_write" = "true",
"enable_single_replica_compaction" = "false"
);
3 Answers

本身不太建议insert 这样的操作。你可以试试

  1. routine load 方式。将数据写入到kafka,fe通过routine,定时批量导入
  2. group commit 方式。堆积到一定量以后,使用group commit一次性提交。

routine load 方式有使用,单还有大量update操作,也比较慢