程序端往Doris写入数据特别慢

Viewed 142
2.1 ingestion

我这边测试一个功能，生成了近6000条数据，springboot中使用的mybatis-plus，使用saveBatch方法插入数据，数据库连接串带有rewriteBatchedStatements=true参数，但写入的速度特别慢，一秒只有10条左右，这种要怎么优化呢？

我的Doris版本是2.1.3，数据库表是unique key模型，引擎是OLAP，properties属性如下：

PROPERTIES (
"replication_allocation" = "tag.location.default: 3",
"disable_auto_compaction" = "false",
"enable_unique_key_merge_on_write" = "true",
"enable_single_replica_compaction" = "false"
);
张涛7
3 Answers

本身不太建议insert 这样的操作。你可以试试

  1. routine load 方式。将数据写入到kafka，fe通过routine，定时批量导入
  2. group commit 方式。堆积到一定量以后，使用group commit一次性提交。
____31

routine load 方式有使用，单还有大量update操作，也比较慢

张涛7