通过kettle工具从oracle 12c中抽取数据到doris2.1.2,速度特别慢

Viewed 77

我在用 kettle 从 oracle 12c 抽取数据到 doris2.1.2 时,发现速度特别慢,基本上每秒钟只有一条左右

我的环境是 3 台服务器组成的 3fe+3be,然后表也简单,只有不到 10 个字段且没有大字段,请问是否是有什么关键设置没设置对还是啥原因呢?

3 Answers

kettle 是不是基于jdbc的批处理做的数据插入?doris要想使用批处理,需要在 jdbc 串中添加参数:rewriteBatchedStatements=true

目前已重新在新服务器上部署了2.1.3版本(五台48核256G云服务器:5fe(3f+2o)+5be) 目前仍然存在以上问题,数据入库很慢。