采用streamLoad导入数据隔一段时间就会出现一波耗时较高的情况

Viewed 26

使用streaload向doris表中导入数据,一次批量500条,每条21个字段,其中有一个不固定大小的字段,这个字段一般大小在几十个字节不到一k。
数据导入耗时一般都在秒级,但是每隔一段时间就会出现一波耗时较高的情况,几秒到几十秒都有发生。
请问大佬们这一般是什么情况。
doris version:2.0.2

1 Answers

2.0.2 这个版本比较旧了,如果可以的话建议您升级到2.0/2.1最新的版本上进行测试了,可能是之前的一些已经fix的问题。

同时,streamload慢问题的排查需要收集下以下信息:

  1. 监控搜集下be的CPU、内存、IO等资源使用情况
  2. 慢请求的日志,主要是Coordinator be的(streamload发送的那个be)
  3. 客户端到be的网络怎么样,ping时延,网路带宽
  4. 客户端是如何给be 发送数据,如果发送数据的时间本来就比较长,streamload的时间就会长