为什么扩展be节点无法增加导入速度？

Viewed 99
2.1

1个FE，1个BE，导入速度18w（100MB），增加一个BE后，导入速度还是18w
扩展be后，已对表删除重建，BUCKETS由5增加为10
表设置如下：

CREATE TABLE `spdb_test_wd` (
 `@timestamp` DATETIME(3) NOT NULL ,
 `@sourcetype` VARCHAR(1024) NUL,
 `@ip` VARCHAR(1024) NULL,
 `@message` TEXT NULL,
 `@path` VARCHAR(1024) NULL, 
 `@collectiontime` DATETIME(3) NULL
 `@storagetime` DATETIME(3) NULL DEFAULT CURRENT_TIMESTAMP COMMENT '存储时间',
 INDEX idx_message_unicode (`@message`) USING INVERTED PROPERTIES("parser" = "unicode") ,
 INDEX idx_message_ngrambf (`@message`) USING NGRAM_BF PROPERTIES("bf_size" = "256", "gram_size" = "3")
) ENGINE=OLAP 
DUPLICATE KEY(`@timestamp`, `@sourcetype`)
AUTO PARTITION BY RANGE (date_trunc(`@timestamp`, 'day')) ()
DISTRIBUTED BY Random BUCKETS 10
PROPERTIES ( 
 "replication_num" = "1",
 "min_load_replica_num" = "1",
 "enable_single_replica_compaction" = "true",
 "compaction_policy" = "time_series",
 "skip_write_index_on_load" = "true",
 "light_schema_change"="true",
 "group_commit_interval_ms" = "30000",
 "group_commit_data_bytes" = "268435456" 
);

Stream Load 请求Header设置如下：

dorisProperties.setProperty("format", "json");
dorisProperties.setProperty("read_json_by_line", "true");
dorisProperties.setProperty("fuzzy_parse", "true");
dorisProperties.setProperty("group_commit", "async_mode");
dorisProperties.setProperty("memtable_on_sink_node", "true");

请问可能是什么限制了写入速度？

wangdi29
1 Answers

可以根据以下几个方向进行排查

1. 监控搜集一下be的内存、cpu和IO的使用情况；
2. 按load id和txn id 搜慢请求的be.INFO日志，主要是Coordinator be的 (streamload发送的那个be）
3. 客户端到be的网络怎么样，ping时延，网路带宽
4. 客户端是如何给be发送数据，如果发送数据的时间本来就比较长，streamload的时间就会长
5. 是否触发内存下刷了，grep reducing be.INFO

黄海军@SelectDB4228