2.1.3-rc06,doris-streamloader加载csv文件的gz压缩文件异常

Viewed 112

使用stream load 的curl方式加载csv的gz文件可以成功加载;但是使用doris-streamloader就会出现异常;
发现两种异常:
异常1,使用的下面的测试数据,导入后没有包任何错误,日志的NumberTotalRows显示0,没有任何数据导入到表中,就像文件为空似的;
异常2,使用的有json报文数据的csv文件(该文件使用curl的方式可以成功导入),导入报错
msg=The byte slice is not valid UTF-8 encoding line=loader/stream_loader.go:213

time=2024-06-27 19:49:48 level=error msg=Send error, resp: &{200 OK 200 HTTP/1.1 1 1 map[Content-Type:[text/html; charset=ISO-8859-1] Date:[Thu, 27 Jun 2024 11:50:00 GMT]] 0xc04b1d80e0 -1 [] false true map[] 0xc04b21e400 } error message: stream load failed, response {

[INTERNAL_ERROR]CANCELLED: cur path: .FAILED to inflate. return code: -3"

1.使用测试文件
vi test001.csv
1,test001,23
2,test002,24
3,test003,25

create table test.test001(
id int,
username string,
age string
)
duplicate key(id)
comment 'test'
distributed by hash(id) buckets auto
;

doris-streamloader --source_file="" --url="" --header="column_separator:,?compress_type:gz" --db="test" --table="test001" --u="" --p=""

2 Answers

doris-streamloader暂不支持压缩文件的导入

stream-Load的参数不是应该都可以在doris-streamloader中通过--header指定吗?