使用stream load 的curl方式加载csv的gz文件可以成功加载;但是使用doris-streamloader就会出现异常;
发现两种异常:
异常1,使用的下面的测试数据,导入后没有包任何错误,日志的NumberTotalRows显示0,没有任何数据导入到表中,就像文件为空似的;
异常2,使用的有json报文数据的csv文件(该文件使用curl的方式可以成功导入),导入报错
msg=The byte slice is not valid UTF-8 encoding line=loader/stream_loader.go:213
time=2024-06-27 19:49:48 level=error msg=Send error, resp: &{200 OK 200 HTTP/1.1 1 1 map[Content-Type:[text/html; charset=ISO-8859-1] Date:[Thu, 27 Jun 2024 11:50:00 GMT]] 0xc04b1d80e0 -1 [] false true map[] 0xc04b21e400 } error message: stream load failed, response {
[INTERNAL_ERROR]CANCELLED: cur path: .FAILED to inflate. return code: -3"
1.使用测试文件
vi test001.csv
1,test001,23
2,test002,24
3,test003,25
create table test.test001(
id int,
username string,
age string
)
duplicate key(id)
comment 'test'
distributed by hash(id) buckets auto
;
doris-streamloader --source_file="" --url="" --header="column_separator:,?compress_type:gz" --db="test" --table="test001" --u="" --p=""