最近看到Doris Streamloader可以并发导入,于是就安装使用。奇怪的问题出现了,同样的一个.csv文件,使用curl http../_stream_load 方式导入,就很正常,但用./doris-streamloader 方式导入的时候,就总是报 too many filtered rows 错误。只有一条数据的时候能成功导入。两条以上的数据,就会报 too many filtered rows 错误。希望有人能帮忙解答一下,谢谢。
最近看到Doris Streamloader可以并发导入,于是就安装使用。奇怪的问题出现了,同样的一个.csv文件,使用curl http../_stream_load 方式导入,就很正常,但用./doris-streamloader 方式导入的时候,就总是报 too many filtered rows 错误。只有一条数据的时候能成功导入。两条以上的数据,就会报 too many filtered rows 错误。希望有人能帮忙解答一下,谢谢。
这个问题有解决吗? 我也碰到了这个问题。
数据文件我检查了没有发现问题。
看日志发现是数据记录中有换行符导致没有识别,但我设置的line_delimiter值为\x5E0A,十六进制的不可见字符,与数据内容中的换行符也不一样。
日志将换行后的内容给截取去除了,只保留了换行符之前的内容,导致数据结构与表结构不一致。
也就是设置的line_delimiter参数没有生效。