Doris查询hive csv格式表时，空行直接给过滤掉了，导致和spark跑出来的结果不符

Viewed 36
2.1

Doris版本2.1.5
Doris查询hive csv格式表时，空行直接给过滤掉了，Spark查询数据时没有自动将空行过滤掉，导致doris查询和spark查询结果不符

复现步骤：

## 建表语句
CREATE TABLE `mcollect_mac_orc`(
  `mac` string COMMENT 'mac')
ROW FORMAT SERDE
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ',')
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

csv文件存在空行
image.png

Spark查询结果没有过滤掉空行
image.png

Doris查询结果过滤掉了空行
image.png

changguowei199
1 Answers

我们内部复现下看看哈，等后续回贴

回帖：
可以设置 set READ_CSV_EMPTY_LINE_AS_NULL=true 试试

阿渊@SelectDB6370