doris表中的字段有双引号，如何去掉

Viewed 126
2.0

5c79cb0ea46d5624a51fad0395117779.png
以上是过程
原始csv文件中的字符串带双引号，数字不带，如"abc",123,"def"
通过routine load写库到Doris中，表中的数据也是带双引号的
这个双引号如何去掉

trim_double_quotes报错
PROPERTIES
(
"desired_concurrent_number"="3",
"strict_mode"="false",
"trim_double_quotes"="TRUE"
)
报错

1105 - errCode = 2, detailMessage = trim_double_quotes is invalid property

enclose报错
PROPERTIES
(
"desired_concurrent_number"="3",
"strict_mode" = "false",
"enclose" = """
)
包围符也报错，这个具体如何使用
image.png

1105 - errCode = 2, detailMessage = enclose is invalid property

Version : doris-2.0.10

zhuhezhen7
3 Answers

csv 文件可以不需要经过kafka那一层，直接通过streamload 或者 Doris 官方提供的 streamloader工具进行数据导入。

部分列有包围符的导入问题，可以参考这个demo的用法：

CREATE TABLE IF NOT EXISTS test4(
    `sid` LARGEINT NOT NULL COMMENT "学生id",
    `name` VARCHAR(50) NOT NULL COMMENT "学生名字",
    `class` INT COMMENT "学生所在班级",
    `age` SMALLINT COMMENT "学生年龄",
    `sex` TINYINT COMMENT "学生性别",
    `phone` LARGEINT COMMENT "学生电话",
    `address` VARCHAR(50)  NOT NULL COMMENT "学生家庭地址",
    `date` DATETIME NOT NULL COMMENT "数据录入时间"
)
ENGINE=olap
DUPLICATE KEY (`sid`,`name`)
DISTRIBUTED BY HASH (`sid`) BUCKETS 4
PROPERTIES
(
"replication_num"="1"
);

--data 部分数据有包围符，包围符中的数据有和列分隔符相同的分隔符
"1","xx,x,x,xxx",1001,18,"1",1008610010,"bei,jing",2024-04-26

curl --location-trusted -u root -H "column_separator:,"  -H "enclose:\"" -H "trim_double_quotes:true"  -T /mnt/disk2/liyuanyuan/data/test4.csv http://10.16.10.x:18739/api/test/test4/_stream_load
阿渊@SelectDB5008

您好：
csv文件里的数据本身是持续写入的，而且是每5分钟自动生成一个新的csv文件，一直往最新的那个文件写数据，也可以通过streamload吗

zhuhezhen7

每5分钟自动生成一个新的csv文件，新的数据持续往这个新的文件中写入，这种情况也可以用streamload 吗 ，哪位给指导一下，谢谢。。

zhuhezhen7