从HDFS LOAD 数据,数据LOAD失败会引起BE会崩溃。执行LOAD 语句后 ,执行 SHOW PROC '/backends';
Backend Alive 全部变为false,且BE节点服务器服务进程消失。
从HDFS LOAD 数据,数据LOAD失败会引起BE会崩溃。执行LOAD 语句后 ,执行 SHOW PROC '/backends';
Backend Alive 全部变为false,且BE节点服务器服务进程消失。
【信息补齐】
LOAD LABEL test.test(
DATA INFILE("hdfs://host:port/doris_export/tmp/test/*")
INTO TABLE test
COLUMNS TERMINATED BY "," (key1,key2,key3)
)
with HDFS (
"fs.defaultFS"="hdfs://host:port/",
"hadoop.username" = "user_test",
"dfs.namenode.kerberos.principal" = "hdfs/_HOST@test.COM",
"hadoop.security.authentication" = "kerberos",
"hadoop.kerberos.principal" = "scapp@test.COM",
"hadoop.kerberos.keytab" = "/data1/doris-2.0.4/test.keytab"
)
PROPERTIES(
"timeout"="1200",
"max_filter_ratio"="0.1"
); load 语句
【问题描述】
"fs.defaultFS"="hdfs://host:port/" 多了/ 导致的load 失败,load失败后会出现 be core
【问题状态】已解决
【问题处理】先使用正常的 "fs.defaultFS"="hdfs://host:port",后续内部进行修复
本地没有复现,不过这个pr:https://github.com/apache/doris/pull/33202
已经规范化了fs.defautFS,应该避免了这个问题。212 以发布