【已解决】Doris 2.1.0 版本 load 数据失败导致BE崩溃

Viewed 85
2.1

从HDFS LOAD 数据，数据LOAD失败会引起BE会崩溃。执行LOAD 语句后 ，执行 SHOW PROC '/backends';
Backend Alive 全部变为false，且BE节点服务器服务进程消失。

____5
3 Answers

【信息补齐】

LOAD LABEL test.test(
DATA INFILE("hdfs://host:port/doris_export/tmp/test/*")
INTO TABLE test
COLUMNS TERMINATED BY "," (key1,key2,key3)
)
with HDFS (
"fs.defaultFS"="hdfs://host:port/",
"hadoop.username" = "user_test",
"dfs.namenode.kerberos.principal" = "hdfs/_HOST@test.COM",
"hadoop.security.authentication" = "kerberos",
"hadoop.kerberos.principal" = "scapp@test.COM",
"hadoop.kerberos.keytab" = "/data1/doris-2.0.4/test.keytab"
)
PROPERTIES(
"timeout"="1200",
"max_filter_ratio"="0.1"

); load 语句

【问题描述】
"fs.defaultFS"="hdfs://host:port/" 多了/ 导致的load 失败，load失败后会出现 be core

【问题状态】已解决
【问题处理】先使用正常的 "fs.defaultFS"="hdfs://host:port"，后续内部进行修复

张彬华5610

麻烦补充下这几个信息哈：

  1. be/log/be.out 堆栈信息
  2. hdfs上的文件是什么格式，什么压缩算法
  3. hdfs load的语句是什么样子的

感谢哈

阿渊@SelectDB5008

本地没有复现，不过这个pr：https://github.com/apache/doris/pull/33202
已经规范化了fs.defautFS，应该避免了这个问题。212 以发布

morningman322