doris-streamloader数据写入时,BE挂掉一个,入库数据数据重复

Viewed 45

doris2.1.6 用streamload进行doris数据入库,现在发现一个问题,3个BE,我们入库时kill掉一个BE,发现数据会重复 请问是什么情况呢?

操作命令:

/opt/streamloader/doris-streamloader --source_file="/opt/data/data/d2/*" --u="root" --p="" --url="http://192.168.2.35:8030" --header="column_separator:," --db="smp" --workers=4 --table="call_barring_202501"

表是明细模型
用streamload导入时,有一个BE突然死掉了之后,数据会多。
个人猜测是不是没有label导致的,求大佬解释下原理
如果写label,doris-streamloader这种方式怎么设置呢?
官网只看到了curl方式streamload加label

2 Answers

找到原因了,因为脚本中有个for循环导致的,多次测试单纯的load没有发现这种情况,感谢doris团队的帮助,感谢主席,每个问题都特别用心的帮忙找人去看,祝doris越来越好

streamloader的label 可以直接在 header 中指定,比如:--header="label:123" 这种。可以先试试,不过感觉可能不是label的原因。有问题直接联系我主页微信,我们再看下的