doris2.1.6 用streamload进行doris数据入库,现在发现一个问题,3个BE,我们入库时kill掉一个BE,发现数据会重复 请问是什么情况呢?
操作命令:
/opt/streamloader/doris-streamloader --source_file="/opt/data/data/d2/*" --u="root" --p="" --url="http://192.168.2.35:8030" --header="column_separator:," --db="smp" --workers=4 --table="call_barring_202501"
表是明细模型
用streamload导入时,有一个BE突然死掉了之后,数据会多。
个人猜测是不是没有label导致的,求大佬解释下原理
如果写label,doris-streamloader这种方式怎么设置呢?
官网只看到了curl方式streamload加label