聚合表写入多次,某一个字段的值会拼接上多次

Viewed 63

聚合表写入多次,某一个字段的值会拼接上多次,甚至会出现错位的情况,就是值有一部分变成另一个字段的值了

版本是2.0.15,其他环境的2.0.8、 2.1.6都没有出现

表结构如下:通过insert into多次写入表,出现重复,甚至乱码
image.png
根据id查询某一条记录又是正常的
image.png

CREATE TABLE `xdr_biz_alarm_agg` (
  `uuid` varchar(32) NOT NULL COMMENT 'uuid',
  `sip` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT '源IP',
  `dip` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT '目标IP',
  `dspo` int REPLACE_IF_NOT_NULL NULL COMMENT '目的端口',
  `ruid` varchar(10) REPLACE_IF_NOT_NULL NULL COMMENT '告警规则编码',
  `thle` varchar(10) REPLACE_IF_NOT_NULL NULL COMMENT '威胁等级',
  `alnm` varchar(500) REPLACE_IF_NOT_NULL NULL,
  `ifcs` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT '事件一级分类',
  `iscs` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT '事件二级分类',
  `daso` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT 'daso',
  `asid` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT 'asid',
  `srpo` int REPLACE_IF_NOT_NULL NULL COMMENT '源IPv4端口',
  `kcst` varchar(50) REPLACE_IF_NOT_NULL NULL COMMENT '攻击阶段',
  `dreg` varchar(100) REPLACE NULL COMMENT '目标地区',
  `dcity` varchar(100) REPLACE NULL COMMENT '目标城市',
  `dnop` varchar(100) REPLACE NULL COMMENT '目的端网络运营商',
  `dpro` varchar(100) REPLACE NULL COMMENT '目标省份',
  `sreg` varchar(100) REPLACE NULL COMMENT '源端地区',
  `scity` varchar(100) REPLACE NULL COMMENT '源端城市',
  `snop` varchar(100) REPLACE NULL COMMENT '源端运营商',
  `spro` varchar(100) REPLACE NULL COMMENT '源端省份',
  `iafa` varchar(3) REPLACE NULL COMMENT '源IP境内外标识',
  `iafb` varchar(3) REPLACE NULL COMMENT '目的IP境内外标识',
  `enar` varchar(50) REPLACE NULL COMMENT '国家编码',
  `star` varchar(50) REPLACE NULL COMMENT '国家编码',
  `atrs` varchar(200) REPLACE_IF_NOT_NULL NULL COMMENT '攻击结果',
  `aasn` varchar(500) REPLACE_IF_NOT_NULL NULL,
  `ower` varchar(50) REPLACE_IF_NOT_NULL NULL,
  `deid` varchar(50) REPLACE NULL,
  `iads` varchar(50) REPLACE_IF_NOT_NULL NULL,
  `clid` varchar(50) REPLACE NULL COMMENT '处置规则ID',
  `imtm` datetime REPLACE_IF_NOT_NULL NULL DEFAULT CURRENT_TIMESTAMP COMMENT '入库时间',
  `coun` bigint SUM NULL DEFAULT "0" COMMENT '发现次数',
  `fitm` datetime MIN NULL COMMENT '首次发现时间',
  `detm` datetime MAX NULL DEFAULT CURRENT_TIMESTAMP COMMENT '最后发现时间'
) ENGINE=OLAP
AGGREGATE KEY(`uuid`)
COMMENT '威胁告警-聚合'
DISTRIBUTED BY HASH(`uuid`) BUCKETS AUTO
PROPERTIES (
"replication_allocation" = "tag.location.default: 1",
"is_being_synced" = "false",
"storage_medium" = "hdd",
"storage_format" = "V2",
"light_schema_change" = "true",
"disable_auto_compaction" = "false",
"enable_single_replica_compaction" = "false",
"enable_mow_light_delete" = "false"
);
3 Answers

能来个可复现测试数据吗

INSERT INTO xdr_biz_alarm_agg (uuid, sip, dip, dspo, ruid, thle, alnm, ifcs, iscs, daso, asid, srpo, kcst, dreg, dcity, dnop, dpro, sreg, scity, snop, spro, iafa, iafb, enar, star, atrs, aasn, ower, deid, iads, clid, imtm, coun, fitm, detm) VALUES ('8afa413dace0c9d837ee43c19f5ac2bf', '91.204.226.19', '172.16.19.17', 443, 'r0082', '02', 'Web_Plugin_Bug', '005', '005100', 'xdr_source_alarm_08', NULL, 54441, '', NULL, '内部网络', NULL, NULL, '韩国', 'Seoul', 'KIDC Limited', 'Seoul', '3', '3', NULL, 'KR', '', NULL, 'LEADING_GROUP', 'SXF_SA01010101010101010', '1172.16.180.6', NULL, '2024-11-12 15:35:00', 22, '2024-11-12 15:10:50', '2024-11-12 15:21:02');

2.0.15的bug,其他版本不会出现。doris经常出现高版本bug更多的情况。2.0.8也比2.0.1bug多