apache doris 3.0 日志系统冷热分离

Viewed 41

技术参考文档:https://doris.apache.org/zh-CN/docs/3.0/gettingStarted/tutorials/log-storage-analysis
唯一的区别是配置S3资源类型
CREATE RESOURCE "log_s3"
PROPERTIES
(
"type" = "s3",
"s3.endpoint" = "cos.XXXX.myqcloud.com",
"s3.region" = "XXXX",
"s3.bucket" = "logs",
"s3.root.path" = "cold_logs",
"s3.access_key" = "sufw080wlwljl324",
"s3.secret_key" = "jlfjslfs92342ljl"
);
#声明策略1d的放到cold阶段
CREATE STORAGE POLICY log_policy_1day
PROPERTIES(
"storage_resource" = "log_s3",
"cooldown_ttl" = "86400"
);
#声明表引用该策略
property(
.......
"storage_policy" = "log_policy_1day"
);
SHOW PARTITIONS FROM v1_app_log\G;
image.png
通过上图所示,超过1天的数据并没有存放到s3,请问如何排查?

2 Answers

show data from xxx 可以看到 表级别的 RemoteSize,执行这个看看

另外grep cooldown be.INFO 看看是否有异常日志

image.png image.png 但是CooldownTime还是未变,以及"s3.root.path" = "cold_logs",配置能否指定目录按分区表进行管理,例如冷数据归档的时候,按照cold_logs/p20241228、cold_logs/p20241229依次管理

今天发现前面的数据还丢失了
image.pngimage.png