关于冷热分离

Viewed 29

有几个关于冷热分离的问题:

1.热数据向冷数据迁移时,调度策略是怎么样的,是优先本地迁移吗?

2.如果由于机器限制,集群里有的机器没办法插hdd,导致插hdd的几台机器cpu负载一直很高,那这种情况下,是不是存冷数据的机器干脆只插hdd比较好?

3.结合1和2,有没有部署冷热分离的最佳实践呢?

谢谢各位!

1 Answers
  1. 优先本地迁移,如果你配置的是ssd和hdd的冷热分离,建议每个be都有对应的存储介质
  2. 我的建议是那几台be直接搭建minio,数据冷存到s3也就是minion上更合适
  3. 建议冷热分离,热数据存在本地,冷数据存在s3

最佳实践

  1. Cooldown ttl不要设置得太大,避免数据频繁上传到对象存储又发生cooldown compaction
  2. 建议用户记录清楚自己所有的创建resource语句以及创建policy语句,如果policy被错误删除了,还能靠这个抢救
  3. 如果有经常查询的需求,建议开启file cache
  4. 如果有多个集群,在使用storage resource的时候一定要通过prefix进行隔离