Skip to main content

存储管理

Hot-Warm-Cold 存储分层

随着数据量的不断增长积累,数据也会呈现出访问热度不同的巨大差异。例如日志场景会不断地写入的数据,但通常情况下最近写入的数据访问频率会比很久之前的数据高很多。如果无论数据冷热情况,都采用同样的存储策略,是对存储资源的一种浪费。

tip
  • Hot Layer 是经常访问的数据。这可能是员工或客户正在使用的活跃数据。它需要存储在高性能存储上,以便可以快速访问。
  • Warm Layer 是访问频率较低的数据。例如保留较长时间的日志数据。它不需要像热数据那样快速地被访问,因此它可以存储在稍微慢一些、容量优化的存储介质。
  • Cold Layer 是很少访问的数据。这可能是出于合规性原因存档的数据。它可以存储在更慢、更廉价的存储中。

Nasu 存储层规范

存储层中文名定义存储介质状态
HOT热存储层ESSD云盘已上线
WARM冷存储层高效云盘已上线

存储层调度

平台提供多种存储调度方式供用户根据不同场景使用

控制台手动操作

位置: 控制台 - 管理 - 存储层迁移

勾选指定的索引操作存储层迁移

可在下方「 迁移中分片 」查看迁移进度

控制台设置自动调度

位置: 控制台 - 管理 - 生命周期管理

生命周期管理提供了一种索引的自动调度策略,例如热阶段保留3天后迁移至冷阶段,进入冷阶段先做索引分段合并,保留30天后删除索引。

  • 索引模式匹配 采用前缀匹配规则,例如 log* 匹配索引名 log-2022-12-12,log-2022-12-13,log-2022-12-14 ...
  • 分段合并 分段合并能有效降低索引空间,但搜索性能会有所下降。
  • 索引删除 删除索引降低存储空间。

策略创建成功后,新创建的索引如果匹配到索引模式便会被平台自动托管,同时我们可以通过面板了解索引当前的托管阶段。

API接口方式

允许通过 API 方式控制一个或多个索引的存储层迁移。

tip

提交迁移前建议做一次索引的flush操作,忽略增量数据拷贝过程,大幅提升迁移效率。

// 迁移至热存储
POST /{index}/_hot

// 迁移至冷存储
POST /{index}/_warm