elasticsearch索引按日期拆分
1.索引拆分原因
如果单个索引数据量过大会导致搜索变慢,而且不方便清理历史数据。
例如日志数据每天量很大,而且需要定期清理以往日志数据。例如原索引为sc_all_system_log,现按天拆分索引sc_all_system_log20220902,sc_all_system_log20220903,sc_all_system_log20220904,并且定期清理五天前索引。
实现最终效果
2022.09.03日志数据存入sc_all_system_log20220903
2022.09.04日志数据存入sc_all_system_log20220904
数据虽然存入了不同的索引中,但是搜索却指向一个索引搜索
实现方法
一个索引名称搜索出多个索引数据,其实实现原理很简单就是利用索引别名,不同的索引可以指向同一个索引别名,我们搜索时只要搜索索引别名即可。
具体实现方法,按照下面顺序看下去
定时清理策略
利用ES的索引生命周期,清理几天前索引,所以创建时间超过七天之后会自动删除
创建策略,后面会用到。