ELK配置索引清理策略

在ELFK（Elasticsearch, Logstash,Filebeat, Kibana）堆栈中配置索引清理策略是一个常见的需求，因为日志数据会随着时间的推移而积累，占用大量的存储空间。以下是一些配置索引清理策略的方法：
1. 使用索引生命周期管理（ILM）

• 首先，创建一个索引生命周期策略。例如，可以创建一个策略在索引高出7天后主动删除：
  1. PUT _ilm/policy/my_policy
  2. {
  3.   "policy": {
  4.     "phases": {
  5.       "delete": {
  6.         "min_age": "7d",
  7.         "actions": {
  8.           "delete": {}
  9.         }
  10.       }
  11.     }
  12.   }
  13. }

  复制代码
• 然后，创建一个索引模板并将该策略应用到匹配特定模式的索引上：
  1. PUT _template/my_template
  2. {
  3.   "index_patterns": ["log-*"],
  4.   "settings": {
  5.     "index": {
  6.       "lifecycle": {
  7.         "name": "my_policy"
  8.       }
  9.     }
  10.   }
  11. }

  复制代码
• 对于已经存在的索引，可以手动将生命周期策略应用到它们上面：
  1. PUT log-*/_settings
  2. {
  3.   "index": {
  4.     "lifecycle": {
  5.       "name": "my_policy"
  6.     }
  7.   }
  8. }

  复制代码

2. 使用Cron作业或脚本定期清理

• 可以编写一个Shell脚本，定期运行以删除旧的索引。例如，以下脚本可以删除7天前的索引：
  1. #!/bin/bash
  2. eshost='127.0.0.1:9200'
  3. dtime=`date -d "7 day ago" +%Y.%m.%d`
  4. echo `date` 'start clean ' $dtime >> clean-log.log
  5. indexs=`curl -s 'http://'$eshost'/_cat/indices?v' | awk '$3~/^logstash/{print $3}'`
  6. for index in $indexs; do
  7.   if [[ $index =~ logstash- ]] && [[ $index < $dtime ]]; then
  8.     echo $index >> clean-log.log
  9.     curl -X DELETE "http://$eshost/$index" > /dev/null 2>&1
  10.   fi
  11. done

  复制代码

3. 使用Logstash的输出插件配置

• 在Logstash的配置中，可以设置输出到Elasticsearch时主动应用ILM策略。这通常在Logstash的配置文件中完成，通过设置ilm_enabled和ilm_overwrite选项。
  

4. 使用Kibana的Dev Tools进行管理

• 在Kibana的Dev Tools控制台中，可以直接运行上述的ILM相干命令来管理索引的生命周期策略。
  

请注意，配置索引清理策略时，需要确保不会误删正在使用或需要保留的数据。在生产环境中应用这些策略之前，应该在测试环境中进行充实测试。上述方法中的命令和策略可以根据实际需求进行调整。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。