ELK 磁盘不足解决

正式环境的filebeat +ELK 搭建的日志环境突然收不到日志。

分析

ELK 的日志收集流程：filebeat **->**kafka ->logstash ->elasticsearch

filebeat 采集客户端数据

kafka 接收来自filebeat 的数据

logstash 获取kafka 数据格式清洗后发生给elasticsearch

排查发现 logstash 报日志

[2020-05-22T09:07:57,341][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"})

原因：

ES数据所在目录磁盘空间使用率超过90%后，ES将修改为只读状态，所以判断是磁盘空间不足导致ES不允许写入。

解决方案：

1.清理磁盘
2.删除索引

curl  -v  -X DELETE http://127.0.0.1:9200/logstash-2020.04.18

3.恢复索引可写

PUT _settings {"index":{"blocks":{"read_only_allow_delete":"false"}}}