正式环境的filebeat +ELK 搭建的日志环境突然收不到日志。
分析
ELK 的日志收集流程:filebeat **->**kafka ->logstash ->elasticsearch
filebeat 采集客户端数据
kafka 接收来自filebeat 的数据
logstash 获取kafka 数据格式清洗后发生给elasticsearch
排查发现 logstash 报日志
[2020-05-22T09:07:57,341][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 403 ({"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"})
原因:
ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所以判断是磁盘空间不足导致ES不允许写入。
解决方案:
1.清理磁盘
2.删除索引
curl -v -X DELETE http://127.0.0.1:9200/logstash-2020.04.18
3.恢复索引可写
PUT _settings {"index":{"blocks":{"read_only_allow_delete":"false"}}}
更多推荐
ELK 磁盘不足解决
发布评论