admin管理员组

文章数量:1570370

# 18、清理prometheus(监控)历史数据

转至元数据起始

现象:1.监控大盘主机,/data磁盘使用率100%

      2.开发者中心首页所有主机显示“未添加监控”;

思路:1.缩短prometheus的监控数据保存期限(平台默认保存期限为30天);

      2.最优解决方案是客户为主机增加磁盘。

注意:此方案只是临时解决方案,平台的默认监控数据默认保存时间没有变化。

1.查看prometheus运行状态,并停止

systemctl stop prometheus

docker ps -a |grep prome

systemctl status prometheus

2.备份prometheus命令

mkdir /data/yonbak/

cd /yonbak/

docker cp prometheus:/bin/prometheus .


 

3.在备份目录执行以下命令,修改监控数据保留期限15天

./prometheus \

  --config.file=/data/monitor/prometheus/conf/prometheus.yml \

  --web.enable-lifecycle \

  --storage.tsdb.path=/data/monitor/prometheus/data \

  --storage.tsdb.retention=15d

   执行 此命令后,终端不会退出,可以查看日志是否正常输出,并确认没有出现大量异常报错,同时查看磁盘空间是否已经释放(约 5-6分钟)。

   检测命令:curl http://ip:9090/alerts

4.确认一切正常后,退出终端

ctrl + c  

5.启动prometheus 和 grafana

systemctl start prometheus

systemctl  restart grafana

6.检查prometheus和grafana的运行状态,

docker logs prometheus

curl http://ip:9090/alerts

本文标签: 历史数据prometheus