案例"/>
一个latch: ges resource hash list和library cache: mutex X并发的问题分析案例
最近没有研究什么,先整理整理以前的故障分析报告吧!
主要是关于一个latch: ges resource hash list和library cache: mutex X并发的故障。
1. 分析主机负载情况
根据监控所看当时故障期间主要是 CPU 耗尽,因此查询当时 CPU 相关日志:
VMSTAT: zzz ***Mon Mar 5 08:36:18 CST 2018 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 149 3 124 9812752 1198728 35568716 0 0 1298 589 44966 29616 88 12 0 0 0 135 4 124 9798624 1198728 35568716 0 0 1281 251 40886 27238 88 11 0 0 0 zzz ***Mon Mar 5 08:37:07 CST 2018 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 189 2 124 9781452 1198728 35569696 0 0 1185 215 38132 25382 86 14 0 0 0 176 5 124 9779200 1198728 35569696 0 0 1363 314 40060 29394 87 13 0 0 0 zzz ***Mon Mar 5 08:37:57 CST 2018 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 149 4 124 9793104 1198728 35570700 0 0 1417 58 40571 26809 87 13 0 0 0 176 8 124 9808340 1198728 35570928 0 0 1161 620 41007 27465 89 11 0 0 0 |
MPSTAT: zzz ***Mon Mar 5 08:39:39 CST 2018 Linux 2.6.32-573.el6.x86_64 (yyxxdb04) 03/05/18 _x86_64_ (16 CPU)
08:39:40 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle 《《《idle 0 08:39:41 all 90.26 0.00 7.93 0.00 0.00 1.81 0.00 0.00 0.00 08:39:41 0 95.00 0.00 5.00 0.00 0.00 0.00 0.00 0.00 0.00 08:39:41 1 89.11 0.00 7.92 0.00 0.00 2.97 0.00 0.00 0.00 08:39:41 2 94.95 0.00 5.05 0.00 0.00 0.00 0.00 0.00 0.00 08:39:41 3 81.82 0.00 4.04 0.00 0.00 14.14 0.00 0.00 0.00 08:39:41 4 86.00 0.00 6.00 0.00 0.00 8.00 0.00 0.00 0.00 08:39:41 5 90.00 0.00 7.00 0.00 0.00 3.00 0.00 0.00 0.00 08:39:41 6 95.00 0.00 5.00 0.00 0.00 0.00 0.00 0.00 0.00 08:39:41 7 95.00 0.00 5.00 0.00 0.00 0.00 0.00 0.00 0.00 08:39:41 8 91.00 0.00 8.00 0.00 0.00 1.00 0.00 0.00 0.00 08:39:41 9 81.00 0.00 19.00 0.00 0.00 0.00 0.00 0.00 < |
更多推荐
一个latch: ges resource hash list和library cache: mutex X并发的问题分析案例
发布评论