centos6服务异常及主机崩溃原因分析

异常及主机崩溃原因分析"/>

centos6服务异常及主机崩溃原因分析

日志1：Nov 5 03:43:08 主机名 snmpd[154096]: Cannot statfs /mailbackup#012: Stale file handle

解释1：
statfs是一个linux系统调用，是上层应用程序与系统内核之间进行交互的途径，用于获取文件系统的统计信息，例如：总空间、可用空间等。系统试图获取"/mailbackup"文件系统的统计信息，但失败了，因为该文件系统的文件句柄（也就是访问权限）已过期或无效。

日志2：Nov 6 03:47:32 主机名 kernel: BUG: soft lockup - CPU#0 stuck for 67s! [mdsvr:150607]

解释2：
在Linux系统中，“soft lockup”是指某个线程或进程长时间占用CPU资源不释放，导致其他任务无法正常运行的现象。该节点分配了16个cpu，0至15在不同时间均出现了软锁定，意味着一个cpu卡住1分钟以上，导致系统响应速度变慢或崩溃。

日志3：
Nov 8 01:12:38 mailapp01 kernel: BUG: soft lockup - CPU#1 stuck for 67s! [imapsvr:21920]
Nov 8 01:12:38 mailapp01 kernel: BUG: soft lockup - CPU#9 stuck for 67s! [sh:53488]

Nov 8 01:12:38 mailapp01 kernel: Pid: 53488, comm: sh Tainted: G --L------------ 2.6.32-642.6.2.el6.x86_64 #1 QEMU Standard PC (i440FX + PIIX, 1996)
Nov 8 01:12:38 mailapp01 kernel: RIP: 0010:[] [] _spin_lock+0x1e/0x30

解释3：
imap服务使cpu1发生软锁、某命令sh使cpu9发生软锁，进程号为53488在cpu已发生软锁的情况下，试图申请自旋锁，发生内核抢占，产生内核Tainted panic。

参考：