1.概要
以下是针对某客户Oracle一体机 X4平台上，Oracle集群第二节点xdm01dbadm01宕机的故障简要分析说明。
2.故障现象
某日13:54 客户x4平台Oracle两节点集群第二节点宕机，导致部分业务中断，银行部分核心业务中断五分钟左右，此次中断为异常中断，现对此情况进行分析如下：
3.故障分析
本次故障发生在在14：00，开始分析：
收集数据库日志，crs日志，css日志，还有系统日志
3.1 Crsd日志如下
2019-09-24 13:47:42.225:
[crsd(30143)]CRS-2769:Unable to failover resource 'ora.odsdb.db'.
2019-09-24 13:53:08.262:
[cssd(22505)]CRS-1662:Member kill requested by node xdm01dbadm01 for member number 1, group DBXDM
在此期间主中心x4平台主库和备中心x4平台做数据库adg的switchover，切换之前主中心X4上运行的数据库为主库，备中心X4平台上运行的数据库备物理备库。日志中显示切换过程中报错，但是切换界面并无报错切换失败。
3.2 alert日志
节点二宕机时的报错在数据库alert日志中有体现出来，数据库日志中发现主中心X4平台集群二节点宕机时有磁盘io错误，日志如下：
进一步分析下面的日志中可以发现有部分磁盘在DATAC1磁盘组中离线，故导致io报错
下面日志中可以发现，控制文件错误，集群两个节点的数据不一致，数据库集群节点二被驱逐
4.故障总结
由以上日志分析，此次故障为adg切换失败，导致io隔离切断了存储链路，存储链路异常导致二节点磁盘io错误，磁盘io失败之后，不能进行集群之间的数据同步，进而二节点被驱逐随后宕机。