服务器数据规复—磁盘坏扇区导致raid6阵列崩溃的数据规复案例 ...

服务器存储数据规复情况：
一台存储中有一组由12块SAS硬盘组建的raid6磁盘阵列，划分了1个卷，由数台Vmware ESXI主机共享存储。卷中存放了大量的Windows系统虚拟机。这些虚拟机系统盘大小划一，数据盘大小不确定，数据盘都是精简模式。
服务器存储故障：
机房非常断电导致存储瘫痪，加电后存储依然不可用。
服务器存储数据规复过程：
1、将故障存储的全部磁盘编号后取出，将全部磁盘和备份数据的目标磁盘连入到一台安装Windows Server系统的服务器上，将故障存储中的磁盘都设为脱机（只读）状态。
通过软件检察的连接状态(HD1-HD12为目标备份磁盘，HD13-HD24为故障存储中的磁盘)：

2、在底层读取HD13-HD24扇区，发现了大量坏扇区。开端判断这种硬盘的读取机制与常规硬盘不一样。更换操纵主机、HBA卡、扩展柜乃至将操纵系统更换为Linux，均呈现相同问题。与用户方工程师沟通，用户方工程师回应此控制器对磁盘没有特殊要求。
3、对硬盘损坏扇区的分布规律进行检测后发现如下规则：
a、损坏扇区分布以256个扇区为单元。
b、除损坏扇区片断的起始位置不固定外，反面的损坏扇区都是以2816个扇区为间隔。
全部磁盘的损坏扇区分布如下表（只列出前3个损坏扇区）：

北亚企安数据规复工程师编写了一个小步调，绕过每个磁盘的损坏扇区，镜像完全部故障存储中磁盘的数据。后续的数据分析和数据规复操纵都基于镜像文件进行。
4、基于镜像文件仔细分析损坏扇区后发现损坏扇区呈规律性出现，具有以下规律：
a、每段损坏扇戋戋域大小总是256扇区。
b、损坏扇区分布位置有肯定规律性，每跳过11个256扇区碰到一个坏的256扇区。
c、损坏扇区的位置存在于RAID的P校验或Q校验区域。
d、全部硬盘中只有10号盘有一个自然坏道。
5、分析HD13、HD23、HD24的0-2扇区，按RAID6计算，将分区大小除以9，与物理硬盘大小以及控制器中保留的RAID信息区域大小吻合。根据物理硬盘底层表现，分区表大小为512字节，反面无8字节校验，大量的0扇区也无8字节校验。故原存储并未启用DA技术(520字节扇区）。
分区大小如下图(GPT分区表项底层表现，涂色部分表示分区大小，单元512字节扇区，64bit)：

6、存储被分成一个大的卷，分配给几台ESXI做共享存储，因此卷的文件系统是VMFS。而VMFS卷中又存放了大量的Windows系统虚拟机。Windows系统虚拟机中使用的是NTFS文件系统，可以根据NTFS中的MFT的次序分析出RAID条带的大小以及RAID的走向。
在给全部磁盘做镜像过程中，发现末了一块硬盘中并没有像其他硬盘中一样有大量的坏道，此中有大量未损坏扇区，这些未损坏扇区大多是全0扇区，因此可以判断这块硬盘是热备盘。
7、根据分析获取到的RAID结构信息重组RAID，重组后已经能看到目次结构，但是不确定是否为最新状态。随机检测几个虚拟机发现有部分虚拟机数据非常，开端判断RAID中存在掉线的磁盘。依次将RAID中的每一块磁盘踢掉，然后检察刚才数据非常的地方，未果。仔细分析底层数据发现问题不是出在RAID层面，而是出在VMFS层面上。假如VMFS大于16TB会存在一些其他的记载信息，因此在组建RAID的时候需要跳过这些记载信息。跳过这些记载信息后再次重组RAID，检察之前数据非常的地方就可以对上了。针对此中的一台虚拟机做验证：将全部磁盘加入RIAD中后，这台虚拟机是可以启动的，但在缺盘的情况下启动就有问题，因此判断整个RAID处在不缺盘的状态为最佳。
8、验证重要的虚拟机，发现大部分虚拟机都可以开机进入登陆界面。只有部分虚拟机开机蓝屏或开机检测磁盘，但是通过光盘修复之后都可以启动。

9、验证数据库
验证重要虚拟机中的数据库，发现数据库都正常。此中有一个数据库，据用户形貌是缺少部分数据，但是经过仔细查对后发现这些数据在数据库中本来就不存在。通过查询master数据库中的系统视图。
查询结果如下图：

10、由于虚拟机的数目很多，假如验证每台虚拟机所需时间很长，因此对整个VMFS卷做检测。在检测VMFS卷的过程中发现有部分虚拟机或虚拟机的文件被破坏。

11、北亚企安数据规复工程师向客户形貌了目前的规复情况。用户对几台重要的虚拟机进行验证后，认可规复的数据结果。于是动手规复全部数据。
使用目标磁盘在一台存储上组建了一组RAID6阵列，将重组的RAID数据镜像到目标阵列上，然后剖析整个VMFS文件系统。
12、将规复好的VMFS卷连接到一台ESXI主机上，尝试将其挂载到的ESXI情况中。但是由于ESXI版本差别或VMFS本身有损坏，挂载不乐成。尝试使用ESXI的下令挂载也不乐成，于是放弃挂载VMFS卷。
13、安排工程师将那台新组建raid6阵列的存储带到用户方现场，依次导出VMFS卷中的虚拟机。
a、将存储上的数据通过HBA卡连接到用户的VCenter服务器上。
b、在VCenter服务器安装“UFS”工具，然后使用“UFS”工具解释VMFS卷。
c、使用“UFS”工具将VMFS卷中的虚拟机导入到VCenter服务器上。
d、使用VCenter的上传功能将虚拟机上传到ESXI的存储中。
e、将上传完的虚拟机添加到清单，开机验证。
f、假如有虚拟机开机有问题，则尝试使用下令行模式修复，大概重建虚拟机并将规复的虚拟机磁盘（既VMDK文件）拷贝已往。
g、由于部分虚拟机的数据盘很大而数据很少。针对这种情况可以直接导出数据，然后新建一个虚拟磁盘，将导出的数据拷贝至新建的虚拟磁盘中即可。
通过上述方式将规复的虚拟机逐台规复到用户的ESXI情况中。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。