Raid6 阵列重建时间太长求助

[Achophiark]

最近一台联想服务器安装的 ESXi 8,raid6 8T x 10 ，一块硬盘坏，esxi 内有不到 20 个虚机，新购硬盘插入后，13 日早上重建至今 10 天了还没完成，有经验的同学给说说这样是否正常。网上看到大概 8t 也就 100 小时重建。

[esee]

看你啥硬盘啥 CPU ，软 raid 还是硬 raid ，只要重建有进度在走，就这样吧，反正也没啥其他方法。在服务器前烧几炷香求老天爷保佑，这是唯一能做的

[gregy]

能装 esxi 应该不是软 riad 。联想用的应该是 lsi 的阵列卡，esxi 里安装一个 storcli 看看重建的状态和阵列卡的日志，别是重建的时候有啥问题导致重建卡住。另外如果虚拟机的磁盘 IO 比较高，阵列卡会优先保证磁盘 IO 并减缓重建的速度。可以用 storcli 调整重建的策略，牺牲一部分的磁盘 IO 速度加快重建速度。

[knightgao2]

服务器建议 raid 10

[Achophiark]

@gregy 阵列卡是 ThinkSystem RAID 930-16i 4GB Flash PCIe 12Gb Adapter
在 xcc 里能看到“重建中”但看不到进度。虚拟机的 io 确实挺高的，但有不能停的话，重建迟早应该会完成吧？

[Achophiark]

@knightgao2 现在来不急了啊

[luoshengdu]

重建其实就是硬盘的重新同步，也就是写入速度。有业务在跑，通常重建速度不超过 50MB/s 。

那么计算可得：（ 8T*8 个*0.93 （实际可用空间）） 50MB/s=1190400 秒，约 330 小时，耗时 14 天

[gregy]

@Achophiark 这个就是联想 OEM LSI 的卡，在 esxi 里装 storcli 看看重建真实的状态和进度，闭眼干等万一有坑就不好办了。
同意三楼的观点服务器用 raid10 比 raid6 要好，raid6 写惩罚太高，再加上你的虚拟机磁盘 IO 高阵列还在重建整体的性能更拉跨。不过 raid10 的成本会高很多。
你的服务器用了 10 个 8T 盘应该至少是一个 2U 的服务器，一般 2U 服务器能装 12 个 3.5 寸硬盘，加一块盘做成热备吧，这样多少能提高一些可靠性。

[geniussoft]

不正常，空载 8T x8 RAID6 重建 12 小时左右

[Achophiark]

@gregy 找到相应的 storcli ，提示安装成功，但要重启，正在重建中，重启 esxi 有啥问题吗？

[Achophiark]

@luoshengdu 谢谢回复，意思是还没到时间，再等等。

[Achophiark]

@geniussoft 这位同学说的是空载吧

[dode]

把重要的信息备份出来，迁移出虚拟机

[gregy]

@Achophiark 应该不用重启，网上查查 storcli 的命令，到 /opt 目录下找到二进制文件执行。注意看清楚命令解释别把虚拟卷删了

[gregy]

@Achophiark 重建中重启没啥问题，不过你都打算重启物理机了，说明虚拟机的业务可以停止？不如晚上把虚拟机关机看看没有负载的情况下能不能重建的快一些。

[Achophiark]

@dode 虚拟机都有备份，但是这是单主机，没办法迁移
@gregy 虚拟机可以停止业务，但停止了还是有些许麻烦的，实在不行停止。

[Achophiark]

/opt 下找不到二进制文件，find / -name storcli 也找不到

[waringid]

@luoshengdu 实际不太可能 8T 数据完全占满的。但是高负载情况下磁盘同步的速率确实很低

同时需要确认整个磁盘阵列的可用空间是多少，如果已用空间占了磁盘的 80%，那可能需要更长时间。像 8T 这么大容量的硬盘如果配置 RAID6 风险还是挺大的，主要是数据同步的时间太长，如果是同一批次的硬盘是可能存在通过过程中其它硬盘故障的情况

[gregy]

@Achophiark 我怀疑你装错了。试试这个，这是所有系统的 storcli 。找里面适用于 VMware 的
https://docs.broadcom.com/docs/007.1715.0000.0000_Unified_StorCLI.zip

[gregy]

@waringid 我记得 raid6 应该是全盘重建和数据的写入量没有关系。用了 1M 是重建全盘，用了 7T 也是重建全盘。

[ttvast]

@waringid 硬 raid 不管你用了多少空间，全盘读写重建的。

[Achophiark]

服务器配置 https://www.v2ex.com/t/897495
@waringid 总计 60T 用了 26T

@gregy 我装的没问题，你给的这个是 esxi7.1 以前版本的，我的是 BCM_bootbank_storcli_007.2414.0000.0000-01.vib
@ttvast 都说要完整重建，按照 6 楼同学的算法我大概算了 下也要 15 天以上了。
目前先不折腾了，等等我再来汇报一下，感谢大家的回复

[Achophiark]

@gregy readme 虽然有提示
Notes :
1. VIB under directory "VMwareOP" : This binary is for versions from ESXi6.0 to ESXi6.7.
2. VIB under directory "VMwareOP64" : This binary is for versions from ESXi7.0 and later.
但安装提示如下：
On platform embeddedEsx, VIB BCM_bootbank_vmware-storcli64_007.1705.0000.0000-01 requires esx-version << 7.1.0, but the requirement cannot be satisfied within the ImageProfile.

[gregy]

@Achophiark 我搞错了，我还没用过 8.0 我用的还是 7.0 甚至有部分 6.0 的还在运行。。。

[Achophiark]

11 月 1 日终于重建成功了，向各位同学汇报一下。前后历时大概 15 天，第一帖说的 13 日开始重建是不对的，13 日是降级，查日志是 17 日开始插盘的。谢谢各位的帮助了。
@esee
@gregy
@knightgao2
@luoshengdu 这位同学的推算时间基本准确
@geniussoft
@dode
@waringid
@ttvast
@luoshengdu

[Achophiark]

[waringid]

不容易啊，这种情况身心煎熬

[Achophiark]

这种单主机确实煎熬，没法迁移虚机，不过还好，都有备份，只是一旦 raid 崩了，整个 esxi 重建就更煎熬了。