这是一个创建于 1299 天前的主题，其中的信息可能已经有所发展或是发生改变。
大约需要容量 60TB，总读写速度不低于 4000MB/S，日常使用 写>读
准备购入一台 R740XD，可以上 24 块 2.5 寸的硬盘，带 H730P 阵列卡
如果用 3.84TB INTEL 企业级 SSD * 24 块，做 Raid10 阵列，速度勉强达标，但实际可使用容量只有 46TB 左右
如果做 Raid5 可以节省很多硬盘，企业级硬盘不容易坏，组 Raid5 或 Raid50 可靠吗？
还有一种就是用 MLC 耐用 SSD 做缓存盘+SAS 盘？
没搞过这种大型存储机器，有点方 又怕买错，也不知道读写能力可否达到要求
请问各位硬件大佬有什么好的方案吗？
准备购入一台 R740XD，可以上 24 块 2.5 寸的硬盘，带 H730P 阵列卡
如果用 3.84TB INTEL 企业级 SSD * 24 块，做 Raid10 阵列，速度勉强达标，但实际可使用容量只有 46TB 左右
如果做 Raid5 可以节省很多硬盘，企业级硬盘不容易坏，组 Raid5 或 Raid50 可靠吗？
还有一种就是用 MLC 耐用 SSD 做缓存盘+SAS 盘？
没搞过这种大型存储机器，有点方 又怕买错，也不知道读写能力可否达到要求
请问各位硬件大佬有什么好的方案吗？
 |
1
zanzhz1101 2020-09-28 09:58:18 +08:00 via Android
RAID 5 + Spare ？
|
 |
2
JeromeCui 2020-09-28 10:00:58 +08:00
为啥不用 minio 这种？
|
 |
4
CallMeReznov 2020-09-28 10:03:04 +08:00
Raid5 的问题在于,你想它不会坏的情况下,它是一定会炸给你好看的.
就算是可重建的情况,重建速度慢到爆炸. 另外还有一个平均故障率的问题,如果你是一批硬盘,一旦一块硬盘在这个故障区间瞬间,很可能就在短时间内就会坏第二块,第三块. 现在对象存储的解决方案有很多高可用的软件解决方案. CEPH 可以用 SSD 加速或者直接 SSD 落盘. |
 |
5
ungrown 2020-09-28 10:03:04 +08:00
任何 raid 都比不上 zfs
|
 |
6
wanguorui123 2020-09-28 10:04:19 +08:00
推荐：
RAID 1 、6 、10 、100 FreeNAS |
 |
7
flypei OP |
 |
8
Reficul 2020-09-28 10:25:15 +08:00
ZFS 的内存 60Tb 的话，我记得推荐要上 60G 的内存。默认 FreeNAS 配置无论你插了多少内存，ZFS 默认占一半。
|
 |
9
eastern 2020-09-28 10:26:54 +08:00
24 块盘重建好像要不少时间，我记得有个网站可以计算 raid5 的重建时间的，可以找来参照一下
|
 |
11
FS1P7dJz 2020-09-28 10:59:06 +08:00
ZFS 有巡检
可以防止硬盘硬件错误导致 RAID 失效 不过软件方案一般都要求上 ECC 内存 |
 |
12
geniussoft 2020-09-28 11:10:41 +08:00
1. 你的阵列卡恐怕会是瓶颈吧。
2. 上强大的处理器，软 Raid 吧。 3. 说重建慢的基本都是新手。全固态，处理器够强，重建几小时的事。 4. 反正和磁盘成本比起来，主机成本反而不算什么。考虑一下群晖 FS6400 ？（ W/R：7000/4700 ）至少省心。 5. 考虑一下 Raid6-0 ？（你将会获得 20 / 24 = 83.3%的容量，和较好的安全性） 建立在总写入量不会超过硬盘设计的情况下，否则，你将需要定期更换硬盘。 6. 如果采用机械硬盘，为了稳定地达到你的目标速度，你可能需要 35 块以上的 3.5 寸硬盘 ...... 7. 我见过很多鄙视商用解决方案（如群晖），自己搞的。 然而，他们共同的特点是，经常理论上很美好，实际上却各种出问题，最后测速还远不如人家。 除非，你确认自己有非常丰富的经验。 8. 相信你也知道的，UPS 是必须要搞的。 |
 |
13
ziseyinzi 2020-09-28 12:00:28 +08:00 via Android
如果很重要，还是建议找商用解决方案，如果你要自己搞，TrusNAS （ Raid-Z ）
|
 |
14
sampeng 2020-09-28 12:38:38 +08:00 via iPhone  1
raid5 ？死给你看的时候你哭都没地儿哭…
raid5 丢失过几十 t 数据 raid5 几 T 数据重建跑了 2 天…因为业务部门要用 两个自己经历的例子感受一下 最低限度 raid6 |
 |
15
shadowyw 2020-09-28 16:48:14 +08:00
RAID5 最好别用 RAID6+spare 起步, zfs 或者 ceph 更好
|
 |
16
594duck 2020-09-29 10:11:03 +08:00 via iPhone
|
|
17
594duck 2020-09-29 10:12:34 +08:00 via iPhone
你这要求还是买专业存储吧。
买不起 netapp emc 可以买华为存储。 别乱折腾死都不知道怎么死（半年内跑路的可以） |
|
18
geniussoft 2020-09-29 11:20:14 +08:00
@594duck 事实上，性能要求最高的 Raid，几乎都是软 Raid 吧。
不要认为 Raid 卡有什么特别的，无非是给 CPU 降低点压力而已。 这种存储节点很可能任务只有阵列 SMB iSCSI，也不需要节省 CPU 。 |
 |
19
xlibve 2020-09-29 14:04:31 +08:00
一般这么大容量都是直接用 HBA （直通）卡吧，做 z2 感觉比较好，普通阵列卡带不起这么多固态如果没记错 H730P 应该支持非阵列直通，但是毕竟不是纯直通卡不知道会不会带宽不够被限速。如果一定要做阵列，这么大高写入 io 建议是 Riad50 或者 raid 50 加热备。60 写入还是有点慢。单纯 5 太不安全了。其实全闪同步挺快了。我们之前上了 2 批大概各有 10 多台 HPE 的 380Gen10 配合 p840ar 阵列卡 用 intel S4510 1.92T*24 和 sansung 883 1.92t *24 一半做 ceph 一半做 50 ，到现在用了 1 年多点 883 坏了有 3 块还是 4 块 ，4510 坏了 1 块。发现都是做阵列 50 上挂的。但是同步还是挺快的，大概中午休息换盘，下班前就同步完了。
|
 |
21
reus 2020-09-29 16:17:04 +08:00 via Android
@ungrown raidz1 和 raid5 一样重建缓慢而且重建出错就完蛋，raidz 本质就是非标准 raid，原理是一样的，只不过有一些锦上添花的设计
|
|
22
594duck 2020-09-30 05:02:34 +08:00 via iPhone
另外推荐 ssd 做长时间存储的。我只能说你们是勇士。
结束 |
 |
23
msg7086 2020-09-30 06:32:15 +08:00
问就是找专业的去咨询。
你来问，多半是因为不懂。不懂的人，看着别人给的建议组起来机子，一样不懂得调优，不懂得运维。 比如说阵列卡，哪种阵列卡好，阵列卡配哪种 SSD 好，组哪种 RAID，组多大的阵列，这你也不懂。 又比如说买 HBA 做 ZFS，ZFS 一大堆参数怎么配好？用 Oracle ZFS 还是 OpenZFS 好？用 Solaris 还是用 FreeBSD 还是用 Linux 好？ RAID 做成 all in Z3 好还是多个 Z2 vdev 好？内存按照 1T:1G 配还是按照多少配？ 别说你不懂，我也不懂，很多回答的人也没有做过全方位的测试，做过全方位测试的人给出的方案也不一定适合你的业务场景，更不说这些测试结果可能是企业机密…… 所以，嗯，如果是企业采购的话，找专业的砸钱做方案就是了。 |
|
24
ungrown 2020-09-30 15:50:45 +08:00
@reus #21
首先本帖的上下文语境中，RAID 特指排除掉非标准 RAID 之外的 RAID0 、RAID1 、RAID5 之类的名词及其相关的软硬件产品 所以虽然在现实名空间中 RAIDZ 可以归入广义的 RAID 之中，但是在本帖名空间内 RAID 和 RAIDZ 指的是不同的具体事物 其次，一句“原理是一样的，只不过有一些锦上添花的设计”并不能用来画等号，因为两者的特点并不相同 RAID5 重建失败丢全部，ZFS 重建失败只会丢失出错的数据块 这是不是原理一样？是的 这是不是锦上添花？是的 这是不是意味着 RAID5 能拿来跟 ZFS 相提并论？ 给你重新发言的机会！ |
|
25
ungrown 2020-09-30 16:05:17 +08:00
|
 |
27
rosees 2020-10-01 12:48:36 +08:00
建议了解下 Windows 的存储空间功能
|
Select Language