systemcall
V2EX  ›  硬件

用 SSD 做 raid5 是不是可以显著提高重建成功率?

  •  
  •   systemcall · Jul 4, 2020 via Android · 5587 views
    This topic created in 2164 days ago, the information mentioned may be changed or developed.
    raid5 重建容易失败。我的理解是:
    1. raid5 会有大量读操作,机械硬盘本来就快坏了,重建的时候因为读负载太大硬盘坏了
    2. 硬盘的数据本身就有可能错误
    3. 重建的时间较长。硬盘的批次相同、体质相似、工作负载相似,容易在相近的时间故障
    SSD 的话:
    1. 读操作的磨损很小,基本上不会造成损伤
    2. 有校验和纠错、均衡磨损,理论上可以做到主机感知
    3. 速度快、容量小,需要的时间短,并且 SSD 读操作影响小,没那么容易坏掉
    27 replies    2024-05-13 15:24:17 +08:00
    pkwenda
        1
    pkwenda  
       Jul 4, 2020
    听说 ssd 半年 - 一年 不通电数据容易丢失
    FurN1
        2
    FurN1  
       Jul 4, 2020   ❤️ 2
    @pkwenda 嗯,一般建议每六个月通电。因为 SSD 和所有的 non-volatile RAM 一样,数据是存在浮栅晶体管的浮栅里的。浮栅一般是金属(或类金属化合物)包在上下两片 high-k 介质里,周围有 low-k 钝化层包裹。所有介质层都是非晶氧化物,有晶界、各种类型的缺陷造成漏电,尽管速度很慢。不过要是不考虑成本且阶段性通电的话,SSD 会快一些。
    vk42
        3
    vk42  
       Jul 4, 2020   ❤️ 1
    @pkwenda @IgniteWhite 做 raid 的话不就默认常年在线么,为什么要考虑 retention error ?

    用 SSD 的话主要还是成本问题吧,现在 8T 的 SSD 即使 QLC 这么长时间也比 HDD 贵几倍吧,而且写入寿命不知道能折算多少的 MTBF ?
    FurN1
        4
    FurN1  
       Jul 4, 2020
    @IgniteWhite 补充,也可能是多晶硅栅
    cjpjxjx
        5
    cjpjxjx  
       Jul 4, 2020
    SSD 价格够买好几块机械硬盘直接 raid1 了吧
    ryd994
        6
    ryd994  
       Jul 4, 2020 via Android
    如果 SSD 做 raid 一般是为了高性能,用 raid5/6 的话校验会成为瓶颈。所以 SSD 一般用 raid10 或直接 raid0 用作缓存
    ryd994
        7
    ryd994  
       Jul 4, 2020 via Android
    @cjpjxjx SSD 的优势是多少块硬盘都无法比拟的
    SSD 的优势是写入延迟。这是必须落盘而不能靠缓存的。机械硬盘的寻道时间是硬伤。而且无论怎么 raid,写入延迟都不会更低,甚至因为多了一个中间层还更高了
    带 bbu 的 raid 卡可以允许 writeback 缓存顶一下,但是和 SSD 的可持续性还是没法比的
    optane 在这方面更强大
    要追求极限的话 raid 卡本身就是瓶颈,甚至芯片组也会成为瓶颈,这就要靠 vroc 技术了
    delectate
        8
    delectate  
       Jul 4, 2020   ❤️ 1
    楼主的思考已经很深入了,值得点赞。
    首先,可以用 ssd,但是成本太高了,所以通常不推荐。
    raid5 的确存在“硬盘的批次相同、体质相似、工作负载相似,容易在相近的时间故障”情况,遇到了就会感到深深的绝望。
    所以通常个人推荐 raid10,或者 raid6,hot spare 等方案。
    loading
        9
    loading  
       Jul 4, 2020 via Android
    raid 是高可用方案,并不是数据备份方案,怎么多人就是不听呢?
    lucifer9
        10
    lucifer9  
       Jul 4, 2020
    大硬盘重建 raid5 经常失败主要是由于 Bit Error Rate
    https://lenciel.com/docs/scsi-sata-reliability/
    ericbize
        11
    ericbize  
       Jul 4, 2020 via iPhone   ❤️ 1
    之前四块家用 4T 的盘做 raid 5, 重建都没事,硬件 raid 卡才是关键吧?
    ferock
        12
    ferock  
    PRO
       Jul 4, 2020 via iPhone
    @ericbize #11

    重建没事只是概率问题,讨论问题不能拿个例做参照,这存在幸存者偏差
    ericbize
        13
    ericbize  
       Jul 4, 2020
    @ferock 我是不知道,raid 有重建失败这个问题,2333
    ericbize
        14
    ericbize  
       Jul 4, 2020
    @ferock 可能之前大部分都是 raid10 + 硬件 raid 卡吧
    wanguorui123
        15
    wanguorui123  
       Jul 4, 2020 via iPhone
    用 SSD 不如用 RAID6 或 RAID10,足够多买几块备份机械硬盘了。SSD 一旦坏了恢复就麻烦了
    iceecream
        16
    iceecream  
       Jul 5, 2020
    cachecade 可以折中一点
    594duck
        17
    594duck  
       Jul 6, 2020
    我们生产环境都是 raid10 * 4 块万转磁盘 ssd 只是做 cache
    beijiaoff
        18
    beijiaoff  
       Jul 6, 2020
    现在存在叠瓦盘和非叠瓦混卖的情况,如果做 raid5,一定要认真鉴别。重建时间可能有 10 倍以上的差距。 还有,时刻记得是高可用性方案,不是备份方案。先确定自己的目的再选择技术。
    beijiaoff
        19
    beijiaoff  
       Jul 6, 2020
    上面咋丢掉了 raid 单次,raid5 是高可用性 不是备份方案
    no1xsyzy
        20
    no1xsyzy  
       Jul 6, 2020
    @beijiaoff #18 之前存在,现在已经不存在了,主要大厂均明确声明,以后的所有产品上明确标注 SMR/PMR 。主要还是集体诉讼这个机制比较先进。(我之前还天真以为 HMR 之类可用了所以没必要混杂 SMR/PMR 了)
    那个测试里重建花了 9 天来着?拿叠瓦式做 NAS 必须是可感知并且配合感知处理的文件系统,否则别想了。换句话说,消费者级别想了。

    顺便让我也来复读下吧
    raid 是高可用方案,并不是数据备份方案,怎么多人就是不听呢?
    ZFS 定期全卷备份不好吗? systemd 做个 mount 即开始备份的 trigger,定期插一下就好了。
    systemcall
        21
    systemcall  
    OP
       Jul 7, 2020 via Android
    @loading 数据备份,不应该用 SSD 吧
    想到的是这样的话,可以保证服务可用。备份当然是要做的,那也是容灾用的了,成本和可靠性比性能重要
    而且感觉 SSD 的故障没那么有规律,组 raid 反倒是更好的选择:需要保证部分 SSD 故障时服务可用,不容易出现大批的故障因为故障没多少规律,重建会快上不少而且成功率高,没有共振和启动电流方面的问题,组 raid 可以有效地提升顺序读写的性能,也不会因为额外的 IO 和队列而大幅降低性能
    ryd994
        22
    ryd994  
       Jul 9, 2020 via Android
    @systemcall raid 无法叠加 ssd 的性能
    ssd 本身的性能已经相当高了。用 SSD 的地方一般不是为了顺序读写带宽,带宽靠堆 hdd 也可以解决。需要的是随机读写,而 raid 对随机读写没有任何用。对于 raid5 这样的有 parity 计算的还会有反效果,因为需要先读所有 bit,计算 parity 之后再回写。而且 parity 计算的消耗也非常大
    即使用 raid0/1,raid 卡也大概率会成为瓶颈。所以才有 vroc 技术。如果你不需要 vroc 技术,那你大概率也不需要 SSD raid
    iFrey
        23
    iFrey  
    PRO
       May 22, 2023 via iPhone
    3 年后,ssd 已经白菜价了,m2 4t 只要 1000 ,跟 4t 希捷酷狼的价格几乎一样了,随着闪存颗粒的不断降价,nas 必将全固态化,体积也会大大减小
    systemcall
        24
    systemcall  
    OP
       May 24, 2023 via Android
    @vsean #23
    但是 4t 机械只要 400 多,还是差一倍。18t 机械 2000 不到
    机械天天高强度顺序写入可以用很久,ssd 不行,监控市场还会活很久
    iFrey
        25
    iFrey  
    PRO
       May 24, 2023
    @systemcall #24 400 多 4T 的是最低端的 蓝盘,绿盘之类的产品,除非只用来存电影,如果存重要数据,坏的概率是大大高于酷狼之类的专业 NAS 硬盘的
    systemcall
        26
    systemcall  
    OP
       May 25, 2023 via Android
    @vsean #25
    400 多可以买到紫盘,紫盘设计的工作负载并不低,你可以看作它能够一直以 100M/s 顺序写入,写 5 年
    这个方面,SSD 反而做不到
    而且紫盘对阵列有优化,比如有 rv 传感器,不过部分型号确实没有
    gvdlmjwje
        27
    gvdlmjwje  
       May 13, 2024
    @594duck ssd 是用 raid 卡的 cachecade 功能吗?不是的话能够告知下使用的什么方法把 ssd 用作缓存?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2884 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 88ms · UTC 05:12 · PVG 13:12 · LAX 22:12 · JFK 01:12
    ♥ Do have faith in what you're doing.