V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
V2EX  ›  LVM

关于大硬盘服务器的分区

  •  
  •   Livid · 2013-06-07 14:35:38 +08:00 · 9717 次点击
    这是一个创建于 4218 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Dell R510 服务器,8 块 2T 的硬盘,有 RAID 卡,装 Ubuntu Server 12.04,大家觉得最科学的分区方式及文件系统会是?
    35 条回复    1970-01-01 08:00:00 +08:00
    Sunyanzi
        1
    Sunyanzi  
       2013-06-07 14:44:39 +08:00
    那啥 ... 至少要说机器是做什么用的吧 ..?

    如果只有这些信息能提供的方案就只有都分给 root 了 ...
    Ultratude
        2
    Ultratude  
       2013-06-07 14:47:26 +08:00
    有 RAID 卡,这么组 RAID 也是一个问题。
    Livid
        3
    Livid  
    MOD
    OP
       2013-06-07 14:53:32 +08:00
    @Sunyanzi 视频下载。
    pyKun
        4
    pyKun  
       2013-06-07 14:56:13 +08:00
    用对象存储的话,如果进程了硬盘是1对1的时候,数据盘不用raid,系统盘做mirror
    Sunyanzi
        5
    Sunyanzi  
       2013-06-07 14:59:16 +08:00
    @Livid 有什么和视频相关的逻辑在运行么 ..?

    比如视频格式转化或者来源视频会先堆在一个什么地方然后由程序分捡一类的 ...

    还是单纯就是只提供下载而已 ..?
    alexrezit
        6
    alexrezit  
       2013-06-07 15:02:36 +08:00
    有必要分区么?
    Livid
        7
    Livid  
    MOD
    OP
       2013-06-07 15:03:05 +08:00
    @Sunyanzi 就是纯下载。
    cloudzhou
        8
    cloudzhou  
       2013-06-07 15:03:49 +08:00
    @alexrezit 很有必要,有时候对分区进行 fsck,还有重装系统的时候不影响数据分区
    iZr
        9
    iZr  
       2013-06-07 15:15:24 +08:00
    @Livid youtube-dl?
    ybf1220
        10
    ybf1220  
       2013-06-07 15:24:11 +08:00
    硬raid 做好,raid 5 或者 raid10,比较常用。采用 parted 创建 Gpt 分区,原本的 fdisk 已经不适合了,上次分了个 5块 2T 硬盘的分区。
    passluo
        11
    passluo  
       2013-06-07 15:24:56 +08:00
    raid 最好不要跨盘分区。血与泪的教训。
    Sunyanzi
        12
    Sunyanzi  
       2013-06-07 15:25:01 +08:00   ❤️ 1
    @Livid 如果是这样的话 ... 我的建议如下 ...

    八块硬盘组 RAID 1+0 ... 我们就有了 8T 的可用存储空间 ...

    当然如果有其他的备份下载机就算这台崩了也无所谓的话组个 RAID 0 单纯撑容量也可以 ...

    如果短期内不会有频繁的扩容或其他操作硬盘就是固定的 8 x2T 的话不用上 LVM ...

    分区方案如下 ... /boot 128M ... SWAP 双倍物理内存大小 ... root 10G 绰绰有余 ...

    /usr 10G ... 重要的路径是 /usr/local 和 /usr/share ...

    用于存放 webserver 及其他 log 分析软件 ...

    /var 视单天会产生的 log 文件大小而定 ... 一般来说预留一星期的足矣 ...

    重要的路径是 /var/log ... 用于临时存放 access.log 和 error.log ...

    log 处理软件处理完成之后保存报告删除原始 log ...

    这样就算 log 处理器崩了分区满了也不会影响到下载业务 ...

    /home 一般而言不用单独分 ... 如果有在 /home 下保存文件的需要按照需求分 ...

    /tmp 一般而言不用单独分 ... 如果有什么东西用到了 /tmp 再单独视需求分 ...

    大的原则就是 root 的 10G 只是 system 相关 ... 如果有了 user 相关的内容就分出去 ...

    这样我们至少会剩下 7.8T 的空间 ... 全都分给 /data ... 用以保存需要下载的文件 ...

    大体就是这样啦 ...
    Sunyanzi
        13
    Sunyanzi  
       2013-06-07 15:54:32 +08:00
    写完了一琢磨既然有 8 块硬盘的话 ... 闲着也是闲着 ... 组个 RAID 50 也不错 ...

    容量会比 RAID 1+0 大出 4 个 T ... 并且如果需要下载的是 flv 文件的话速度会快一些 ...

    容错低于 RAID 1+0 但至少比纯纯的 RAID 0 是让人放心多了 ...
    Kvm
        14
    Kvm  
       2013-06-07 17:07:34 +08:00
    @Sunyanzi swap是内存的双倍这个太残了,上限2G就可以了(如果你的内存是1G一下的当我什么都没说),一是swap不会经常被占用,二是如果长期大量开销swap的话还是加内存吧,加内存和消耗IO的成本和孰重孰轻自个应该都有底。

    本人常用分区 /boot 1g swap 2G /直接给120G 剩下的爱挂哪儿挂哪儿,LVM可做可不做,如果楼主条件适合可以再添加块SSD做系统,8块2T做RAID10兼顾数据安全和IO读写。
    tarsier
        15
    tarsier  
       2013-06-07 17:11:51 +08:00
    @Kvm 严重同意,现在内存很大的情况下,swap意义没以前那么大了。而且一旦swap,系统的负载就会很高
    Sunyanzi
        16
    Sunyanzi  
       2013-06-07 17:58:20 +08:00
    @Kvm 给物理的一倍大概只是为了有突发情况的时候不至于那么快死掉吧 ...

    多年的习惯而已 ... 32G 内存以下的机器都是双倍 ... 32G 内存以上的机器等同内存 ...

    不过事实上在运行良好设计的系统时确实不该吃到 SWAP ...

    只是为求个安心 ... 意外发生之后看到重病人和看到死人还是不太一样的 ...
    halfbloodrock
        17
    halfbloodrock  
       2013-06-07 18:00:18 +08:00
    RAID5,LVM卷,只分一个/就可以了。
    Kvm
        18
    Kvm  
       2013-06-07 19:12:10 +08:00
    @Sunyanzi 拿硬盘当内存使饮鸩止渴。。。。。
    likuku
        19
    likuku  
       2013-06-07 22:11:34 +08:00
    我的理想是2块小盘作RAID1,gpt装freebsd_9.1 amd64,其余6块都独立盘,gpt+4K对齐,五块组zfs的raidz1,剩余一块当spare。zfs可靠完善,有snapshot很方便备份,未来无损数据在线扩容也很方便。

    只考虑linux的话,则所有盘作RAID5,LVM卷,/boot 200M,swap 4G,/ 30G,剩余空间作一个vl,使用btrfs,因为有snapshot,当前3.8 内核下的btrfs已经相当稳定和快速了。
    lnehe
        20
    lnehe  
       2013-06-07 22:55:03 +08:00
    我的 2*2T

    1 primary ext3 / 1 2000 MB
    2 primary swap none - 2 x 1000 MB
    3 primary ext3 /home 0 2 x 1997000 MB

    全部数据放在home的一个目录(里面有多层子目录) 也是做纯下载服务器, 硬盘挂掉数据就没了。。。。
    likuku
        21
    likuku  
       2013-06-07 23:18:48 +08:00
    @passluo 「raid 最好不要跨盘分区。血与泪的教训。」那么,组raid还有意义么?
    likuku
        22
    likuku  
       2013-06-07 23:20:21 +08:00
    @lnehe ext3 在意外断电和长久没fsck时,作一次fsck风险很高的,且fsck非常缓慢。
    likuku
        23
    likuku  
       2013-06-07 23:22:44 +08:00
    补充:
    当前linux,系统和应用分区,建议xfs/ext4,都比较可靠,且支持大存储器。
    数据分区可以用btrfs,因为有snapshot机制,方便自动快照来本地本地备份。
    pubby
        24
    pubby  
       2013-06-08 01:38:23 +08:00   ❤️ 1
    @likuku 从freebsd7.x就长期使用zfs 不过没做过下载服务,性能未知。zfs就是吃内存, 9.1的zfs还未体验过,生产环境怕升级-_-。
    另外,raidz1貌似不够,这么多盘长期高负载工作,同时挂2个盘很正常,起码得2块做冗余。
    2台zfs raidz1分别遭遇过1次坏硬盘,好还每次都坏一个,及时更换没丢数据。

    个人建议不用卡自带的raid,因为机器硬件坏掉的话需要找同型号的raid卡。
    vixvix
        25
    vixvix  
       2013-06-08 02:56:09 +08:00
    我觉得用两块2T raid1做系统有点奢侈了,虽然在企业级别上这个指出不算什么。可以找两个500G raid1做系统,然后剩下的组raid做存储。

    或者硬件raid, 然后跑ESXi, 在虚拟机里面怎么分区都没关系。
    likuku
        26
    likuku  
       2013-06-08 10:55:53 +08:00   ❤️ 1
    @pubby fb7时的zfs还是比较稚嫩的,9.0已经非常靠谱了,只用release+默认内核的话,freebsd-update 非常顺利方便,比用过的 gentoo,debian,ubuntu 的升级都方便靠谱。

    freebsd 9.0/9.1 之前有3台用于生产,其中2台纯zfs环境,这2台纯zfs的其中一台是高强度的备份机,每小时备份全站php,每天备份全站 mysql (每日变化量在170GB),这样用了两年多,更新升级大于半个月一次,还是 make world 方式。

    拍坏盘,那就 raidz2,同时坏两盘也OK。

    不过,多机备份+定期离线存档,才是王道。
    mml
        27
    mml  
       2013-06-08 10:56:18 +08:00
    =.= btrfs就算了吧,还是生产环境。
    likuku
        28
    likuku  
       2013-06-08 10:58:29 +08:00   ❤️ 1
    @pubby 「个人建议不用卡自带的raid,因为机器硬件坏掉的话需要找同型号的raid卡。」是的,这点很中肯。且多年以后,此产品生命周期结束,就很难找到备件了。RAID1还好,盘上只是普通数据块,直接单盘直连也OK。但其他RAID就麻烦了。
    likuku
        29
    likuku  
       2013-06-08 11:00:50 +08:00
    @mml 3.4.8 内核以后 btrfs 已经进步巨大了,之前在繁忙的 mail 服务器 imap 服务保存mail目录是btrfs,还是可以接受。

    只接受linux,那么想要 snapshot机制只有btrfs了,这是无奈的事。
    likuku
        30
    likuku  
       2013-06-08 11:01:49 +08:00
    业内大牛看法「带冗余的ZFS要比绝大多数RAID卡和存储柜靠谱」。
    mml
        31
    mml  
       2013-06-08 11:04:49 +08:00
    @likuku 我从第一版放出来的就在用,到现在3.9.5-stable/3.10-rc4 我的btrfs分区都挂了很多次了,基本都是没办法修复的,只能格盘。
    pubby
        32
    pubby  
       2013-06-08 12:07:51 +08:00
    @likuku 嗯,目前有几台是 fb8.2+zfs raidz1 , 7.x的时候zfs问题导致死机过,所以升级了。
    zuroc
        33
    zuroc  
       2013-06-08 14:27:08 +08:00
    terry
        34
    terry  
       2013-06-08 15:07:26 +08:00
    FreeBSD + ZFS 是比较靠谱的方案。不介意没法打安全补丁的话,Solaris x86 也行,Sun ZFS Storage Appliance 用的就是。

    Btrfs 还是别用了,出了问题只能自行靠社区解决。

    非得用 Linux 的话,md + LVM 比较灵活,没用过硬 RAID 卡 -_-z
    fuxkcsdn
        35
    fuxkcsdn  
       2013-06-08 15:16:55 +08:00
    个人建议,不管是RAID1、RAID50、RAID10,都至少要保证有一个空闲盘
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5653 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 03:21 · PVG 11:21 · LAX 19:21 · JFK 22:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.