临时开发机兼 nas 服务器 os 和存储/显卡/pcie 槽规划求建议

[roidinev]

具体需求：

8 盘位 nas ； 虚拟化需求； 临时编译开发（ on arch and macos ）

使用方式：

安装 arch linux ， 利用 libvirt kvm ，创建虚拟机； macos 虚拟化； 连接一个只有 hdmi 2.1 的 4k 120hz 显示器。

目前的已有配置和要购买的

item	spec	note
cpu	9900x	120w
cpu cooler	alphacool lt240 liquid cool	-
gpu	-	to buy and use pcie slot
mb	h13sae-mf	b650
memory	hynix ddr5 udimm ecc 2X32g
3.5 hdd	8	-
2.5 ssd/hd	2	to buy
m2	2	to buy
psu	corsair sfx-l 1000w	-
case	cs381 matx
10g	-	to buy and use pcie slot
hba	lsi/broadcom	to buy

一些限制条件和说明

• pcie 插槽

  

如上主板从左边开始有一个 pci 5.0x8 A ， 一个 pci 5.0x16 B ，一个 pci 4.0x4 C 。 使用插槽的用户有 gpu （尽量单槽，占据通道数 x4 或者 x8 或者 x16 ），10g 网卡（一般占用 x4 通道），hbaraid 卡（ hba 一般是 x4 ，raid 卡一般是 x8 ）。（听人说 m2 接口也可以转为 pcie 槽）

• 存储
  主板提供 4 SATA3 ports 。机箱的前面是硬盘笼，里有 8 盘连接到一个 hba 卡（插在 pci 槽）,硬盘笼上面可以放两个 2.5 寸的 ssd/硬盘，这两个盘可以连接到主板的两个 sata3 端口。
  主板也提供 2 个 m2 。
  主板左侧即机箱左侧如果不放置风扇或者 2 个 2.5 寸盘，这三个 pcie 插槽就都可以使用的。考虑到用的水冷安装在机箱的后面挡住了风道，应该（有没有其他解决风道问题的方法呢）在机箱左侧加两个 120 风扇，这样插槽 A 只能容纳最宽 102mm 的显卡（这里假设显卡能插入到 x8 的槽内）。
  pcie 卡除了用 hbaraid 卡来扩张存储，也可以转化成 m2 。

具体需求

• 系统盘
  可选的盘有硬盘笼上面的 2 个 2.5 寸盘（ sata hdd/ssd ）； 2 个 m2.
  系统盘选高速 m2
  请问用单个盘还是建立 raid 0 镜像？这里有什么要考虑的吗？

• 数据盘

  • 8 盘 raid 用 hba 卡以后可以用 md 做软 raid 。
  • 系统盘用的剩余的盘 2 个 2.5 寸盘（ sata hdd/ssd) 这两个盘有没有必要放置呢？ 比如虚拟机镜像可以放到 8 盘 raid 里，还是放到这里的 2 个盘里合适？

• pcie 插槽分配和使用

  • pci 5.0x8 A
  • pci 5.0x16 B
  • pci 4.0x4 C

  使用插槽的用户有 gpu （尽量单槽，通道数 x4 x8 x16 都有），10g 网卡（一般占用 x4 通道），hbaraid 卡（ hba 一般是 x4 ，raid 卡一般是 x8 ）
  使用 gpu 的目前原因有一是想要 gpu 的 hdmi 2.1 端口来支持 4k 120hz ，二是 macos 黑苹果需要。没什么游戏需求。很久前用过 4k 47hz 的屏幕，确实能感受到屏幕刷新慢的动作，但也不影响工作。所以不知道 4k 60hz 是否能满足工作需求？

  1. 如果 gpu 只用来给 macos 虚拟化使用。可能 amd rx 580 类似老的显卡就可以，但是他们只支持 hdmi2.0 和 dp1.4 ，要想使用 4k 120hz 只能 dp 转 hdmi 2.1 ？
  2. 如果后续还有视频编辑/跑大模型，amd 6000 系列 gpu 能用吗？有什么推荐吗？

  请问具体如何分配插槽呢？ gpu/网卡/hba 卡需求。

已有配置表示已经购买了。其他方案暂时不考虑

[roidinev]

@ 如果后续还有视频编辑/跑大模型，amd 6000 系列 gpu 能用吗？有什么推荐吗？
因为 gpu 要直通给 macos （虚拟化 macos 需要），调研了下好像 macos 支持 amd gpu 下的深度学习框架很少。要想利用这个 gpu ，只能在 arch/linux 下使用。这里就要求来回更换 gpu 的使用方式（比如更换虚拟机 xml 方式切换）。这应该不方便吧？
看来只能买个一般入门 gpu 就行。视频编辑/跑大模型的 gpu 以后再考虑了。

[qingchuan]

整个二手服务器，R730xd

[cbingb666]

@roidinev 系统直接 PVE ，想虚拟啥虚拟啥，办公开发跑在 MacOS 虚拟机上远程开发 Vscode Server 连接 Linux 虚拟机上跑深度学习更好，几乎所有深度学习的东西对 MacOS 的支持都比较有限。其次显卡我建议是 2 张分开（一高一低）好一些，这样分开跑深度学习的时候不会太影响你 MacOS 上的图形性能

[cbingb666]

@cbingb666 补充一下，我觉得虚拟机黑苹果当办公我觉得局限性还是比较大，除非你只是要在上面跑编译 Xcode ，否则我还是建议单独一台 Mac mini 远程开发连接到你这台服务器的虚拟机 Linux 好些

[phenixc]

all in one ,all in boom

[roidinev]

@cbingb666 我特意不选择 pve 是因为 pve host 本身没法进行折腾，内核和包都有限制，而且升级麻烦。如果显卡选 2 张倒是能解决在 linux 虚拟机里跑深度学习。但是 matx 空间有限，还要安装网卡和 hba 卡，除非用一个 m2 转 pci 。
确实，多年 macos 经验，习惯了不用鼠标。主要看看网页，ios 开发。其他主要在 arch 里 terminal 里进行软件开发。
而且这个机箱我计划就入门深度学习，能暂时软件开发就行。以后主要还是 nas 和 vm 功能。

[Rendex]

要是 pcie 不够的话，闲鱼有拆分卡，能拆好多出来，不过确实只能用来挂更多的设备，速度可能不太能保证了。

[roidinev]

@Rendex 嗯 关键是对 5.0pcie 的拆分应该能保证速度吧 我去看看