组装个神经网络模型推理主机，放本地跑数据，大家觉得这配置怎么样

[kanson]

规格参数

• 机型/机箱：GPU 服务器，中等塔式机箱
• 主板：配置华硕/微星的 B760M 主板
• CPU：配置 i7 13700KF 16C 2.7-5.4GHz 30M 125W 处理器
• 内存：配置 1 条 32GB DDR4 内存条、4 个内存插槽
• 硬盘：配置 1 块 480GB SATA 接口 SSD 硬盘
• GPU 卡：配置 1 块 RTX 3090 24G GPU 卡
• 电源：配置 750w 主机电源
• 散热：配置水冷散热

预算 1 万左右

[iClass]

2w 起步 💻

[uNXA7lt9OGmvxsya]

要我的话会选 四卡 V100 SXM2 16G 服务器，丢弱电间用，反正自己玩玩不在乎速度，能跑就行

[jimrok]

这个 24G 的卡，只能跑个小模型吧。不过学习用完全没问题。

[lloovve]

上 D5 比较好，有些推理比较吃内存速度

[lloovve]

另外硬盘太小了

[i1MqODKe0P16t1Ra]

内存插满比较好，128G

[28Sv0ngQfIE7Yloe]

一万能下来么？一块 3090 都多少了

[afeiche]

硬盘太小，大模型容量很大的

[iMoutai]

猿神：启动！！！

[buaacss]

1 块 3090 还不如搞 4 块 P40 ， 核心和 2080TI 一样，24GB 显存。Qwen-VL 的模型我 8 块 2080ti 没跑起来，准备换成 P40 了。

[kanson]

@iClass 哈哈，直接 double 了🤣

[kanson]

@lighting9792 可以可以，听起来也是个不错的选择~！弱电间还要维护哎

[kanson]

@jimrok 是叭，艰难度日😅

[kanson]

@lloovve #4 好的，这上面确实不必太省
@lloovve #5 暂时没想到有大存储的需求场景，想的可能是定期转移备份？

[kanson]

@joyarise 需要的时候再加哈哈

[kanson]

@Morii 有点紧张哎

[kanson]

@afeiche emmm...也是个烦恼，搞大些省的经常来回手动处理

[kanson]

@buaacss 是叭是叭，也想组多卡来着，能这样最好啦~！

[kanson]

来更新进展啦~
1. 内存加到了 64G DDR5
2. 硬盘改成了 2T 、7200RPM 的机械硬盘+512G SSD
3. 目前这配置，微调肯定够呛，后面有需求，再组多卡（ 3090 貌似还支持 NvLink ）或者看看其他计算卡

总花费：￥ 13868.9