请问 AI 企业级服务器 (服务公司 100 人) 建议

[littlemis]

目前 AI 主要用 qwen3:32b 想用到 qwen3:235b 请问 AI 服务器的品牌、规格建议 谢谢！

[tool2dx]

等 7 月份买全新的 intel 24G GPU ，一张 3600 元，买 4 张就能用了。

[xtreme1]

9355 双路, 64Gx24 ddr5, 5090, ktransformers
硬件大概 10w

[xtreme1]

大概 20t/s

[tool2dx]

@xtreme1 企业内部自用没必要用 5090 那么好的，又不是招标。

[xytest]

后期如果涉及到微调这些 就要好好考虑显卡了

[xtreme1]

@tool2dx #4
比你臆想的 b580 24g 应该是强不少, 起码宇宙里存在

[tool2dx]

@xtreme1 intel 24g 说是 7 月份就开卖了，等等呗。你买 5090 也需要从国外进货，国内新品也买不到。

[xyooyx]

@xtreme1 #3 我们过来的经验，20 个远远不够，200token 每秒起步才有办法应付企业复杂场景

[coefu]

你目前资源的 20 倍就行了，只怕你搞不定分布式推理。

[terranboy]

100 人的并发有 20 个吗 请把 5090X20

[inorobot]

24G 八卡或 48G 四卡方案

[goodryb]

起码得说清楚是做什么用吧，推理还是要做模型微调，这两个对性能要求是完全不一样的

[littlemis]

谢谢大佬们 我等下 intel 24g