![]() |
1
wencan OP 另外有时生产环境可能有信息安全的要求。考虑到信息安全,估计得自己部署了,有什么高性价比的解决方案?
|
2
bkdlee 2024-06-11 08:29:33 +08:00
模型越来越大,只能通过硬件解决。
我用的是 ollama 加 AnythingLLM |
4
paopjian 2024-06-11 09:25:24 +08:00
最实惠的是 2080ti 22g,不过没有保修,再好点是 4090,但是游戏卡可能不太适合长期运行. A100 40g 的 3.7 万, 80g 的 14 万不值得了, L40 48g 4.2 万, L40s 48g 5.6 万感觉不错. 其他的 H100 什么的就别想了.
|
![]() |
5
yiios 2024-06-11 09:52:15 +08:00
@wencan 显卡 2080ti 22g * 4 ,准系统超微 7048 。一万五以内搞定,可以高上下文跑 72b 量化模型,token 20 个每秒。
|
6
Springmvc 2024-06-11 10:09:56 +08:00
4 卡 amd mi100 可以一战 32*4 GB 显存 + epyc4000
|