想离线运行下大模型玩玩，现在还能搞到 4090 么？

[sunfly]

想离线运行下大模型玩玩，有几个问题比较纠结，请教下各位大佬 1.现在还能搞到 4090 么？有啥便宜靠谱的渠道么？ 2.4090 和 4090d 差距有多大呢？ 3.入手 4090 还是等等 5090

[dcalsky]

现实：4090 只能跑 13B ，且无法 finetune 。

[LanhuaMa]

你是要运行多"大"的模型...

实测咸鱼三百块的 P4 显卡可以流畅运行 gemma 7b, 生成速度没统计，但是差不多是 GPT4 的两倍。想要跑再大一点的模型多查几张 P4 或者换 P40 都可以的吧。。

[444571840]

本地能跑的大模型（ 13B 以下的），基本和弱智一下，胡编乱造。。。

[TabGre]

要跑 SD 需要什么显卡？ 出图不卡顿

[8E9aYW8oj31rnbOK]

我有两张 A100 。

如果楼主只是玩玩，可以去租算力，算力租赁平台很多，技术也比较成熟了

[evan9527]

@TabGre #4 手持 3060 ，500x500 生图几秒一张，至少比我 A 卡的 macbook 快多了，还得是英伟达。

[jmc891205]

192G 的 M2 ultra 的 Mac Studio
或者等 256G 的 M3 ultrl

[ichou]

https://featurize.cn/ 玩一下的话，建议租一个

[JayZXu]

个人部署的离线大模型的话，性价比最高的应该还是 M40 24G 版本的
只是运行大模型的话，显存足够大能加载模型就行，速度其实都是次要的

如果微调或者训练模型的话，一张 4090 也不太行，少说也要准备 100G 以上才能得到比较理想的效果

所以如果真的不是能有确定的项目收入，不如直接租个服务器玩玩算了，大多数情况下，直接调用各个收费模型免费的 API 额度都比自己搭的模型靠谱

[waityan]

我的笔记本 i5 都能勉强跑得动 7b 的模型，用 ollama

[jevonszmx]

@TabGre 最性价比的是 P104 ，100 多，sd 出图几秒一张

[gunnarli]

玩玩的话可以考虑租用，有很多算力租用平台，不过谨防跑路，谨慎甄别，祝顺利

[leonme]

@LanhuaMa 这个多少显存啊？

[LanhuaMa]

@leonme https://letmegooglethat.com/?q=Tesla+P4+ram

[kwater]

离线运行，纯推理 chat ？
可以试试 模型类型+ benchmark 关键字 找到你能接受的性价比。

单片 4090 有 model 容量天花板，容易见顶完全不能用，
反而 ram 64-128g 的话可以天花板更高点

[maokg]

@TabGre 4060 就可以

[pslucifer]

A100 可以吗？

[lingeo]

@Leonkennedy2 我看了 A100 的参数，互连上面写的是 nvlink * 2 是只支持两块互连吗？

[8E9aYW8oj31rnbOK]

@lingeo 是的，单个接口 nvlink * 2 ，最多可以 2+2 ，4 块互联

[sunfly]

@dcalsky 4090 这么拉跨嘛

[sunfly]

@LanhuaMa #2 适合我们垃圾佬哈哈哈

[sunfly]

@444571840 😂调教都调教不好啊

[sunfly]

@TabGre 炼丹是不是对显存要求不高啊

[sunfly]

@jmc891205 钱包怕不是连个皮儿都不剩啊哈哈

[sunfly]

@ichou 插眼，多谢啦

[sunfly]

@JayZXu 插眼去瞅瞅 M40

[sunfly]

@waityan 太强了哈哈

[sunfly]

@kwater 受教了，多谢大佬指点

[doruison]

@444571840 特斯拉马总开源那个模型，需要内存好像 100T+吧，看到这个数字我惊呆了