tootfsg

...........让孩童阶段好好玩吧

我换 daed 了

@davidyin 用 12g 显存跑本地 llama.cpp ？这是真的吗，我 16g 显存都不够，像 26b 27b 这种 q4km 都 15,16g 了，1,2g 给上下文要极致压缩 kv 类型和特别低的上下文

硝酸甘油我知道是心脏缺血急救用的，还能外敷？有什么用，增加局部毛细血管的血液流通吗

id 25

ODg1NTE2NTIwQHFxLmNvbQo
感谢

ODg1NTE2NTIwQHFxLmNvbQo=

这个问题很简单
能拿出 6,7w ，甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。
能拿出几十万就上 NVIDIA 服务器显卡。
2-3-4w ，还想舒服点跑大模型，等上 m5 pro 的 mac mini/studio 。

5070ti 留着玩 comyui 吧。

据我所知玩模型有两种
1 是训练模型，只能上 nvidia 的显卡。
2 是推理，就是下载别人训练好的模型自己部署使用
2 这种我建议上 mac ，因为 5070ti 价格还行但显存太鸡肋了，5090 24g cuda 核多但显存太小，价格又翻倍，5090 32g 得摸到 3w 人民币了，cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍，而且又和 nvidia 工作站显卡价格接近了了。

能拿的出钱就买 6w 左右一张的 pro6000 这种，只需要看 nvidia 工作站显卡就行了。
预算低就 3-4w 左右的 m5 mac
再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。