tootfsg

tootfsg

V2EX member #674121, joined on 2024-01-31 00:23:51 +08:00
Today's activity rank 6534
Per tootfsg's settings, the topics list is only visible after you sign in
Deals info, including closed deals, is not hidden
tootfsg's recent replies
...........让孩童阶段好好玩吧
8h 6m ago
Replied to a topic by geeksnail OpenWrt openclah 配置问题求助
我换 daed 了
1 day ago
Replied to a topic by davidyin Local LLM 想折腾一个 AI 主机,请行家出手
@davidyin 用 12g 显存跑本地 llama.cpp ?这是真的吗,我 16g 显存都不够,像 26b 27b 这种 q4km 都 15,16g 了,1,2g 给上下文要极致压缩 kv 类型和特别低的上下文
3 days ago
Replied to a topic by W2M 生活 有病还是要去看医生
硝酸甘油我知道是心脏缺血急救用的,还能外敷?有什么用,增加局部毛细血管的血液流通吗
5 days ago
Replied to a topic by zonghow 推广 [抽奖] 哈多肯中转站正式开业啦
id 25
ODg1NTE2NTIwQHFxLmNvbQo
感谢
ODg1NTE2NTIwQHFxLmNvbQo=
这个问题很简单
能拿出 6,7w ,甚至 10w 多人民币买显卡就上 NVIDIA 工作站 pro6000 这种。
能拿出几十万就上 NVIDIA 服务器显卡。
2-3-4w ,还想舒服点跑大模型,等上 m5 pro 的 mac mini/studio 。

5070ti 留着玩 comyui 吧。

据我所知玩模型有两种
1 是训练模型,只能上 nvidia 的显卡。
2 是推理,就是下载别人训练好的模型自己部署使用
2 这种我建议上 mac ,因为 5070ti 价格还行但显存太鸡肋了,5090 24g cuda 核多但显存太小,价格又翻倍,5090 32g 得摸到 3w 人民币了,cuda 核心更多但显存只是 7000 块钱的 5070ti 翻倍,而且又和 nvidia 工作站显卡价格接近了了。

能拿的出钱就买 6w 左右一张的 pro6000 这种,只需要看 nvidia 工作站显卡就行了。
预算低就 3-4w 左右的 m5 mac
再低就继续用 5070ti 跑 27b 以下的 iq4xs 吧。
我感觉个人部署开源模型,唯一高性价比方案就是等 m5 macmini/studuo 出来,3w 左右的配置买一台。

除非是训练模型,那只能用 nv 。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3226 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 616ms · UTC 13:41 · PVG 21:41 · LAX 06:41 · JFK 09:41
♥ Do have faith in what you're doing.