这是一个创建于 194 天前的主题，其中的信息可能已经有所发展或是发生改变。
看了下 5060TI 5070TI 5080 都是 16G 显存, 4090 和 5090 又太贵, 计算速度还可以忍受慢一点 , 跑 AI 应该是显存决定能不能跑起来吧, 先跑起来再说的情况下, 买哪个?
 |
1
nxforce 194 天前  3
取决于你想跑什么模型，再考虑入手什么硬件，而不是先考虑硬件。
|
 |
2
ihainan 194 天前
你要跑什么规模的模型，愿不愿接受量化。
|
 |
3
usVexMownCzar 194 天前 via iPhone
便宜的上 2080 魔改
不用显卡就买高配 Mac mini （硬盘 1T 即可，内存拉满）不到两万。可以跑 70b 的模型。 |
 |
4
nananqujava OP @chiaf #3 看了下 2080 魔改的评测 好像不行
|
|
5
nananqujava OP @joyhub2140 #1 作为想入门的新手, 我也不知道
|
 |
6
dji38838c 194 天前
业余人士没必要学，没必要自己跑
意义何在呢 |
|
7
nananqujava OP @dji38838c #6 好的， 那就在家睡大觉呗
|
 |
8
fox0001 194 天前 via Android
是的，显存是优先考虑的条件。玩过 3090 ，24G 显存，性价比可以。
|
 |
9
renmu 194 天前 via Android 2
云主机能玩到你腻
|
|
10
nananqujava OP @fox0001 #8 3090 怕买到矿卡
|
|
11
nananqujava OP @chiaf #3 是我侦查的不对, 2080 魔改是最便宜的方案
|
 |
12
tool2dx 194 天前 via Android
AI 分两种，聊天和绘图，只有 llm 才对显卡性能没追求，仅仅需要大显存。
绘图需要买 30 系以上的，因为支持很重要的 bf16 浮点格式。20 系是不支持的。 |
 |
13
michaelzxp 194 天前
4090 48g 吧
|
 |
14
irrigate2554 194 天前 1
2080ti 22g 真可以，我日常就跑 32B 模型，Q4_KM 量化
|
 |
15
mumbler 194 天前
2080 魔改 22G 有什么不好，跑语言模型最优选择，还支持 nvlink ，可以组个 44G 的，不到 1 万
|
|
17
nananqujava OP @mumbler #15 主要是怕买到显存虚焊的, 显存很容易出问题, 虽说可以修, 但闹心
|
|
18
mumbler 194 天前 1
@nananqujava #17 买两块也远远比 3090 ，4090 便宜，没有更好选择了
|
 |
19
t41372 193 天前
可以租云服务器或用 api 入门，或是看你现在有什么用什么。可以从小模型入手，多玩会儿就知道你想跑的模型需要什么样的硬件了。
|
 |
20
rogerer 193 天前
不如买 m 芯片，显存够大
|
|
21
irrigate2554 193 天前
@mumbler 昨天已经跑上了，还有 mistral-small3.1 据说也很强
|
 |
22
Freecult 176 天前 1
只是学习 AI ，弄个 NV 卡就行。无所谓内存。因为学习 AI 不等于 “用 LLM 学习 AI”，也不等于“学习 AI 应用”
CNN TRANSFORMER VAE DIFFUSION 之类的想搞明白，用不着大显存。有支持 CUDA 的 12G 就绰绰有余了。6G,8G,10G 无所谓。能跑 CUDA 是必须的 数理统计和机器学习的理论掌握了， 比大显存有用得多 非要和 LLM 较劲，查一下这个： https://www.llamafactory.cn/tools/gpu-memory-estimation.html 决定跑啥模型 如果 4090 觉着贵，只有 2080 22G X2 +NVLINK 44G 跑的模型范围稍微大一些 |
|
23
nananqujava OP @Freecult #22 谢谢
|
Select Language