1
zhandouji2023 234 天前 via Android
为什么不买工作站?
|
2
herozzm 234 天前
没有 4090 差评
|
3
nidongpinyinme OP |
4
xhuuanniqege 234 天前 via Android
这个主板好像不能超频,你买带 K 的 cpu 用不上吧
|
5
zhandouji2023 234 天前 via Android
二手 hp z840 内存加满
|
6
mythabc 234 天前
@nidongpinyinme 没有钱还上败家之眼?
|
7
zhangshine 234 天前
按理来说商家 618 前夕都会涨价一波,这个节点确实尴尬😅
|
8
NoOneNoBody 234 天前
内存不够
|
9
Inn0Vat10n 234 天前
内存加到 256 或者 512
|
10
TomDu 234 天前
哪有败家之眼,不是 tuf 么?
|
11
paranoiagu 234 天前 via Android
搞个服务器平台如何?二手金牌 6138 这种 ,加上 tesla 计算卡
|
12
LiJie 234 天前 via Android
二手工作站吧。内存能上到更高容量。a 系列显卡
|
13
NI3TECH 234 天前
显卡上四张 2080TI 22G
|
14
NI3TECH 234 天前
我 13600KF 64G 内存 3060TI 8G 跑 svc ,sd ,chatglm 还可以
|
15
NI3TECH 234 天前
推断的时候真是 64G 内存都不够
|
16
uncat 234 天前 via iPhone
B 站瓜皮群主,了解一下
|
17
nidongpinyinme OP @xhuuanniqege 是的,基本也不会超频用,但是好像没看到不带 k 的合适的 cpu ,大哥有推荐吗
|
18
nidongpinyinme OP @zhandouji2023 搜了一下,带的显存好小
|
19
nidongpinyinme OP @mythabc 没上猛禽啊,不然显卡选啥,七彩虹吗
|
20
nidongpinyinme OP @zhangshine 也不是很着急,可以 618 买,就是不确定行情
|
21
nidongpinyinme OP @NI3TECH 2080ti 好是好,但是搜了一下都是二手的啊
|
22
nidongpinyinme OP @uncat 好的哥
|
23
nidongpinyinme OP @paranoiagu 本身对常规配置就不是很熟,这俩硬件更是没碰过,再叠上二手 buff ,怕是要踩一路坑哦
|
24
nidongpinyinme OP @LiJie 先不考虑二手了,风险有点高,而且 cuda 是硬性要求,a 卡拿来跑怕是还得做好多适配
|
25
kaleido 234 天前
我看最近都说,13600kf 性价比还行,而且 14600kf 提升不大,如果跟 146 差价 200 以上就可以考虑 13 代了,省下的几百加内存,对你很有用吧
|
26
nidongpinyinme OP @kaleido 好的哥,正在考虑从哪抠点预算出来加内存
|
27
mythabc 234 天前
@nidongpinyinme 主板换成微星、技嘉的,显卡换成技嘉、七彩虹或者其他二线品牌的,能省一千块。FC140 没必要买全新的,我去年闲鱼收了一个,一百多。把能省的钱省一省,再咬咬牙,上 4090D 。
|
28
hiphooray 234 天前
跑啥类型的任务? 16G 显存 OK 嘛?
|
29
nidongpinyinme OP @hiphooray 图像处理的,机器就拿来跑一下验证,正儿八经训练还是放服务器上
|
30
paopjian 234 天前
2080ti 22g 都是改的,没有新卡了肯定是二手的. 没必要买败家之眼, 去年双十二我 13700KF+Z790P 3448 pdd 下来了
|
31
nidongpinyinme OP @mythabc 这个牙很难咬啊,4090D 一万三起步了,这预算得干到两万去了吧
|
32
nidongpinyinme OP @paopjian 我是琢磨硬件水太深,显卡能新就新,不然我也不咋会验机啥的。9000 块的 80s 其实还行,我在京东上看也都要 9000+了,自己组的话就选技嘉或者微星,买他的整机就不换显卡了
|
33
frankyzf 233 天前
看苹果官网,32G 翻修的最低不到 13000 , 会不会更有性价比?
|
34
hertzry 233 天前
你就老老实实服务器搞吧。
二手工作站便宜大碗还有专业卡,怎么说也有 8 个内存插槽,配上 24G 的 3090 ,你不考虑。扣扣嗖嗖的用 32G 内存,内存显存不加起来,你到时候还要花时间优化数据加载,图什么。机械硬盘也没有,你不怕固态挂了吗,2T SSD 挂载个 tmp 目录读零碎数据差不多,真用几天数据越来越多根本不够用。 |
35
nidongpinyinme OP @frankyzf 我现在用的就是 mac ,cuda 没法用搞烦了
|
36
nidongpinyinme OP @hertzry 二手工作站+30 系默认矿,不会整出来太多坑吗,我这不是拿来训练的啊,学校里有服务器可以用,本地调调代码跑跑验证就行
|
37
EndlessMemory 233 天前
CNN 真太搞了,不使用迁移学习的话,训练起来资源消耗量太大了
|
38
bugu1986 233 天前 via iPhone
我刚整完 双 3090 128g 30000
|
39
frankyzf 233 天前
@nidongpinyinme 记得 mac 有自己的一套技术和 cuda 对应,好像叫 Apple Metal 什么的,是不兼容吗?
|
40
nidongpinyinme OP @bugu1986 超了超了,暑假还要出去玩呢
|
41
nidongpinyinme OP @frankyzf mps ,得改很多配置,主流代码都是 cuda 不行就直接用 cpu 的,好多还必须要 cuda ,而且 mps 也没快多少……
|
42
frankyzf 233 天前
@nidongpinyinme 谢谢 op ,因为需要测试加载和 fine-tuning 7b 的模型,之前还想用 mac 来代替 nvidia 的 cuda ,看来比较困难。
|
43
frankyzf 233 天前
不过这显卡也真贵啊,16G 就需要 9000 ,估计我自己想试只能暂时租显卡了,等选择多了价格合适再考虑买。
|
44
LiJie 233 天前 via Android
@nidongpinyinme 工作站都是 99 新,清明刚买,我说的 a 系列是 nv 的 a 系列。不到 3000 元可以买到戴尔 t5810 ,就是全新的,64G x 2 内存,2680v4
|
45
mikywei 233 天前
我是装机高手,这个配置说实话杂牌很多,价格高了,建议换下:
内存:推荐闪存颗粒原厂的品牌,三星、英睿达(镁光)、科赋(海力士);金百达垃圾杂牌。 SSD:一样推荐原厂,基本代表着最高水平,三星、铠侠(东芝)、西数、致钛(长江存储),宏碁垃圾杂牌。 散热器:风冷基本拉不开差距,剩下的钱都花在静音和灯光上;推荐雅俊 E6 才 139 块钱,压 i5 妥妥的. 电源:海韵、长城的电源都不错,海韵是做服务器电源的但溢价高,长城是老厂家了现在是国企收购了。 主板:这个价格可以买 Z 系列主板了,及时不超频默认频率也比 B 系列高;便宜的推荐白色的铭瑄 MS-终结者 Z790M 和技嘉 Z790M 小雕/冰雕,价格都在 1399 左右。 机箱:你喜欢就好 199 的选择就很多 |
46
winglight2016 233 天前
这预算上云啊,足够用个两三年了
|
47
gransh 233 天前
我去年看三星好的 SSD
|
48
nidongpinyinme OP @frankyzf #43 是的,年底不是说 50 系要出了吗,不急可以等等
|
49
gransh 233 天前
楼上没敲完发出去了:我去年看好的三星 SSD 才 3000MB/S ,今年都发展到 7200MB/S 了?
|
50
yplam 233 天前 via Android 1
建议留位置加 4T 或者 8T 的机械盘,一个模型几十 G ,SSD 很快就会满
|
51
CatCode 233 天前 1
朋友前段时间配的,供参考。
14700KF 盒装、微星 Z790 A MAX 主板、瓦尔基里 280 水冷、佰维 6400MHz 32G ( 16G*2 ) DDR5 内存、4080 Super 魔鹰显卡、振华 850W ATX3.0 电源 固态、机箱自己选吧,还额外装了 4 把机箱风扇 |
52
nidongpinyinme OP @mikywei #45 内存和硬盘价格一下就拉上来了呀哥哥,超预算了
|
53
nidongpinyinme OP @winglight2016 #46 不想毕业除了几坨屎山啥也不剩
|
54
nidongpinyinme OP @gransh #49 每年翻一番很合理
|
55
nidongpinyinme OP @yplam #50 好的
|
56
nidongpinyinme OP @CatCode #51 这一套配置我感觉上不去,预算超太多
|
57
CatCode 233 天前
@nidongpinyinme 别去 JD 买显卡 然后看看板 U 套 应该问题不大
|
58
nidongpinyinme OP @CatCode #57 那去哪买啊,不都推荐 JD 吗
|
59
Yuhyeong 233 天前
显存太小,以后碰到稍微大一些的模型或训练会很痛苦
|
60
CatCode 233 天前
@nidongpinyinme JD 显卡溢价太高,除非你能抢到原价公版卡
显卡就去淘宝找找呗 |
61
dahaoyoubeifeng 233 天前
内存肯定不够啊。。。
|
62
nidongpinyinme OP @CatCode #60 好的我去淘宝也看看
|
63
nidongpinyinme OP @Yuhyeong #59 只能安慰自己大模型放服务器上跑了
|
64
nidongpinyinme OP @dahaoyoubeifeng #61 32 不够还是 64 不够?
|
65
quanzan 233 天前
需要这么折腾吗?我买了一个 RTX 3090 的整机,目前在做 LLM 的服务器用,详细请参考全赞工程师公众号。
|
66
charslee013 233 天前
如果只是跑一些小模型或者作业之类的,我更加推荐用云 GPU 更划算
以 autodl 里的 4090 为例子,CPU 是 12 核 Xeon(R) Platinum 8352V,内存是 90GB ,每周的价格为 342 元,一个月下来优惠价格是 1276 元,一年也就 13176 元,这个价格比 1 万 5 的主机还要便宜一些 而且考虑到实验室有专门的机器来跑正式的作业,云上 GPU 在不运行的时候可以关掉更加省钱,并且显存不够还可以换其他机型这个是本地无法比较的优势 当然以上都是建议,希望能帮助上 OP 的需求。 |
67
osilinka 233 天前
Intel 换 AMD 类似的吧,感觉 intel 现在性价比很低很低了
|
68
mumbler 233 天前
做任何关于 AI 的事,显存大小都是关键,核心数量没有显存重要,16G 能干的事太少了。我 4000 多配了一台洋垃圾 E5 18 核心+64G 内存+2080ti 22G ,跑模型比你这台性能强。代码有 gpt4 ,谁还手动写
|
69
waklealone 233 天前
@mikywei 金百达银爵用的也是海力士 A-Die 颗粒,差别不大的
|
70
hidder 233 天前 1
@nidongpinyinme #24 a 系列显卡不是 amd 显卡
|
71
fuwenpei 233 天前
4080super 好价 8300 一般 8500 ,你这都 9k 了
|
72
nidongpinyinme OP @charslee013 #66 主要是配的主机毕业了还能接着用,租的服务器用完就没了
|
73
fredweili 233 天前
谁出钱?必须要买么? 32G 能跑的大模型也不怎么样
|
74
nidongpinyinme OP @fuwenpei #71 好的,这个价格是七彩虹的吗
|
75
nidongpinyinme OP @mumbler #68 好哥哥抄个配置
|
76
nidongpinyinme OP @fredweili #73 自己买自己用,没说要在本地跑大模型啊
|
77
nidongpinyinme OP @LiJie #44 谢谢哥,有推荐链接吗,淘宝看了一圈没有价格对得上的
|
78
cexll 233 天前
内存太低了 32G 不够的 其次就是硬盘要求也挺高的 最好买稳定 速度快的,这个配置玩游戏还可以
其实如果是短期玩,可以直接订阅 google colab |
79
nidongpinyinme OP @cexll #78 是的, 更新了配置,给内存加到 64 了
|
80
fuwenpei 233 天前 1
@nidongpinyinme 是,入门非盖的,比如 ultra w oc 这个水平,40 系比 30 的能耗低很多,不用堆料太高级
|
81
nidongpinyinme OP @fuwenpei #80 好的
|
82
hjb 232 天前
我也计划 618 整一台,显卡选 4070ti super ,
|
83
hiphooray 232 天前
@nidongpinyinme 啊,那真是羡慕了,我推理还只能用 3060
|
84
nidongpinyinme OP @hjb #82 我也在犹豫,显卡上砍下来一点可以把存储拉高一点
|
85
man2vec 231 天前
16G 显存,跑个 8B 的 LLM 都跑不动,更别说训练了。
还不如搞个 64GB 内存的 mac 啥的。 |
86
nidongpinyinme OP @man2vec #85 你是真不看需求文档啊
|
87
man2vec 231 天前
@nidongpinyinme #86
真有这个必要吗?学校延迟超低的吧,vscode 之类的用 remote server 就直接可以在服务器上写代码调试之类的。难道你们计算资源用 slurm ? |
88
nidongpinyinme OP @man2vec #87 学校的服务器每次用需要提前申请,还要排队什么的,不太方便
|
90
lchynn 210 天前
@nidongpinyinme #63 你大模型是跑 10B 以下的还是 70B, 110B 这种的? 如果是后 2 者, 你就是量化 Q4 ,你这个显卡也推理起来够呛, 如果是只有几个 B 的,比如 GEMMA, PHI3 这种的。 拿 AMD 8845 或者 INTEL ULTRA 核显都推理的飞快。 如果你要微调大模型( SFT )? 我觉得消费级显卡,基本没啥关系吧, 哪怕你买了 4090 ,也够呛。
|