V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
frankyzf
V2EX  ›  问与答

最便宜的得到 32G 显存的方式是什么?

  •  
  •   frankyzf · 174 天前 · 2983 次点击
    这是一个创建于 174 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。

    16 条回复    2023-11-06 15:20:07 +08:00
    kindjeff
        1
    kindjeff  
       174 天前   ❤️ 2
    emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
    kidlj
        2
    kidlj  
       174 天前
    找一个大模型算法工程师的工作 :doge:
    chesha1
        3
    chesha1  
       174 天前
    在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
    担心不会用浪费时长,可以去 paperspace 买个包月会员
    RiESA
        4
    RiESA  
       174 天前
    个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G
    cwyalpha
        5
    cwyalpha  
       174 天前 via iPhone   ❤️ 1
    4060ti 16g 2
    hemingcn
        6
    hemingcn  
       174 天前 via iPhone
    把内存分配给显存用、弄个 512g 显存🤔
    em70
        7
    em70  
       174 天前
    阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
    yummysakko
        8
    yummysakko  
       174 天前
    sxm2 的 V100 吧
    icyalala
        9
    icyalala  
       174 天前
    本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
    paopjian
        10
    paopjian  
       174 天前   ❤️ 1
    超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
    我觉得你如果还不清楚自己的需求话不如先租服务器试一下?
    modestdeveloper
        11
    modestdeveloper  
       174 天前   ❤️ 1
    不考虑速度的情况下,mac 确实是一个性价比之选
    lithiumii
        12
    lithiumii  
       174 天前 via Android
    能多卡的话就买老卡呗
    bihui
        13
    bihui  
       174 天前
    4060 16g 不够用吗?
    netabare
        14
    netabare  
       173 天前   ❤️ 1
    如果不限定操作系统的话,MacBook 好像不错
    frankyzf
        15
    frankyzf  
    OP
       173 天前
    谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
    sketcherly
        16
    sketcherly  
       173 天前
    如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   878 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 21:39 · PVG 05:39 · LAX 14:39 · JFK 17:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.