V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kisshere
V2EX  ›  Local LLM

跑 AI 大模型,到底是用 4090 魔改版好还是 Mac studio 好?

  •  
  •   kisshere · 11 天前 via Android · 1385 次点击
    想配一台专门跑 AI 大模型的主机,4090 48g 魔改版的主机配置基本上和 mac studio 价格也大差不差了,不过话说 max studio 的内存(或者说共享显存)要更大一些。那么只跑大模型,不训练,二者哪个性价比高?另外好像听说 mac studio 跑大模型的精度不足,难道他生成结果的质量要差一些吗?难道英伟达的显卡才是 AI 的纯正血统?
    colinlikepotatos
        1
    colinlikepotatos  
       11 天前
    4090 明显比 mac studio 快很多。不过我 mac 是 m1 max ,两个算同时期的产物。
    egen
        2
    egen  
       11 天前
    在相同容量显存的情况下,4090 会快很多
    但是 mac studio 可以做到超大显存,比如 m3 ultra 512g ,这个是 4090 做不到的,mac 虽然再慢也还能跑,可以做一些技术验证,这是唯一的优势

    生成质量和 4090 或 mac 无关,看你模型本身部署的精度,比如 q4 还是 q8 ,但是由于 mac 孱弱的性能,经常会选择计算量更低的 q4 ,从而导致精度损失加剧
    Goooooos
        3
    Goooooos  
       11 天前
    @egen #2 “m3 ultra 512g ”这价格上天了
    cbythe434
        4
    cbythe434  
       11 天前
    我选 4090 ,因为还能打游戏
    clemente
        5
    clemente  
       11 天前
    mac 吧 保值率
    liu731
        6
    liu731  
       11 天前
    别魔改,直接原厂 4090+192GB RAM 得了
    wyntalgeer
        7
    wyntalgeer  
       11 天前
    单卡 4090 多卡 Mac
    zealotxxxx
        8
    zealotxxxx  
       10 天前
    朋友,有一个东西叫做「并发」。
    egen
        9
    egen  
       10 天前
    @Goooooos 相对其他方案堆到 512g 显存还是便宜的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2719 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 14:23 · PVG 22:23 · LAX 07:23 · JFK 10:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.