V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xjx0524
V2EX  ›  NVIDIA

请教 Nvidia Tesla T4 的最佳实践

  •  
  •   xjx0524 · 2020-03-24 11:11:36 +08:00 · 4620 次点击
    这是一个创建于 1465 天前的主题,其中的信息可能已经有所发展或是发生改变。

    原有几台 8 x 2080Ti 的服务器,一部分用来训练,一部分部署了 TensorRT Inference Server 做服务,同时也会用到 GPU 解码

    现新到了 2 x T4 的机型,不太明白 T4 cores 都比 2080Ti 少,为什么一个机器只有 2 张卡。 想请教一下这个卡的优势是什么,怎样能最大限度的利用起来?

    5 条回复    2020-03-24 18:41:24 +08:00
    nightwitch
        1
    nightwitch  
       2020-03-24 11:25:55 +08:00   ❤️ 3
    2080ti 吊打 t4 。Nvidia 不允许 GTX 系列被用到数据中心,可能是你的公司收律师函了所以不得不买 Tesla 系列。
    xjx0524
        2
    xjx0524  
    OP
       2020-03-24 13:51:45 +08:00
    @nightwitch 原来是这样[捂脸哭]
    cshlxm
        3
    cshlxm  
       2020-03-24 17:39:06 +08:00
    一楼真相了~ 小公司的话偷偷用其实没事,但是指不定哪天律师函了就不好了,有能力还是买商业版本吧
    Moming
        4
    Moming  
       2020-03-24 17:43:56 +08:00
    T4 是用来做 inference 的,不是用来 train model 的。支持 quantization,16G 显存,多好啊。
    xjx0524
        5
    xjx0524  
    OP
       2020-03-24 18:41:24 +08:00
    @Moming 2080ti 也支持 quantization 吧,感觉 T4 唯一优势就是显存大了一点...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5479 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 01:35 · PVG 09:35 · LAX 18:35 · JFK 21:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.