计算单精度和半精度浮点数的矩阵运算时， GPU 相比 CPU 是否有数量级的领先？

[threebr]

大量的低阶矩阵和向量的乘法运算，形式均为[N×N]×[N×1]，也就是 N 维矩阵乘 N 维向量，N 的大小在几十到几百。运算次数在亿的量级。

对计算精度要求很低，半精度浮点数甚至 int16/int8 都可以。不需要保存一些中间结果，所以需要的内存不多。

现在我用的 12 核 3900x 跑并行计算，但需要几个小时的时间，如果换成 RTX2070 这样的显卡或者 Cloud TPU 这样的云服务能不能在数量级上缩短时间？

[wutiantong]

一次性任务么？几个小时就跑完这完全能忍啊

[threebr]

@wutiantong 不是一次性的，算半个炼丹吧，效果不好就还要继续

[lloovve]

3900 5t 显卡 7t 没啥区别

[thedrwu]

对于相乘本身来说，是。但如果有其他中间步骤另当别论。
不同尺寸和硬件的 GEMM 算法的优化也能造成很大的区别。

[threebr]

@lloovve 3900X 的单精度似乎只有 71.55 GFLOPS ？这样的确有量级的差距

来源：
https://ranker.sisoftware.co.uk/show_device.php?q=c9a598d994d0f0a2dba1c4aa8ab393a099a999c1e1d0e2cf8ce391f4d2b588a594b2c0fdcdeb82bf8ea8c0fdc8ee96ab9abcd9bc81b197e4d9e1