neopenx 最近的时间轴更新
neopenx
ONLINE

neopenx

V2EX 第 502557 号会员,加入于 2020-08-05 23:17:39 +08:00
今日活跃度排名 2751
neopenx 最近回复了
52 天前
回复了 746970179 创建的主题 Apple 关于 mac 的内存的好奇
@iamqk apple silicon 的延迟确实比 X86 非统一大,M1 是 110ns ,没比 PS5 的 140ns 好到哪里去。高带宽牺牲延迟是很正常的
52 天前
回复了 746970179 创建的主题 Apple 关于 mac 的内存的好奇
大于 100GB/s 以上的带宽基本是给 GPU 用的。通过 CPU 大量的 memcpy 基本很难跑到 100 以上。
但是对于 Metal 的 MTLBuffer ,就有足够大的 Blob 把带宽跑上去了。在 CPU 应用上和 X86 比没什么优势。
@lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上,做不了训练而且峰值还不如 FP32 。
Transformer 的实际需要空间复杂度有很多技术降下去,果子这点小聪明只能说聊胜于无
跑的大部分都是矩阵乘法,M2U 也就和 3060 五五开
@MeePawn666 这个不仅仅 shader language 的 DSL 不统一问题,各类加速器的都是 ASIC, 都在自家芯片内塞私有硬件和指令集,所以即使有统一的 DSL ,也要根据不同硬件编译 N 个版本的 DSL ,最后搞得 release 啥都能跑的框架二进制有 10GB 以上,谁都不舒服
@tyzandhr 去年 WWDC 苹果还真秀了下用雷电 4 连接 4 台 M1 Ultra 做数据并行训练
不过也只有 Ultra 级别的 FP32 算力才能摸到 3060 的屁股
你要类比也应该类比到 shader 吧。
cuda/metal kernel 本质就是 shader ,你看游戏几十年了,不同 GPU 的 shader 很好统一么
基于 LLVM 可以对 GPU shader 做一个抽象,所以 AI compiler 现在也在干同样的事。
172 天前
回复了 90d0n 创建的主题 程序员 Facebook 开源通用图像分割模型 Segment Anything
本质上是把 FAIR 之前的基于 RCNN 的实例感知工作整合起来了,带头人就是 RCNN 作者 Ross 。你可以把格点作为 prompt ,在仅提取一次的全图特征上无限制地做 query ,就有 Faster/Mask/KeyPoint R-CNN 了
@bleaker ANE 只能跑推理。训练要在 GPU 上跑 Metal/MPS 。搞笑的是 GPU 的 FP32/FP16 算力只有 Ultra 上才能超过 ANE 的 FP16 算力。所以用 AppleSilicon 做训练就是来搞笑的
M2 Max 的 training 算力等价于 3060 。洗洗睡吧。还不如买块 4090
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5707 人在线   最高记录 6067   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 01:59 · PVG 09:59 · LAX 18:59 · JFK 21:59
Developed with CodeLauncher
♥ Do have faith in what you're doing.