neopenx

@iamqk apple silicon 的延迟确实比 X86 非统一大，M1 是 110ns ，没比 PS5 的 140ns 好到哪里去。高带宽牺牲延迟是很正常的

大于 100GB/s 以上的带宽基本是给 GPU 用的。通过 CPU 大量的 memcpy 基本很难跑到 100 以上。
但是对于 Metal 的 MTLBuffer ，就有足够大的 Blob 把带宽跑上去了。在 CPU 应用上和 X86 比没什么优势。

@lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上，做不了训练而且峰值还不如 FP32 。

Transformer 的实际需要空间复杂度有很多技术降下去，果子这点小聪明只能说聊胜于无
跑的大部分都是矩阵乘法，M2U 也就和 3060 五五开

@MeePawn666 这个不仅仅 shader language 的 DSL 不统一问题，各类加速器的都是 ASIC, 都在自家芯片内塞私有硬件和指令集，所以即使有统一的 DSL ，也要根据不同硬件编译 N 个版本的 DSL ，最后搞得 release 啥都能跑的框架二进制有 10GB 以上，谁都不舒服

@tyzandhr 去年 WWDC 苹果还真秀了下用雷电 4 连接 4 台 M1 Ultra 做数据并行训练
不过也只有 Ultra 级别的 FP32 算力才能摸到 3060 的屁股

你要类比也应该类比到 shader 吧。
cuda/metal kernel 本质就是 shader ，你看游戏几十年了，不同 GPU 的 shader 很好统一么
基于 LLVM 可以对 GPU shader 做一个抽象，所以 AI compiler 现在也在干同样的事。

本质上是把 FAIR 之前的基于 RCNN 的实例感知工作整合起来了，带头人就是 RCNN 作者 Ross 。你可以把格点作为 prompt ，在仅提取一次的全图特征上无限制地做 query ，就有 Faster/Mask/KeyPoint R-CNN 了

@bleaker ANE 只能跑推理。训练要在 GPU 上跑 Metal/MPS 。搞笑的是 GPU 的 FP32/FP16 算力只有 Ultra 上才能超过 ANE 的 FP16 算力。所以用 AppleSilicon 做训练就是来搞笑的