搞 AI 的兄弟们都选的多大的内存？ 32 还是 64？

[lrigi]

（别都选个 8GB 然后远程

[swulling]

搞 AI 用 Macbook 不太行吧。

MPS 跑跑推理还行，训练什么的行么。

[deplivesb]

搞 ai 用 MacBook ？
我的 m2 max 64G ，跑 sd 能吃掉 50G 左右的内存，
训练过一个小小的 cnn ，mac gpu 跑了 70 多个小时，相同的项目，4090 跑了 50 小时左右

[vtemp249]

本地需要堆的不都是显存，管什么内存

[deplivesb]

@vtemp249 Apple silicon 的内存就是显存

[lrigi]

@swulling 训练肯定不行，内存大就可以平时玩玩推理么（不过好像也没时间

@deplivesb 和 4090 的差距不应该这么小吧，难道是 batch 大了一倍？你这个 sd 是不是 batch 开的很大还是怎么样，sd 的参数量好像不多，请问除了 sd 的话 64G 显存还有什么玩耍的场景吗？

[ZedRover]

16g + vscode remote

[murmur]

@deplivesb 我看专业评测是只能有一半内存当显存用？

[lrigi]

@murmur 我也想问这个问题，之前有人说 32G 的内存只能让 22G 当显存，有这样的限制吗？

[lrigi]

@ZedRover 我现在就是 16G+vs remote ，但既然买电脑了，要求不高（ 7B 到 65B 都能推理不过分吧

[8355]

之前看到有大佬 Mac Studio 192g 内存跑模型用

[ZedRover]

@lrigi #9 不太清楚 mac 上的 torch 现在适配的怎么样了，之前跑 MAE 的代码跑不通，有几个库都不支持，之后就不怎么在 mac 上跑模型了，aws autodl 什么的随便开个按量的服务器跑不香么

[czfy]

搞 AI ，想本地跑，还用 Mac ？

[lrigi]

@ZedRover 现在适配的应该不错了，毕竟 llama 和 sd 里面都有包含很多比较新的算子吧。服务器不缺，但不是要换机吗，3000 块加 32G 显存打着灯笼也找不到吧，还是挺心动的。

[lrigi]

@czfy 😏时代变了大兄弟，m2 max 已经和 v100 计算力差不多了，以后可能真的很多论文用 mac 实现了。毕竟学界很多组还在 2080ti 和 titan 呢

[YsCi2]

我感觉相比 N 卡还是速度太慢了，N 卡能够节省数倍的时间，Mac 本地也就看看代码能不能跑。（我测试的是 ChatGLM 和 YOLO ）

[czfy]

@lrigi 你还真信林亦的视频啊？
尊重，祝福

[046569]

原则上越大越好,目前 MPS 确实存在限制,粗略估算三分之二当显存.
一旦内存爆了,速度会立刻降到没法使用.
实测 32G 内存跑 70B 量化只有 0.03 tokens/s.

[RoccoShi]

你想用 mac 搞 ai?

[lrigi]

@czfy 我没怎么看过那个视频，你觉得我哪里说的不对你可以反驳我，而不是说一些没意义的话。相比专业的计算卡，mac 是不是在价格和显存容量上都有优势？ m2 max 的 tflops 是不是跟 v100 差不多？

[shwnpol]

mac 不行，pytorch 适配得再好没意义，解决不了训练的问题，最多只能微调，皮衣的护甲现在打不穿的

[shwnpol]

用 cpu 跑模型至少 64g ，32 太小了塞不下

[AOK123]

@lrigi #19
cuda 生态不是那么容易跳出去的，显存再高没有 cuda 还是跑不了

[Pteromyini]

@lrigi #14 你想的太多了，这个理论性能指的是推理性能，训练和推理完全不是一回事，M2MAX 反向性能打不打得过 3080 都不好说，更别提 V100 了

[AnsonUTF8]

搞深度学习的用 16 的就够了哈哈哈，因为肯定得用服务器的～

[winson030]

大家预判下一个在计算领域吊打英伟达企业会是谁，赶紧买股票

[lrigi]

@AnsonUTF8 你说的也有道理，现在用了快十年的 Mac 就是 16G ，总是要升级一点的嘛

[qzwmjv]

@lrigi 据说 50%，16GB

[LaurelHarmon]

没必要本地搞，服务器很香，已经习惯 ssh Linux pytorch cuda 生态了

[neopenx]

@lrigi M2Max 只是 FP32 的 FLOPS 接近 V100 而已。FP16 的硬件加速在 ANE 上，做不了训练而且峰值还不如 FP32 。

[lrigi]

@neopenx 确实，你说到重点了，这里是问题

[ShadowPower]

买 8G 内存，加内存的钱拿去买 NVIDIA 显卡

[changhai]

一定要 64 ，32G 路过，太惨了

[changhai]

@czfy Mac 优势挺大的，统一内存会解决一些显存不够的问题。

[ShadowPower]

关于“M2 Max 的 TFLOPs 是不是跟 V100 差不多”这一点，可以参考这个：
https://sebastianraschka.com/blog/2022/pytorch-m1-gpu.html
虽然是去年测的 M1 ，但 M2 和 M1 没有本质区别，只是晶体管规模比 M1 大了一点而已

其实连 3060 都赢不过，然后 3060 比 V100 差多了，差在显存带宽和 Tensor Core 上，可以各租一台 VPS 对比测试

[dlwlrm]

我是单独组了台 windows 远程跑 ai 的……mac gpu 和内存加的钱都能买两台 windows 机子了

[lrigi]

@ShadowPower 显卡肯定不缺啊😂各种都有

[lrigi]

@ShadowPower youtube 看了下 确实有差距😌和 4090 差距在十倍吧我笑死。V100 都是要淘汰的卡了，那苹果这个确实不太行，那感觉 64G 内存确实没啥用，甚至 max 都没必要上了

[mmdsun]

AI 买 Mac 你会后悔的，
建议选至少 16GB 显存的 N 卡的 Windows 电脑，WSL 2 乌班图性能可以跑满，或者不玩游戏直接装乌班图就行

[Aspector]

@murmur 应该不止一半，我的 32GB 能正常跑 INT4 的人 30B ，这个理论占用是 20GB 的。再往上就不行了

[Xie123]

我是新人，求问，手机的 V 社没办法发帖子吗？我用的谷歌

[siriussilen]

老哥，我们都是代码提交到服务器上，本机的要求就是内存大就好了（ 30 个网页 idea pycharm dataspell 同事打开不卡哪种）

[lrigi]

@mmdsun 都用了快十年 Mac 了，就从来没考虑过 Windows 。没事俺有服务器，显卡其实无关紧要

[lrigi]

@siriussilen 我也是这样想的呀😌本地要是能高速跑跑大模型 int4 推理就更好了。我就用 vscode ，transmit ，pdf ，网页一般不超过十个。之前试过 8G 的 mac mini 完全够了。

[lrigi]

@Aspector 能跑 30B 其实就够了，再大的话不如直接模型并行丢服务器了

[mauis]

完 ai 就别折腾 mac 了。省下来钱租 v100 吧。要说纯推理买张 t4 也很香

[izzy27]

就是选低配然后远程连到服务器呀，把钱省下来花在显卡上面不香吗

[zhouyg]

搭楼问，普通玩家，搞 AI 用什么机器，显卡和系统比较好？

[asdgsdg98]

还不如买个 4070 以上的卡

[WuSiYu]

mac 炼丹图一乐，除了跑龟速的 LLM 推理/ft ，没别的用

[qweruiop]

玩 ai 就算了吧，nvidian 的 cuda ，搞了十年了，apple 和他谈不拢，现在业界的生态基本上都是 cuda 上的吧。。。

[murmur]

@zhouyg 个人玩家就是 2080ti 魔改 22g ，或者等新的 3070 魔改卡，想微调或者炼丹就去租服务器

[lchynn]

M2 上据说 跑 LLAMA.C 的编译版本，推理速度大概就有几十个 token/s ；
赶得上英伟达单卡 V100+原始的 llama2 模型了吧？

[terminals]

A100 80G 显存的够用了，ubuntu 系统跑

[terminals]

普通玩家，3090ti ，除了大语言模型，其他都够用了，用 ubuntu 系统跑，用 ubuntu 系统跑，用 ubuntu 系统跑

[ShadowPower]

@lchynn 那是 15M 参数量的模型……
其实普通的电脑也可以，那个项目优化并不好，是教学用途的

[iamqk]

@ShadowPower 最新评测结果 https://www.lightly.ai/post/apple-m1-and-m2-performance-for-training-ssl-models m2 max 的 gpu 性能应该是 4070 左右吧？

[iamqk]

应该是 m2 ultra ，记错了

[summersun2021]

@lrigi #14 m1 max 64g ，跑 sd ，风扇像拖拉机一样，跑了 30 分钟就关了，不敢试了。

[EchoAI]

使用服务器跑，ubuntu 系统 384GB 的内存。

[lrigi]

@EchoAI 服务器内存再大都不妨碍思考是买 32G 还是 64G 的 Mac😌

[lrigi]

@summersun2021 风扇拖拉机就拖拉机吧，我现在的 Mac 用 vscode 远程终端多输出一点内容就开始很吵了。风扇转一转应该没啥

[EchoAI]

@lrigi 有条件就上最高配，我当年买的时候最高只有 16G 。不过折腾 AI 的话，mac 目前还是有很多的不方便的地方，我的 Intel 的处理器基本上就不去想了。

[lrigi]

@EchoAI https://developer.apple.com/forums/thread/729560
Apple 论坛里也有相关的讨论，这个人直接买了 m2 max 96GB 我服了。

[nyxsonsleep]

@deplivesb #2 但是 4090 理论性能是 m2 ultra 的三倍，更别说 m2max ，你这个例子怎么搞的 mac 速度变快了。