想整台 macbook pro 跑 llama3 70b，请问用啥配置合适？ M3 max 128G？

[idblife]

据说 llama3 70b 能接近 gpt4 的效果，有用过的兄弟没？

[nino]

128G 可以跑起来 70b ，但是还是挺慢的，没有什么实用性，本地还是跑 8b 的合适。追求效果还是买 Groq ，DeepSeek 之类的吧。

[maolon]

接近是接近，推理和跟随用户指令上来说还是差点意思，中文能力更差点意思，另外用 groq 就可以了，个人用直接免费那一档不会超限制。

[idblife]

多谢 #1 #2 ，groq 还是不错的，哈哈

[jimmy]

MBP M2 Max 64G 跑 Llama3 8B 速度很快，效果么，没对比过不知道具体情况。

[idblife]

@jimmy #4
还是想试试 70b 的 llama3

[Rorysky]

16gb 能跑什么模型

[keakon]

@Rorysky 跑过 7B int8 的推理，每秒大概 20 tokens

[uCVqn130hR86WDU8]

你只是单纯想买台新电脑🤪

[icestraw]

我用过，得用压缩后的。q8 大概会占用 70G 的内存，只是对话的话可以正常进行。效果只能说能正常对话，想要处理点工作估计够呛。

[winson030]

好奇个人用户在本地跑这么大的模型需求点是啥？我算了下，70b 这种大模型用 api （加上解决网络问题）花的钱比自己攒机器跑要便宜很多。本地运行 llama3 8b 这种模型倒是很合适。目前我的想法是，找机会把各种大模型平台的 API 都开了（反正都是 pay as you go ），整合到 one api 里，想用哪个用哪个。本地机器跑小模型，保证输出效率

[qweruiop]

很慢。。。m3 max 128 走过。。。老老实实买 4090 吧。。。

[idblife]

@winson030 #10
本机做一些相关的实验或者小玩具，另外可以顺道换台新机器啊，哈哈

[Chihaya0824]

q4 64g 的都能跑，大概 8tokens/s ，4090 想跑还得买两个，但是会快特别多

[wclebb]

@qweruiop 4090 24G 跑不了，很多模型需要显存/内存容量大才能跑。如果我没记错，70B 24G 是跑不了的。

但 128G 勉强能跑。

[volvo007]

在等公司的 H800 计算节点下来，可能禁运影响只能买 A800 的，那也行啊，慢归慢点，显存还是 640G ，能玩好多东西

[moudy]

ipad pro 刚上 m4 ，建议观望一下下个月发布会，看看 mbp 会不会也上 m4

[idblife]

@volvo007
羡慕

[jimmy]

@idblife 试了一下，响应时间大概 20 秒，内容大概一秒钟 5 个字

[wsbqdyhm]

我用 m1max64g 跑的这个，只能说能用吧，有点慢，gpu 占用 70-80%