hughrover's recent timeline updates hughrover's recent timeline updates |
hughroverV2EX member #761229, joined on 2025-08-05 18:07:18 +08:00Today's activity rank 14299 |
hughrover's recent replies
19 days ago Replied to a topic by a201483414 › 推广 › [V 友专属｜ claude 模型中转站免费送 20 刀 已稳定运行一个月 支持 claude-opus-4-6 |
ccgogo 谢谢老板
Feb 25 Replied to a topic by pks › 分享发现 › 白山云的 glm5 可以嫖一下 |
Feb 4 Replied to a topic by guojianwei › 推广 › 评论抽奖，福利第三天，五常大米 |
分母
Jan 14 Replied to a topic by wyfig › Local LLM › 本地大模型目前意义大吗？ |
以 16B 尺寸的模型部署推理为例，加载半精度模型权重占用显存 16G （全精度 32G ，此外还有 KV Cache 、激活缓冲区占用的显存），即使是 m4 max 的最高配 128G ，也很难流畅运行超过 100B 尺寸的模型，供楼主参考。
Select Language