没人关注 phi-3-vision 么？

@1055619878 当用不到 copilot 或者网络不顺畅或者不允许联网的私密网络的时候，就有意义了。 再说显卡闲着也是闲着，还不如用来提供点儿智能提示，就当打游戏了。

@shuimugan 我测试本地做 embeddings 非常慢， 所以就用了默认的 transformers.js 。 我觉得最重要的是 tabAutocompleteModel ， 这个才是最能体验到的。

@HelixG 70b 不是个人电脑能跑起来的， 代码提示这个至少要每秒中 20 ～ 30 个 token 才好用。 而且就代码提示这个功能来说， 官方给的建议也是 13b 以下的模型就足够了。

另外 JetBrains 也开始内置基于 LLM 的整行提示功能， 据说专门训练的 1b 模型，但是效果特别好。

@lithiumii 本地跑 Gemma2 27b ， 这配置相当不错！

@cinlen 我本地就是用 llama.cpp + starcoder2-3b-q5_k_m.gguf ， 效果自我感觉还算可以。

另外，ollama 给的模型默认是 q4-0 量化版本，虽然可以一秒钟多几个 token ， 但是质量明显不如 q5_k_m 量化版本的。

原文地址： https://beginor.github.io/2024/07/12/ai-code-assistant-with-local-llm.html ，有兴趣的也可以试试

这玩意儿也可以自己搭一个玩一下 https://www.v2ex.com/t/1057608

把模板做一个 git 仓库， 公共的和基础的都放在模板仓库里面， 需要的时候从这个模板仓库做为上游仓库。

Docker 在 Mac 上是虚拟机， 所以 Mac 上使用 127.0.0.1 作为代理地址是肯定不行的， 必须设置成 Mac 本机的内网 IP 地址才能使用。

或者使用 Proxifier 来设置代理规则也行。

但是很多补丁装完还是会提示重启的

是否升级，取决于有多少付费用户还在使用 win7 ，能带来多少收入。

如果有，旧版本又不是不能用，如果没有，为啥不升级呢？

有没有服务端不用插显示器的远程么，就像 Windows 的远程桌面那样？

苹果 M 芯片的优势是统一内存，可以将大量的内存做为显存来使用，所以就能够运行比较大的模型。

以 64G 的 M1 Max 为例，默认可以分配 48G 左右的内存做显存使用， 通过调整系统参数， 最大可以分配 56G 内存做显存， 可以运行 Q5 量化的 70b 参数的大模型。

但是 M1 Max 推理的速度并不快。 跑同样的 llama 3 8b 模型的话， 即使是 3060 显卡， 在装好 quda 驱动之后， 推理速度是 M1 Max 的 1.5~2 倍， 而且 M1 推理的精确度似乎也没有 cuda + N 卡高。

手上刚好有台 M1 Max 的 MBP ， 还有一台 3060 的台式机， 以上是亲身体验。

如果是日常开发，M1 Max 至少 3 年内斗士性能过剩的， 多数时间都是 E 核在跑，P 核最多跑 1~2 个， 还有 8 个 P 核随时待命。

M 芯片的话可以试试 asitop

brew install asitop 或者 pip install asitop

银色，一直套黑色的外壳用，不过外壳的角已经有裂痕了，不知道机器本体咋样

听说隔壁家的 VMware 零折，一般人我不告诉他的。 🤭

brew install asitop 或者 pip install asitop