V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  beginor  ›  全部回复第 5 页 / 共 115 页
回复总数  2297
1  2  3  4  5  6  7  8  9  10 ... 115  
用 continue + 本地大模型吧,也挺舒服的。
108 天前
回复了 Ynna 创建的主题 macOS 旧电脑新用
以前的苹果很开放, 性价比也不错。

手上有台 2011 年末的 iMac , 装了 4 条 8G 内存, 换了 SATA 的固态盘, 现在还在用。

上一台笔记本是 2015 年的 13 寸 MBP (16+256) , 当是能上 16G 内存的笔记本只有索尼和三星, 都要 2W+, 而苹果只要 1W 出头, 屏幕还是 2560x1600 算是性价比无敌了。
散热不是问题,但是感觉这电视柜承重堪忧,电视机+下面一大堆电器,过段时间肯定会下驼变形 🫠 建议下面在加两个木条做物理支撑
@skyqiao 关注一下 llama.cpp 的这个议题 https://github.com/ggerganov/llama.cpp/issues/8913
@skyqiao Intel 的 Mac 应该没什么好的加速办法, 只能用 CPU 。 除非你装 Linux 或者 Windows , 还可以折腾下 vulkan 加速, 会比 CPU 快一些, 但是效果肯定不如 CUDA/ROCm/M1 。
@skyqiao 那怎么啦, 手上还有台双 CPU+96G 内存的服务器,没显卡加速的情况下, 也跑不过 M1Max 😂
ollama 底层也是调用 llama.cpp ,默认应该是没有显卡加速的, 打开 Activities 的 GPU 历史和 CPU 历史窗口看一下就知道了。

如果从源代码编译 llama.cpp 的话,可以自己看文档调参数看能不能启用 vulkan 或者 sycl 啥的。

CUDA 和 ROCm 都不支持 Mac ,所以肯定没有专用的硬件加速。
@skyqiao Intel 的应该是没有显卡加速的,llama.cpp 对 Mac 的优化仅限于 M 芯片系列,Intel 版本还是线上吧
120 天前
回复了 loganovo 创建的主题 MacBook Pro 2023 款的 MBP 入气孔在哪边?
架起来,吹 D 面,有一定效果
124 天前
回复了 maninfog 创建的主题 MacBook Pro MBP 2015 已经很难再战了
@hanierming 如果开声音太大的话,喇叭还会爆音。

净身装个 Ubuntu 还可以续命
深信服有 docker 版本, 不管是什么系统,都推荐安装 docker 版本。
https://github.com/docker-easyconnect/docker-easyconnect
125 天前
回复了 sevenyangcc 创建的主题 macOS mac 上有什么单机摸鱼的小游戏啊?
装个龙神,下载几个 switch 游戏吧
132 天前
回复了 azev 创建的主题 Node.js 打算学下 node.js,请问 nvm 是标配吗?
直接 pnpm ,node 版本管理,包管理, 工作区, 一个全搞定,
不错,挺好看的,就是这个小东西居然要占用 40+M 的内存, 希望楼主能优化一下内存占用。

https://imgur.com/a/PqCNfDF
主材是 0 ,辅材是 1 ,或者反过来,然后两者都是数组,有么?觉得 0 ,1 不爽,可以自己定义成符号或者常量,这么容易就脑溢血,不怕熬不到 35 就退休的年纪
@horizon 16g 还是线上吧,一般都要 32g 起步
没人关注 phi-3-vision 么?
@1055619878 当用不到 copilot 或者网络不顺畅或者不允许联网的私密网络的时候,就有意义了。 再说显卡闲着也是闲着,还不如用来提供点儿智能提示,就当打游戏了。
@shuimugan 我测试本地做 embeddings 非常慢, 所以就用了默认的 transformers.js 。 我觉得最重要的是 tabAutocompleteModel , 这个才是最能体验到的。
@HelixG 70b 不是个人电脑能跑起来的, 代码提示这个至少要每秒中 20 ~ 30 个 token 才好用。 而且就代码提示这个功能来说, 官方给的建议也是 13b 以下的模型就足够了。

另外 JetBrains 也开始内置基于 LLM 的整行提示功能, 据说专门训练的 1b 模型,但是效果特别好。
1  2  3  4  5  6  7  8  9  10 ... 115  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5462 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 08:28 · PVG 16:28 · LAX 00:28 · JFK 03:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.