beginor 最近的时间轴更新 beginor 最近的时间轴更新 |
beginorV2EX 第 56321 号会员，加入于 2014-02-19 21:29:19 +08:00今日活跃度排名 14517 |
GuangZhou
beginor
| 各位的 m4 设备都陆续到货了，能否跑一下 ollama/llama.cpp ，看看大模型这块的算力究竟比 m1 max m2 ultra ， 提升有多少？ Apple • beginor • 11 天前 • 最后回复来自 volvo007 | 23 |
| 苹果新发布的 M4 Mac mini 性价比很高，我觉得未必 Apple • beginor • 11 天前 • 最后回复来自 thegodofoxeris | 148 |
| 有个哥们儿想买个 GooVis 头显当显示器来写代码，有没有玩儿过的 v2exer， 这玩意儿当日常显示器靠谱么？ 程序员 • beginor • 120 天前 • 最后回复来自 SoyaDokio | 14 |
| 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理
2 程序员 • beginor • 105 天前 • 最后回复来自 skyqiao
|
36 |
| 各位更新了 macOS 15 的朋友， 系统自带的终端从最小化到恢复时会闪屏的 Bug 修复了没有？ macOS • beginor • 161 天前 • 最后回复来自 sanshao124 | 1 |
| gitlab.com 上的账户被禁用了，有没有办法申述？ GitLab • beginor • 233 天前 • 最后回复来自 beginor | 6 |
| Google Chrome 无法使用 Mac 的位置服务？ macOS • beginor • 2023-08-19 20:16:58 PM • 最后回复来自 shenyuzhi | 9 |
| 2023 年又发现了一个 "IE6" ，那就是安卓版微信内置的 Webview
4 程序员 • beginor • 109 天前 • 最后回复来自 lizy0329
|
100 |
| 旧的安卓手机，有没有可能把屏幕显示魔改 HDMI 接显示器或电视机？ Android • beginor • 2023-03-14 16:29:42 PM • 最后回复来自 dude4 | 18 |
| Switch 模拟器 Ryujinx 在 Mac M1 上的体验
1 macOS • beginor • 2023-07-28 13:37:16 PM • 最后回复来自 remember5
|
17 |
beginor 最近回复了
1 天前 回复了 Leon6868 创建的主题 › 程序员 › 现代化 SSH 客户端求推荐 |
M1 Max 感觉 tabby 太慢了， 装了 warp 正在玩
1 天前 回复了 Leon6868 创建的主题 › 程序员 › 现代化 SSH 客户端求推荐 |
@hucw21750 谢谢，我看看
1 天前 回复了 GeekGuru 创建的主题 › Apple › M4 Mac mini 这么火，但是可能存在重大 BUG |
Mac 默认的风扇策略就是懒，装个 Macs Fan Control ， 根据传感器温度范围自己调整一下，就舒服多了
1 天前 回复了 Leon6868 创建的主题 › 程序员 › 现代化 SSH 客户端求推荐 |
感觉 JetBrains 2024.3 内置的新终端非常舒适，不知道有没有类似的独立终端应用？
1 天前 回复了 drymonfidelia 创建的主题 › .NET › Avalonia 11 后要从 ItemsControl 调用母 UserControl 的命令这种常见操作就必须每次都写这么长一坨东西吗？ |
关注，没用过 Ava ，准备入坑
4 天前 回复了 baxia 创建的主题 › 程序员 › 现在程序员是不是没必要刷 leetcode 了 |
6 天前 回复了 Meld 创建的主题 › Apple › 用了一天发现 iPad mini 7 的 60hz 显示屏也没那么不可接受 |
这说明是真果粉，苹果设备适应性强。
弄个个 60Hz 的安卓试试？
弄个个 60Hz 的安卓试试？
7 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@emberzhang 补全代码用 starcoder2-3b.q8_0.gguf 就好，超过 7b 的都是浪费。chat 可以再跑一个大一点儿的
7 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
看来 M1 Max 还是很能打的嘛， 本地用 llama.cpp 跑 qwen2.5-coder-32b-instruct-q8_0.gguf 结果如下：
```
prompt eval time = 2354.87 ms / 117 tokens ( 20.13 ms per token, 49.68 tokens per second)
eval time = 71813.88 ms / 521 tokens ( 137.84 ms per token, 7.25 tokens per second)
total time = 74168.75 ms / 638 tokens
srv update_slots: all slots are idle
request: POST /chat/completions 127.0.0.1 200
```
自己用的话还是可以的，继续等 M5 、M6 、M7 ...
```
prompt eval time = 2354.87 ms / 117 tokens ( 20.13 ms per token, 49.68 tokens per second)
eval time = 71813.88 ms / 521 tokens ( 137.84 ms per token, 7.25 tokens per second)
total time = 74168.75 ms / 638 tokens
srv update_slots: all slots are idle
request: POST /chat/completions 127.0.0.1 200
```
自己用的话还是可以的，继续等 M5 、M6 、M7 ...
8 天前 回复了 ShadowPower 创建的主题 › 程序员 › 体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了 |
@kennylam777 continue 的本地话提示分两种，
一种是 tabAutocompleteModel 也就是写代码时的智能提示，这个本地模型推荐的是 starcoder2-3b.q8_0.gguf ，这个只有 3G 大小， 一般的显卡甚至 CPU 都可以跑，效果不错， 基本上每天都在用；
另一种是 chat ， 也就是问答， 资源富裕的话跑 gemma 2 27b 或者 qwen 2.5 coder 32b 都可以这个规模的模型应对代码问答肯定没问题了；， 如果不富裕的话，跑个 7b/8b 的做问答也不是不行，但是效果肯定不如 27b/32b 规模的。
一种是 tabAutocompleteModel 也就是写代码时的智能提示，这个本地模型推荐的是 starcoder2-3b.q8_0.gguf ，这个只有 3G 大小， 一般的显卡甚至 CPU 都可以跑，效果不错， 基本上每天都在用；
另一种是 chat ， 也就是问答， 资源富裕的话跑 gemma 2 27b 或者 qwen 2.5 coder 32b 都可以这个规模的模型应对代码问答肯定没问题了；， 如果不富裕的话，跑个 7b/8b 的做问答也不是不行，但是效果肯定不如 27b/32b 规模的。
Select Language