beginor 最近的时间轴更新 beginor 最近的时间轴更新 ONLINE |
beginorV2EX 第 56321 号会员，加入于 2014-02-19 21:29:19 +08:00今日活跃度排名 11396 |
GuangZhou
beginor
| 各位的 m4 设备都陆续到货了，能否跑一下 ollama/llama.cpp ，看看大模型这块的算力究竟比 m1 max m2 ultra ， 提升有多少？ Local LLM • beginor • 31 天前 • 最后回复来自 volvo007 | 23 |
| 苹果新发布的 M4 Mac mini 性价比很高，我觉得未必 Apple • beginor • 31 天前 • 最后回复来自 thegodofoxeris | 148 |
| 有个哥们儿想买个 GooVis 头显当显示器来写代码，有没有玩儿过的 v2exer， 这玩意儿当日常显示器靠谱么？ 程序员 • beginor • 140 天前 • 最后回复来自 SoyaDokio | 14 |
| 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理
2 程序员 • beginor • 126 天前 • 最后回复来自 skyqiao
|
36 |
| 各位更新了 macOS 15 的朋友， 系统自带的终端从最小化到恢复时会闪屏的 Bug 修复了没有？ macOS • beginor • 182 天前 • 最后回复来自 sanshao124 | 1 |
| gitlab.com 上的账户被禁用了，有没有办法申述？ GitLab • beginor • 254 天前 • 最后回复来自 beginor | 6 |
| Google Chrome 无法使用 Mac 的位置服务？ macOS • beginor • 2023-08-19 20:16:58 PM • 最后回复来自 shenyuzhi | 9 |
| 2023 年又发现了一个 "IE6" ，那就是安卓版微信内置的 Webview
4 程序员 • beginor • 130 天前 • 最后回复来自 lizy0329
|
100 |
| 旧的安卓手机，有没有可能把屏幕显示魔改 HDMI 接显示器或电视机？ Android • beginor • 2023-03-14 16:29:42 PM • 最后回复来自 dude4 | 18 |
| Switch 模拟器 Ryujinx 在 Mac M1 上的体验
1 macOS • beginor • 2023-07-28 13:37:16 PM • 最后回复来自 remember5
|
17 |
beginor 最近回复了
16 小时 4 分钟前 回复了 moyuman 创建的主题 › 程序员 › 最“流畅”的终端模拟器是什么？ |
warp +1 ， 目前支持 Linux + Mac ， 不过官方说 Win 也在路上了。
在 JetBrains IDE 2024.3 中的“新终端” 就是复制了 warp
在 JetBrains IDE 2024.3 中的“新终端” 就是复制了 warp
21 小时 45 分钟前 回复了 Livid 创建的主题 › Local LLM › Llama 3.3 70B |
如果用 LM Studio 运行 mlx 版本的 [Llama-3.3-70B-Instruct-4bit]( https://huggingface.co/mlx-community/Llama-3.3-70B-Instruct-4bit) 可以稍微快一点点，5.x tokens / 秒。
21 小时 52 分钟前 回复了 Livid 创建的主题 › Local LLM › Llama 3.3 70B |
M1 Max 64G 用户， 在 `/etc/sysctl.conf` 文件中添加选项 `iogpu.wired_limit_mb=57344` ，这样最多可以分配 56G 内存给显卡用。
用 llama.cpp 可以运行 `llama-3.3-70b-instruct.q4_k_m.gguf` ，不过要限制一下上下文大小，不然还是内存不够， 生成速度大概是 4 token / second 。
```
main: server is listening on http://127.0.0.1:8080 - starting the main loop
srv update_slots: all slots are idle
slot launch_slot_: id 0 | task 0 | processing task
slot update_slots: id 0 | task 0 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 26
slot update_slots: id 0 | task 0 | kv cache rm [0, end)
slot update_slots: id 0 | task 0 | prompt processing progress, n_past = 26, n_tokens = 26, progress = 1.000000
slot update_slots: id 0 | task 0 | prompt done, n_past = 26, n_tokens = 26
slot release: id 0 | task 0 | stop processing: n_past = 354, truncated = 0
slot print_timing: id 0 | task 0 |
prompt eval time = 2035.41 ms / 26 tokens ( 78.29 ms per token, 12.77 tokens per second)
eval time = 79112.92 ms / 329 tokens ( 240.46 ms per token, 4.16 tokens per second)
total time = 81148.33 ms / 355 tokens
srv update_slots: all slots are idle
request: POST /v1/chat/completions 127.0.0.1 200
```
用 llama.cpp 可以运行 `llama-3.3-70b-instruct.q4_k_m.gguf` ，不过要限制一下上下文大小，不然还是内存不够， 生成速度大概是 4 token / second 。
```
main: server is listening on http://127.0.0.1:8080 - starting the main loop
srv update_slots: all slots are idle
slot launch_slot_: id 0 | task 0 | processing task
slot update_slots: id 0 | task 0 | new prompt, n_ctx_slot = 4096, n_keep = 0, n_prompt_tokens = 26
slot update_slots: id 0 | task 0 | kv cache rm [0, end)
slot update_slots: id 0 | task 0 | prompt processing progress, n_past = 26, n_tokens = 26, progress = 1.000000
slot update_slots: id 0 | task 0 | prompt done, n_past = 26, n_tokens = 26
slot release: id 0 | task 0 | stop processing: n_past = 354, truncated = 0
slot print_timing: id 0 | task 0 |
prompt eval time = 2035.41 ms / 26 tokens ( 78.29 ms per token, 12.77 tokens per second)
eval time = 79112.92 ms / 329 tokens ( 240.46 ms per token, 4.16 tokens per second)
total time = 81148.33 ms / 355 tokens
srv update_slots: all slots are idle
request: POST /v1/chat/completions 127.0.0.1 200
```
7 天前 回复了 itnoob 创建的主题 › Apple › 用了 10 年 Intel 的 Mac，刚换 M4Pro 的 MBP，有什么专属于 M 芯片的颠覆性体验的软件推荐么？ |
怎么忘了这个，play cover 玩原神 ， 还有好多 iOS 游戏
7 天前 回复了 itnoob 创建的主题 › Apple › 用了 10 年 Intel 的 Mac，刚换 M4Pro 的 MBP，有什么专属于 M 芯片的颠覆性体验的软件推荐么？ |
本地跑大模型 llama.cpp / ollama 或者 lmstudio ， 绝对是颠覆性的体验
8 天前 回复了 soraginko 创建的主题 › Google › 打开 gemini web “出了些问题，请稍后再试” |
打开 copilot 也经常会出现类似的错误
10 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 如果用户电脑上没有.NET 运行库（或者 VC++，只是举个例子），我程序安装过程中给用户电脑自动安装.NET 运行库，卸载的时候应该把.NET 运行库一起卸载掉吗？ |
.NET 的话可以单文件发布啊，自带运行时就没有这个问题了。 如果是 C++的话，可以编译为静态依赖库， 做成绿色版
12 天前 回复了 justincnn 创建的主题 › macOS › mac 上有什么开机即连的小巧蓝牙鼠标推荐么？ |
anywhere3
14 天前 回复了 qingshui33 创建的主题 › Android › 红米 K80 感觉配置是真的拉满啊 |
想换，但是手上的 K40S 还感觉不卡顿🤔
Select Language