beginor 最近的时间轴更新
beginor
ONLINE

beginor

V2EX 第 56321 号会员,加入于 2014-02-19 21:29:19 +08:00
今日活跃度排名 12741
gitlab.com 上的账户被禁用了,有没有办法申述?
GitLab  •  beginor  •  56 天前  •  最后回复来自 beginor
6
Google Chrome 无法使用 Mac 的位置服务?
macOS  •  beginor  •  282 天前  •  最后回复来自 shenyuzhi
9
2023 年又发现了一个 "IE6" ,那就是安卓版微信内置的 Webview
  •  4   
    程序员  •  beginor  •  276 天前  •  最后回复来自 bclerdx
    99
    Switch 模拟器 Ryujinx 在 Mac M1 上的体验
  •  1   
    macOS  •  beginor  •  305 天前  •  最后回复来自 remember5
    17
    M1 上的 Asahi Linux 支持 GPU 加速了
    MacBook Pro  •  beginor  •  2022-12-14 11:00:01 AM  •  最后回复来自 icyalala
    2
    发现了一个很漂亮的 bootstrap 后台模板 tabler
    前端开发  •  beginor  •  2022-10-01 16:16:48 PM  •  最后回复来自 stimw
    6
    PyTorch 开始支持 M1 的 GPU 加速, 各位的 M1 可以炼丹了么?
    机器学习  •  beginor  •  2022-06-17 15:37:06 PM  •  最后回复来自 iamqk
    10
    Ubuntu 22.04 的 WiFi 热点无法连接
    Ubuntu  •  beginor  •  2022-07-01 11:14:35 AM  •  最后回复来自 puyaraimondii
    7
    为什么 ant design 没有第三方主题?
    前端开发  •  beginor  •  2022-05-16 09:03:42 AM  •  最后回复来自 FanError
    4
    beginor 最近回复了
    7 小时 33 分钟前
    回复了 dog82 创建的主题 程序员 没人说前两天的软考吗?
    毕业前就考过了网络工程师的路过,转眼 20 年了,一次也没用到过 😭
    15 小时 35 分钟前
    回复了 wsbqdyhm 创建的主题 macOS m1max64g+2t 目前在跑的三个模型,还有其他推荐吗?
    @yjhatfdu2 现在 llama.cpp 默认转出来的 gguf 就是 f32 , 以前是 f16 。
    @wsbqdyhm 不好意思, 我搞错了,ollama 也提供了[各种量化版本的 llama-3 模型]( https://ollama.com/library/llama3/tags),q5_k_m 量化版本是这个 https://ollama.com/library/llama3:70b-instruct-q5_K_M , 你可以拉下来看看还能不能跑起来
    @wsbqdyhm ollama 只提供了 q4_0 版本的 [llama3]( https://ollama.com/library/llama3), 这个和原始模型相比,损失比较多,不推荐。

    可以从 huggingface 直接下载 [meta/llama-3]( https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct) 的原始模型,自己量化, 也可以下载 [已经转换好的 gguf 文件]( https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF)

    一般推荐 q5_k_m 或 q4_k_m 版本的量化模型, 接近原始模型,如果配置够的话, 更建议运行 f16 版本模型 。

    依据自己电脑的配置, 建议的优先级是:f32 > f16 > q5_k_m > q4_k_m > others .

    另外我不玩 ollama ,ollama 虽然简单, 却隐藏了很多细节。 我玩的是 llama.cpp , 可以体会到更多的技术细节。

    模型需要的内存大小大概就是模型文件的大小,量内存大小而行。64G 的 M1 Max 最多能分出 48G 内存来跑模型, 当然其它应用还要占用一些内存, 所以只能勉强运行 q4_k_m 的 70b 模型。
    @kenvix 也有影响的,70b 的话 q5_k_m 跑不动, 提示超内存,q4_k_m 勉强能跑起来
    64G 跑 70b 的 llama3 ,应该是 q4_k_m 量化版本的吧,我跑 q5_k_m 版本的会报错的?
    确实,13b 以下的都只能称之为小模型,用于学习其原理或者娱乐一下还可以。

    真正能用的得 30b 以上的模型,最好是非量化版本的,然而 30b 以上的模型又不是一般电脑能跑得动的。
    4 天前
    回复了 baozijun 创建的主题 Apple 大家的 rmbp 都是用的什么鼠标呀
    罗技 MX Anywhere 3 , 不过我运气比较差,已经换了两次微动了 😔
    搭车问一下,有没有 Arm 版本的 ltsc ,win10 或者 win11 都行, 用 fusion 装虚拟机, 标准版太占用磁盘空间。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5119 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 06:58 · PVG 14:58 · LAX 23:58 · JFK 02:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.