neteroster 最近的时间轴更新
neteroster

neteroster

V2EX 第 191331 号会员,加入于 2016-09-11 21:01:55 +08:00
今日活跃度排名 70
根据 neteroster 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
neteroster 最近回复了
11 小时 37 分钟前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@neteroster 再补充几句,70B 还没到 Mac 的适应区间,2 * 3090 就能拉爆 M3 Max 了,还是在便宜的多的情况下。拉高 batch size 差距应该会更加显著。

再大的模型?那就要想清楚你是不是真的需要那么大的模型了,现在大部分模型都集中在 <100B 区间,就算 >100B 的模型 Mac 也跑不快的。唯一有优势的可能是 MoE ,不过现阶段并不多,可能战未来吧。
12 小时 22 分钟前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
真要考虑 Apple Silicon 跑 LLM 的话先看看这个:

https://github.com/ggerganov/llama.cpp/discussions/4167

不是所有 M 芯片都是那么快的。等级森严在苹果这里也是不会变的。

除非你非跑超大模型不可,否则就性能而言 M 芯片的性价比是不如 NVIDIA 的。总之就是先想清楚需求。

然后就是如果涉猎比较广泛,不止玩 LLM ,当然还是 NVIDIA ,毕竟生态再这里。
4060Ti 16G ,但是最近涨的貌似有点多,胜在显存大些,要跑比较大的模型的话可能有用,单看性能其实性价比不高。

如果模型不需要那么大显存就 4070(s) 吧,跑模型速度会快点,游戏也能开高点画质。能接受二手的话,也可以考虑,毕竟 40 系没有经过矿潮洗礼,挑个一线带个人送保的牌子就行。

如果愿意折腾的话也可以看看 P100 / P40
5800U 从 Win11 发布用到现在,没遇到过这些问题。
25 天前
回复了 lstz 创建的主题 OpenAI 用贵的国产大模型 API 是否效果堪比 GPT4?
客观来看,国内目前还没有大模型能和 GPT4 Turbo 能力上对位。

不过 OpenAI 现在也就 4Turbo 能拿得出手了,3.5-turbo-0125 烂成什么样子就不多说了,属于是 Chatbot Arena 上要翻好几下才能看到的水平。价格也并不能算得上低。
Claude3 全系列 200K 上下文,GPT4 Turbo 128K 上下文。绰绰有余。

开源模型这边,Qwen1.5 词表有中文词汇,如果是中文的话 Tokens 量会比汉字数量少不少,32K 完全足够。但上下文较长时效果可能下降。
Deepseek Coder 6.7B / 33B

https://chat.deepseek.com/coder 这里可以体验,上面是 33B 的版本,但是 6.7B 也很不错。
47 天前
回复了 dunhanson 创建的主题 问与答 PaddleOCR 官方教程没一个可以跑通
是有点问题,降级到 2.5.2 可解,前段时间也遇到了。用 GPU 就没这事。
GPT-SoVITS
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1528 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 17:13 · PVG 01:13 · LAX 10:13 · JFK 13:13
Developed with CodeLauncher
♥ Do have faith in what you're doing.