1119745302's recent timeline updates
1119745302

1119745302

V2EX member #225852, joined on 2017-04-13 15:09:45 +08:00
Per 1119745302's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
1119745302's recent replies
一些简易的非项目依赖的逻辑可以给 ai 写, 等 ai 写完了再自己检查一下, 可以省下不少脑细胞
Jul 23, 2024
Replied to a topic by CNYoki Local LLM ollama 本地模型 GPU 跑不满
@CNYoki llama.cpp 似乎不支持张量并行,就算 4 张卡显存占满了也跑不快. https://www.bilibili.com/video/BV1DH4y1c7gK/ 可以参考一下这个, 换个 vllm 啊啥的后端一般就是随便跑了
Jul 23, 2024
Replied to a topic by CNYoki Local LLM ollama 本地模型 GPU 跑不满
换个后端?
@yudoo 加钱买个年代近点的吧, 上面提到的这些现在真的是远古时代的宝贝了
@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了
https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了
Dec 23, 2023
Replied to a topic by SteveHou OpenAI ChatGPT 会无端使用中文来回答英文问题
有没有可能是偷偷获取了浏览器语言
@wu67 和小绿书 55 开的内容质量... 完全没看的必要
5 级这要求太高了
@ysc3839 说是这么说其实好像不管
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4624 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 09:42 · PVG 17:42 · LAX 02:42 · JFK 05:42
♥ Do have faith in what you're doing.