1
kwater 268 天前 1
|
2
dbg 268 天前 via Android
7B 模型能力实在有限。最起码要 14B 的模型,才能做一些翻译类的基础工作。
|
3
Vanderick 268 天前
直接 ollama
|
4
lichdkimba 268 天前
@dbg 14B 的话,最差也要用个啥显卡呢
|
6
dbg 268 天前 via Android
@lichdkimba 14B 模型,至少需要 16G 显存的显卡。你可以看看 Ollama 的文档,有这方面的介绍的。
|
7
mkroen 268 天前
可以试试 Qwen1.5-7B-Chat 阿里的千问模型,P40 24g 显存占用 15 个 g ,效果还能接受,也比较快。16g 显存应该够用了吧,不够再试试量化
|
8
GeekGao 268 天前
绝大多数模型 7b 就是个废物,推理能力明显不行,用这道题测: 100mbps 相当于多少 MB/s ?
答案有惊喜,哈哈哈 |
9
GeekGao 268 天前
所以,比 3090 弱的单卡,就不要玩了,没啥意义
|
10
rus4db 268 天前 1
1 )参数量是主要矛盾,越多越好。
2 )不必担心量化,量化掉点有限。 3 )实用模型,参数量不可低于 13~14B ,以 72B 量级为佳。 4 )显存是主要矛盾,越多越好。 5 ) 2080ti 魔改 22GiB 显存,性价比较高。 6 )多卡 AI 服务器平台,性价比较高,但要考虑环境和电费开销问题。 |
12
dyllen 268 天前
@GeekGao 我用百度的 chat 试了下,还不错,挺准的,还有解释:
``` 我们要找出 100mbps 对应的下载速度是多少 MB/s 。 首先,我们需要了解 Mbps 和 MB/s 之间的转换关系。 Mbps (兆比特每秒)和 MB/s (兆字节每秒)之间的关系可以用以下的数学公式表示: 1 MB/s = 8 Mbps 这个公式告诉我们怎样把 Mbps 转化成 MB/s 。 因此,要将 100 Mbps 转化为 MB/s ,我们只需将 100 除以 8 。 计算结果为:下载速度是 12.5 MB/s 。 所以,100mbps 对应的下载速度是 12.5 MB/s 。 ``` |
14
kwater 267 天前
@GeekGao
看来默认的 cli 不是很好用,ollama api 才工作正常, 即便去掉 temperature 、seed ,也是有正确结论的。 curl -v http://localhost:11434/api/generate -d "{ \"model\": \"gemma:7b\", \"prompt\": \"100mbps 相当于多少 MB/s ?\", \"options\": { \"seed\": -1, \"temperature\": 1 },\"stream\": false }" 100mbps 等于 12.5 MB/s 。 100mbps 等于 100000 比特每秒,也就是 12.5 MB/s 。 |