有没有一些小一点的 llm 项目可以在 k8s 上跑的炼丹
xinmans · 2023-10-24 13:58:30 +08:00 via iPhone · 1378 次点击这是一个创建于 397 天前的主题，其中的信息可能已经有所发展或是发生改变。
我只有一块 3080 的显卡，现存 8g ，想玩玩 llm
 |
1
frankyzf 2023-10-24 14:32:01 +08:00 via Android
Ollama
|
 |
4
GeekGao 2023-10-24 21:03:32 +08:00
|
|
5
frankyzf 2023-10-28 10:09:17 +08:00
另外说一句，Ollama 是一个平台（ https://github.com/jmorganca/ollama ），能支持多个模型。Mistral (7b)模型好像评价比较高。
|
|
8
frankyzf 2023-11-23 18:34:10 +08:00
@xinmans 这个不知道，只看到有人在讨论 fine-tuning https://github.com/jmorganca/ollama/issues/156
|
Select Language