装了 Windows 的主机，要用 Linux 跑大模型，推荐 wsl 还是 Ubuntu 双系统来跑呢？
meattball · 2024-09-27 19:02:54 +08:00 via Android · 4289 次点击这是一个创建于 369 天前的主题，其中的信息可能已经有所发展或是发生改变。
主要考虑 wsl 这种方式会不会有什么性能损失呢？
 |
1
ferock PRO 实际上，没有…但是，很多硬件不一定能调用，比如 wsl 不能调用声卡…
|
 |
2
106npo 2024-09-27 19:12:05 +08:00 via Android
跑大模型 wsl 没啥问题
|
 |
3
Oct31Dec25 2024-09-27 19:13:58 +08:00
跑大模型用 WSL ，自带显卡驱动，没感觉到性能损耗。
|
 |
4
tap91624 2024-09-27 19:43:37 +08:00
wsl 多卡有坑，其他还好
|
 |
5
lianyanjiajia 2024-09-27 22:08:46 +08:00
wsl 有很多坑...
|
 |
6
jackmod 2024-09-27 22:11:52 +08:00
 个人用户直接走 docker desktop 就能用。 商业用户……每月 5 刀的专业版好像就合法。 |
|
7
jackmod 2024-09-27 22:19:49 +08:00
直接上 wsl 是官方支持的 https://learn.microsoft.com/en-us/windows/ai/directml/gpu-cuda-in-wsl
不过用纯 linux 版的 docker 好像连不上显卡，之前试过一次失败了，/dev 里也没找到像那么回事的玩意，大概是我的知识盲区。wsl 里 nvidia-smi 是一定能用的，有机会 strace 一下，希望能够发现些什么。 |
 |
8
huluhulu 2024-09-27 23:13:58 +08:00
windows+wsl 很舒服，和 windows 共用显卡，windows 玩游戏的同时后面跑模型，互不耽误。
需要新环境的时候直接复制一个配置好的 wsl 镜像，很方便，每个环境真正做到互不影响。 |
 |
9
meattball OP @tap91624 多卡有坑啊，能具体说说吗。我正好是两张 4080 。。。nvidia-smi 也能看见两张 4080 。
|
|
10
meattball OP 主要是帮同学配的环境，还是希望能好用点
|
|
11
meattball OP @tap91624 @lianyanjiajia 刚刚查看了 nvidia 文档，说 Concurrent CPU/GPU access is not supported.，就是说不支持用多卡一起跑算力是吗
|
 |
12
hez2010 2024-09-28 06:12:58 +08:00 via Android
用 WSL 没啥问题，我上个月刚刚用 wsl finetune 了 llama ，全程丝滑。
|
 |
13
among 2024-09-28 09:28:45 +08:00
wsl 的 nvidia-smi 可以看到。但是 docker 中使用的时候，发现无法占用显存。
最后还是放弃了。 |
 |
14
beginor 2024-09-28 11:00:18 +08:00
测试/开发用 wsl 应该没什么问题，生产环境建议直接上 Linux 。
|
 |
15
qping 2024-09-28 11:25:29 +08:00
纯 windows 就不能跑大模型吗，没折腾过，想了解下
|
 |
16
Nosub 2024-09-28 12:42:39 +08:00
@qping 可以试试虚拟机，跑一个玩玩，几乎没有任何硬件要求，当然速度慢；
使用 Ollama 和 AnythingLLM 搭建本地 LLM 和知识库 https://nosub.net/posts/p/219 |
 |
18
fox0001 2024-09-28 13:47:06 +08:00 via Android
如果内存或硬盘占用比较大，建议用实体机装 Linux 来跑。试过 WSL 跑模型，超出 WSL 的硬盘容量限制，导致 WSL 里的系统崩了，只能重装。还好有备份……
|
 |
19
tubowen 2024-09-28 15:33:31 +08:00 via Android
wsl 不好用，之前想在 wsl 上面用 docker 呢，还不如 VMware 虚拟机里面跑 docker ，坑很多
|
 |
20
ysc3839 2024-09-28 16:14:49 +08:00 via Android
我选择再装个 Arch Linux 。个人不太接受 WSL2 ，因为 Hyper-V 虚拟化感觉上会影响主系统性能。
|
|
22
meattball OP 谢谢家人们，已经在 windows 上直接跑模型了
|
Select Language