V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kevan
V2EX  ›  分享发现

求助,我笔记本的 4060 跑 语言模型很困难吗?

  •  
  •   kevan · 30 天前 · 948 次点击

    笔记本是泰坦 17 4060 ,cpu 14700hx 20 核 28 线程,内存 16gb ;

    用的软件 LM STDUIO ,语言模型是 B 站的:Index-1.9B-Chat-GGUF 16bit 4GB 版本。

    加载模型勾选了 GPU 执行起来,测试提问观察、笔记本 CPU GPU 都是满负荷运行。

    但是软件输出的流信息很慢,。模型换成 4bit 1GB 版本后响应飞快。

    有人知道是机器不行吗?

    1 条回复    2024-10-14 15:37:56 +08:00
    chronos
        1
    chronos  
       29 天前
    LM STUDIO 有设置 GPU 加载的层数的,如果加载的少了性能就差了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5457 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 07:12 · PVG 15:12 · LAX 23:12 · JFK 02:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.