V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
balabalaguguji
V2EX  ›  Local LLM

求推荐开源 AI 模型

  •  
  •   balabalaguguji · 282 天前 · 1789 次点击
    这是一个创建于 282 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我想自己训练一个 AI ,主要用来做 APP 客服,为它喂一些相关专业知识,方便为用户解答,请问有什么比较合适的开源 AI 吗?

    要能在普通服务器上跑起来的。

    11 条回复    2024-03-18 10:12:40 +08:00
    azure2024us
        1
    azure2024us  
       282 天前
    GLM-130B , 国内清华大学的, 之前部署过。

    推理 12g 显存就够了。

    训练要 24g + 显存 才勉强跑的动。
    frankyzf
        2
    frankyzf  
       282 天前
    ollama 的 mistral 可以试试
    shinyzhu
        3
    shinyzhu  
       282 天前
    最近在用 01 万物和 moonshot ,感觉能力都不错的。
    Liftman
        4
    Liftman  
       282 天前
    这种需求自己训练极其不划算。而且效果不好。
    v24radiant
        5
    v24radiant  
       282 天前
    最近用了一下 xverse 的,感觉还可以
    gaobh
        6
    gaobh  
       282 天前 via iPhone
    给用户用就必须要 gpu 服务器了,然后看看用户量计算一下能承受多少成本,算完你就会发现你会破产。
    kidlj
        7
    kidlj  
       282 天前
    可以手机推理的端侧大模型( 2B ): https://github.com/OpenBMB/MiniCPM
    lithiumii
        8
    lithiumii  
       282 天前 via Android
    套路一般是买 GPT-4 的 API 先顶着,凑了几百条数据之后就可以微调一个便宜的本地模型了
    wwhc
        9
    wwhc  
       282 天前
    Privategpt+Mistral 7B 用 1080ti 推理速度就很好了,或者 Privategpt+Mixtral 8x7B ,合法可商用性能很好的开源模型,但对 GPU 要求高
    canxin
        10
    canxin  
       282 天前 via iPhone
    Grok 刚刚开源
    weixind
        11
    weixind  
       282 天前
    https://fastgpt.run/ 这种之类的知识库解决方案 + GPT-3.5/4 基本上差不多了。自己微调和部署的成本短期来看会是更高的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5077 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 03:47 · PVG 11:47 · LAX 19:47 · JFK 22:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.