V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
superliwei
V2EX  ›  程序员

electron 有没有办法集成开源 AI 模型?

  •  
  •   superliwei · 52 天前 · 1296 次点击
    这是一个创建于 52 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前提供线上 AI 服务的成本居高不下,如果能把 AI 模型集成到客户端中,这块的服务成本省了,用户也得到了方便。

    19 条回复    2024-04-29 15:08:48 +08:00
    zcf0508
        1
    zcf0508  
       52 天前
    用户:我只有核显可以做到 100t/s 吗?
    zhwguest
        2
    zhwguest  
       52 天前
    TensorFlow js....
    malusama
        3
    malusama  
       52 天前
    用户: 这个客户端怎么好几个 G ? 里面到底塞了啥
    ysc3839
        4
    ysc3839  
       52 天前 via Android
    libtorch 跑 torchscript ,或者干脆弄个 embedded Python
    nickfox5880
        5
    nickfox5880  
       52 天前
    你们自己做的 ai 模型吗?
    jianchang512
        6
    jianchang512  
       52 天前
    如果不在意体积,可以用 python 包下,提供个 api 给 electron 用
    wxxxcxx
        7
    wxxxcxx  
       52 天前
    Mozilla 好像开源了一个可以以单文件分发大模型的工具
    wxxxcxx
        8
    wxxxcxx  
       52 天前
    shadowyue
        9
    shadowyue  
       52 天前
    你的 AI 模型如果核显的性能都带的动,那可以试试
    AKAUP
        10
    AKAUP  
       52 天前
    1. 模型逆向泄露风险
    2. 适配多端平台的开发难度评估
    3. 用户客户端算力、处理芯片的不统一,可能会带来使用体验的降低
    4. 客户端体积包增大

    这是我想到的四个缺点叭,不知道合不合理
    Jirajine
        11
    Jirajine  
       52 天前
    能跑是能跑,但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。
    kneo
        12
    kneo  
       52 天前 via Android
    可以用 ollama 本地部署,然后你用 http api 调用本地服务就可以了。
    你的 electron 实现端只需要负责调 API ,可以配置为使用云端的(比如 openai )或者本地的。类似实现一大把,自己找找吧。可以搜索 local llm 之类的。
    yolee599
        13
    yolee599  
       52 天前 via Android
    线上服务都嫌成本高,那本地部署成本更高了
    Curtion
        14
    Curtion  
       52 天前
    看什么模型,一般可以使用 onnxruntime 来做
    horizon
        15
    horizon  
       52 天前
    当然可以,本地大模型才是未来
    Garphy
        16
    Garphy  
       52 天前
    用 ollama 可以提供模型 api ,可以命令行导入第三方模型 gguf 文件
    cleanery
        17
    cleanery  
       52 天前
    @horizon #15 前提是设备中带有 NPU
    knightgao2
        18
    knightgao2  
       52 天前
    3.5 应该成本很低呀,你可以考虑限制免费用户的频次,根据二八原则,选个大多数人可以接受的就行
    jones2000
        19
    jones2000  
       52 天前
    直接卖给客户一个计算盒子,模型计算直接在盒子里计算。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5067 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:43 · PVG 16:43 · LAX 01:43 · JFK 04:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.