Kingfish404
V2EX  ›  Local LLM

[开源自荐] ModelMoor:把本地/远程模型、商业 API 和订阅账户收进一个本地地址

  •  
  •   Kingfish404 · 13h 43m ago · 359 views

    最近在 Mac 上同时使用自托管模型和几个云端 API ,经常要在不同客户端里反复改 Base URL 、模型名和 API key 。远程机器上的 vLLM 、SGLang 、Ollama 还要单独维护 SSH 端口转发。于是我做了 ModelMoor ,现在把它开源出来。

    ModelMoor 是一个原生 macOS 菜单栏应用,也带 CLI 。它可以把 SSH 后面的 OpenAI-compatible API 转发到 Mac ,再把远程模型、直接连接的商业 API ,以及 ChatGPT/Codex 、Claude Code 、Kimi 、Grok 等订阅账户中选定的模型,统一放到一个本地地址:

    http://127.0.0.1:17777/v1
    

    客户端只需要保存一个 Base URL 和一个 ModelMoor API key 。每个公开模型名会固定路由到指定的上游模型,对应凭据分别保存在 macOS Keychain 。它不会自动切换模型、负载均衡或重试付费请求,路由关系是显式的。

    目前主要解决三个场景:

    1. ssh -L 把 DGX 、GPU 服务器或家里设备上的 vLLM 、SGLang 、Ollama 接到 Mac 。
    2. 把 SSH 模型和 DeepSeek 、Kimi 等兼容 API 汇总到一个本地 OpenAI-compatible 地址。
    3. ssh -R 把 Mac 上的 Unified API 送回远程开发机,让远程工具继续使用同一个模型列表。

    另外做了模型发现、健康检查、SSH 断线恢复、多 API key 、SSE 流式转发和用量统计。监听地址默认只绑定 loopback ,API 凭据放在 Keychain ,Gateway 默认开启 bearer token 验证。

    项目目前是 v0.2.0 ,支持 macOS 14 及以上,使用 Swift 开发,MIT License 。现在还是很早期的版本,安装、交互和兼容性上肯定还有不少可以改的地方。欢迎试用,也很想听听大家实际接了哪些模型和客户端,以及遇到了什么问题。

    项目主页:https://kingfish404.github.io/ModelMoor/

    GitHub:https://github.com/Kingfish404/ModelMoor

    下载:https://github.com/Kingfish404/ModelMoor/releases/latest

    ModelMoor

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   983 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 22:04 · PVG 06:04 · LAX 15:04 · JFK 18:04
    ♥ Do have faith in what you're doing.