极简分布式开源 AI 网关 - LLM Gateway 测试版

[sxueck]

最近因为长期使用的 litellm 因为作者迫于盈利压力，把很多原本属于高频常用的功能列为了企业版本专属特性，正好国庆的时候闲下来了，就写了一款基于 Portkey Gateway 实现的 LLM 聚合网关，本来就想随手一写满足自己的需求的，但是后来发现周围的朋友评价都挺好，就打算完善一下正式发布出来，主要面向用户：

自建服务用户，我将永远不会做企业版，也不会开通打赏等功能 项目由于还是属于我主要在维护和使用，目前不会加入例如组织等功能 目前先完善基础的 LLM 的聚合功能，MCP 和 Claude 协议后续会根据 我的项目地址： https://github.com/sxueck/llm-gateway 项目 Demo： http://demo-api.sxueck.com:3000/ demo / demo1234

同时我也是 xiaoxhao/lvory 的作者，该项目目前下载量已达 960 次，迭代近 20 个版本，维护周期大家应该是可以放心的

[xxlsize]

这个跟 newapi 比有啥不一样，功能好像没没那么全

[sxueck]

@xxlsize 侧重分布式，例如你可以指定 claude 走美国节点，指定 deepseek 走国内

[kknd22]

不知日志能记录到什么情况？

[sxueck]

@kknd22 日志截断 content 后存入数据库，ttl 默认 7 天，日志记录过程异步且非原子操作，不做 100%可靠性

[kknd22]

@sxueck 其实是想要一个记录日志方便调试和可以修改网络数据的网关程序，现在在自己弄
另外，您的项目 base url 只能填写 https ，内网用户不太便利。
其他方面可以参考参考 new-api one-api 这些

[sxueck]

@kknd22 http 的问题校验已修复，更新到了 main ，其他方面暂时先保证稳定性，比如当前日志翻页还有点问题，我之前也是深度网关类型的用户，包括 saas 和 unmanaged 都用过半年以上，目前该项目还是以核心 llm 聚合分发为主

[kknd22]

@sxueck
明白，看来我这个需求属于小众需求了