爱意满满的作品展示区。
guojam

LLMRelayService:比 NewAPI 更轻量的大模型网关

  •  
  •   guojam · 23h 27m ago · 773 views

    最近频繁在 CodingPlan 、官方渠道间切换,折腾了 NewAPI 。但 NewAPI 的设计更偏向于中转站运营,配置繁琐,对个人自用来说显得过重(往往不需要复杂的注册、邀请、令牌分组等概念)。

    结合自己的实际需求,我写了一个更适合个人自用的网关:LLMRelayService

    核心特性

    1. 格式透传,原生兼容 只做 chat/responses 间的最小化转换,彻底避免因格式二次转换带来的各种模型兼容性问题。

    2. 请求全文记录(全量日志) 完整记录请求的 Full-Text ,非常适合翻阅日志排查问题。例如可以清晰看到 OpenClaw 或 Hermes 请求到底发了什么,揪出那些携带了大量、不必要的上下文。

      日志详情

    3. 渠道与路由分离(智能回退) 显式支持渠道和路由解耦。用户可以灵活定义 Alias(模型别名)以及设置模型自动回退( Fallback )机制,确保服务高可用。

      模型管理 路由配置

    4. 内置轻量控制台 自带可视化面板,用量数据、请求趋势一目了然。

    LRS 监控面板

    项目地址

    🔗 GitHub 仓库:GoJam11/LLMRelayService

    如果这个项目对你有帮助,欢迎帮忙点个 Star 支持一下!

    6 replies    2026-06-28 20:41:27 +08:00
    xinyana
        1
    xinyana  
       15h 47m ago via Android
    数据库有点重了
    getadoggie
        2
    getadoggie  
       13h 30m ago via iPhone
    支持一下。不知道 api 不可用时重试机制是怎样的?希望能自定义
    guojam
        3
    guojam  
    OP
       12h 34m ago via iPhone
    @getadoggie 回退可以到别的模型 方便薅羊毛
    xialaoban
        4
    xialaoban  
       12h 30m ago
    确实,数据库有点重了
    guojam
        5
    guojam  
    OP
       11h 56m ago
    @xialaoban pg 在服务器还好 就 100m 占用 是想不用 compose 也能部署吗
    PowerDi
        6
    PowerDi  
       3h 32m ago
    两个协议更新的频率太快了 newapi 和 sub2api 都经常频繁更新,我们有精力持续维护吗
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1866 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 16:13 · PVG 00:13 · LAX 09:13 · JFK 12:13
    ♥ Do have faith in what you're doing.