爱意满满的作品展示区。
guojam

LLMRelayService:比 NewAPI 更轻量的大模型网关

  •  
  •   guojam · Jun 28 · 1117 views

    最近频繁在 CodingPlan 、官方渠道间切换,折腾了 NewAPI 。但 NewAPI 的设计更偏向于中转站运营,配置繁琐,对个人自用来说显得过重(往往不需要复杂的注册、邀请、令牌分组等概念)。

    结合自己的实际需求,我写了一个更适合个人自用的网关:LLMRelayService

    核心特性

    1. 格式透传,原生兼容 只做 chat/responses 间的最小化转换,彻底避免因格式二次转换带来的各种模型兼容性问题。

    2. 请求全文记录(全量日志) 完整记录请求的 Full-Text ,非常适合翻阅日志排查问题。例如可以清晰看到 OpenClaw 或 Hermes 请求到底发了什么,揪出那些携带了大量、不必要的上下文。

      日志详情

    3. 渠道与路由分离(智能回退) 显式支持渠道和路由解耦。用户可以灵活定义 Alias(模型别名)以及设置模型自动回退( Fallback )机制,确保服务高可用。

      模型管理 路由配置

    4. 内置轻量控制台 自带可视化面板,用量数据、请求趋势一目了然。

    LRS 监控面板

    项目地址

    🔗 GitHub 仓库:GoJam11/LLMRelayService

    如果这个项目对你有帮助,欢迎帮忙点个 Star 支持一下!

    7 replies    2026-06-30 00:07:14 +08:00
    xinyana
        1
    xinyana  
       Jun 28 via Android
    数据库有点重了
    getadoggie
        2
    getadoggie  
       Jun 28 via iPhone
    支持一下。不知道 api 不可用时重试机制是怎样的?希望能自定义
    guojam
        3
    guojam  
    OP
       Jun 28 via iPhone
    @getadoggie 回退可以到别的模型 方便薅羊毛
    xialaoban
        4
    xialaoban  
       Jun 28
    确实,数据库有点重了
    guojam
        5
    guojam  
    OP
       Jun 28
    @xialaoban pg 在服务器还好 就 100m 占用 是想不用 compose 也能部署吗
    PowerDi
        6
    PowerDi  
       Jun 28
    两个协议更新的频率太快了 newapi 和 sub2api 都经常频繁更新,我们有精力持续维护吗
    guojam
        7
    guojam  
    OP
       Jun 30
    @PowerDi 没对协议做转换,纯透传,还好。不支持 response 转 claude 。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5722 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 06:17 · PVG 14:17 · LAX 23:17 · JFK 02:17
    ♥ Do have faith in what you're doing.