V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
如果想在 V2EX 获得更好的推广效果,欢迎了解 PRO 会员机制:
https://www.v2ex.com/pro/about
kekxv
0D
V2EX  ›  推广

[ai-gateway] 中转站程序

  •  
  •   kekxv · 21 小时 6 分钟前 · 253 次点击

    分享个自己造的轮子——一个轻量级的 AI 网关(中转)程序。

    项目地址: https://github.com/kekxv/ai-gateway

    # 起因与折腾史

    最开始我用的是 open-webui,体验挺不错(后来忘了因为啥没继续用了)。为了方便集中管理手头一堆乱七八糟的 API Key ,就萌生了自己写个网关的念头。

    第一版是用 Next.js 写的(当然,主力开发是 AI )。但在部署时总觉得不够优雅:Next.js 打包出来的 Docker 镜像体积实在太大,还得把庞大的 node_modules 塞进去,总感觉哪里不得劲。(当然,可能是我自己打包优化的姿势不对)。

    后来嫌麻烦,干脆去跑了鼎鼎大名的 new-api。好家伙,一启动满屏的功能模块,很多我都用不上,一时半会儿还不知道怎么关掉。感觉过于重度,不太符合我的极简需求。

    俺寻思,既然嫌 Node 臃肿,不如干脆换 Go 语言重写一把。反正有 AI 当结对编程助手 ,正好手里有个 40 块钱买的编程辅助订阅,不用白不用

    # 核心需求

    既然是自己用,就抛弃那些花里胡哨的,只盯准几个核心痛点:

    • 请求日志记录:有时候看 AI 客户端在后台哐哐一顿操作,总想“抓包”看看具体传了啥,把日志记录下来方便调试和排查。
    • 多提供商统一管理:希望能做到一个渠道支持多个模型(比如同时搞定 OpenAI 和 Anthropic ),在网关端一次性配置好,客户端只管用一个统一的 API Key 调用就行。
    • 基础数据看板:不需要太复杂,能直观看看每个月的调用频次、Token 消耗量和整体账单就足够了。

    # 总结

    于是就有了现在这个中转程序,主打的就是一个轻量、干净、够用

    题外话:这项目快写完的时候,总觉得差一口气,我又犯懒去试了一次 new-api。结果再次确认了它确实不适合我,索性下定决心把自己的 ai-gateway 好好打磨完善,毕竟自己用得舒服才是最重要的。欢迎大家试用/提 PR !

    首页看板

    提供商设置

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   4848 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 09:56 · PVG 17:56 · LAX 02:56 · JFK 05:56
    ♥ Do have faith in what you're doing.