• 请不要在回答技术问题时复制粘贴 AI 生成的内容
lpffernando
V2EX  ›  程序员

最近 token 烧得多了,自己手搓了个智能路由 MiniRouter

  •  
  •   lpffernando · 7 days ago · 1658 views

    最近发现一个很现实的问题:Fable 、GPT-5.6 、GLM-5.2 这些强模型真的很好用。 但是……如果每一次 AI 请求都调用最贵模型,账单真的扛不住。 比如:✍️ “帮我润色一句话” 📄 “总结一篇文章” 💻 “解释一段代码” 这些任务,真的需要每次都上最强模型吗? 于是我做了一个小工具: MiniRouter 🚀 它可以帮你自动判断任务难度,然后选择合适的模型。 你只需要一个入口: model = minirouter/auto 后面交给它: 🚀 简单任务 → 快模型(便宜、响应快) ⚖️ 日常开发 → 均衡模型(速度和质量平衡) 🧠 复杂推理 / 疑难排查 → 强模型(保证效果) 🖼 图片、多模态任务 → 视觉模型(适用于无 vision 能力的 LLM ) 除了自动选模型,它还能帮你管理: ✅ 多模型统一 API ✅ OpenAI / Anthropic 兼容 ✅ 多渠道自动切换 ✅ API Key 和额度控制 ✅ Token 、费用、延迟统计 ✅ 查看每次为什么选择这个模型 简单来说: 让不同模型各司其职,而不是所有事情都用“大炮打蚊子”。 这个项目主要适合: 👨‍💻 AI 应用开发者 🤖 Agent / 工作流开发者 🏢 团队内部 AI 平台 ☁️ 有多个模型订阅或 API 的用户 如果你也在折腾 AI 应用,欢迎体验。 MiniRouter 已开源:GitHub:lpffernando/MiniRouter 欢迎 Star ⭐,也欢迎交流模型调度、Agent 架构。

    2 replies    2026-07-14 14:40:55 +08:00
    07212423
        1
    07212423  
       6 days ago
    链接也没有,方案依赖判断模型吗
    相比 litellm 的 Complexity Router 功能有什么区别吗
    lpffernando
        2
    lpffernando  
    OP
       6 days ago
    @07212423 好问题,litellm 我也一直在用,但 Complexity Router 一直用起来不好用,这个路由只是他的一个小策略。所以就自己动手搓了这么个工具,就是把自己不同模型的 token 订阅放一起来管理,不需要 litellm 的其它功能,相当轻一些。而且增加了一些日常使用的经验,目前上线版本是规则式,模型目前在测着。规则就是响应快,大部分人够用,也可以自己按习惯优化规则。链接放在最后一行: https://github.com/lpffernando/MiniRouter
    这个是我昨天用来部署服务器的用量与结构:
    DeepSeek V4 Flash ████████████████████████████████ 66.0% ← 主力 / Fast
    DeepSeek V4 Pro █████████████ 26.0% ← 中间层 / Balanced
    GLM-5.2 ████ 8.0% ← 复杂推理 / Strong
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   981 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 19:27 · PVG 03:27 · LAX 12:27 · JFK 15:27
    ♥ Do have faith in what you're doing.