V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
sigoden
V2EX  ›  分享创造

AIChat v0.17.0: 自行托管您自己的 AI 游乐场/竞技场,可以使用 OpenAI 格式的 API 访问所有 LLM

  •  
  •   sigoden · 222 天前 · 1065 次点击
    这是一个创建于 222 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我刚刚发布了 AIChat v0.17.0,其新增了一个内置 web 服务器,可以使用 OpenAI 格式的 API 访问所有 LLM ,并托管 LLM 游乐场/竞技场 Web 应用。

    内置网络服务器: 轻松启动您内置的 web 服务器:

    $ aichat --serve
    Chat Completions API: http://127.0.0.1:8000/v1/chat/completions
    LLM Playground:       http://127.0.0.1:8000/playground
    LLM ARENA:            http://127.0.0.1:8000/arena
    

    与 OpenAI 兼容的 API: 使用熟悉的 OpenAI API 格式与任何受支持的 LLM 进行交互。

    使用 curl 测试:

    curl -X POST -H "Content-Type: application/json" -d '{
      "model":"claude:claude-3-opus-20240229",
      "messages":[{"role":"user","content":"hello"}],
      "stream":true
    }' http://127.0.0.1:8000/v1/chat/completions
    

    LLM 游乐场: 直接在浏览器中试验不同的 LLM:

    LLM 竞技场: 并排比较不同的 LLM:

    支持 20+AI 平台: OpenAI 、Gemini 、Claude 、Mistral 、Cohere 、Perplexity 、Groq 、Ollama 、Azure 、VertexAI 、VertexAI-Claude 、Bedrock 、Cloudflare 、Replicate 、Ernie 、Qianwen 、Moonshot 、ZhipuAI 、Deepseek 和其他与 OpenAI 兼容的平台。

    项目地址:https://github.com/sigoden/aichat

    2 条回复    2024-05-14 11:00:13 +08:00
    xylitolLin
        1
    xylitolLin  
       222 天前
    playground 是吧?你这翻译很 AI
    codsddos
        2
    codsddos  
       222 天前
    和[litellm]( https://github.com/BerriAI/litellm) 相比有什么区别呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   987 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 18:32 · PVG 02:32 · LAX 10:32 · JFK 13:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.