AIChat v0.17.0: 自行托管您自己的 AI 游乐场/竞技场,可以使用 OpenAI 格式的 API 访问所有 LLM

40 天前
 sigoden

我刚刚发布了 AIChat v0.17.0,其新增了一个内置 web 服务器,可以使用 OpenAI 格式的 API 访问所有 LLM ,并托管 LLM 游乐场/竞技场 Web 应用。

内置网络服务器: 轻松启动您内置的 web 服务器:

$ aichat --serve
Chat Completions API: http://127.0.0.1:8000/v1/chat/completions
LLM Playground:       http://127.0.0.1:8000/playground
LLM ARENA:            http://127.0.0.1:8000/arena

与 OpenAI 兼容的 API: 使用熟悉的 OpenAI API 格式与任何受支持的 LLM 进行交互。

使用 curl 测试:

curl -X POST -H "Content-Type: application/json" -d '{
  "model":"claude:claude-3-opus-20240229",
  "messages":[{"role":"user","content":"hello"}],
  "stream":true
}' http://127.0.0.1:8000/v1/chat/completions

LLM 游乐场: 直接在浏览器中试验不同的 LLM:

LLM 竞技场: 并排比较不同的 LLM:

支持 20+AI 平台: OpenAI 、Gemini 、Claude 、Mistral 、Cohere 、Perplexity 、Groq 、Ollama 、Azure 、VertexAI 、VertexAI-Claude 、Bedrock 、Cloudflare 、Replicate 、Ernie 、Qianwen 、Moonshot 、ZhipuAI 、Deepseek 和其他与 OpenAI 兼容的平台。

项目地址:https://github.com/sigoden/aichat

841 次点击
所在节点    分享创造
2 条回复
xylitolLin
40 天前
playground 是吧?你这翻译很 AI
codsddos
40 天前
和[litellm]( https://github.com/BerriAI/litellm) 相比有什么区别呢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1040458

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX