如果是 3-5 个人自己搭开源模型用什么好？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 416 天前的主题，其中的信息可能已经有所发展或是发生改变。

openwebui 有时候会卡住。
有推荐吗？

开源模型

openwebui

解决方案

11 条回复 • 2024-07-25 08:50:00 +08:00

wentx

2024-07-23 10:24:28 +08:00

comfyui ?

gtese

2024-07-23 12:38:06 +08:00

@wentx 不玩生图和视频，只是 gpt 。

yinmin

2024-07-23 14:05:52 +08:00

Ollama+LobeChat

开源大模型能达到 GPT 水平的，基本要 700 亿以上参数的 AI 模型，例如：qwen2(72B)，对服务器硬件要求不低哦。

lekai63

2024-07-23 14:08:56 +08:00 via iPhone

目前用 librechat
利用 hf 、mongo 服务，railway 之类打个配合，确实可以做到不用出自己的服务器

gtese

2024-07-23 14:23:00 +08:00

@yinmin 手里 2 路 4210 ，256g ，rtx5000 不要求 72b 。14 ，22 就可以了

kangfenmao

2024-07-23 20:00:45 +08:00

Ollama + Cherry Studio

💡模型支持：

1. OpenAI
2. SiliconFlow
3. deepseek
4. 零一万物
5. 智谱 AI
6. 月之暗面
7. OpenRouter
8. Groq
9. Ollama
10. 百川智能
11. 阿里云 DashScope
12. AiHubMix
13. Anthropic

https://hao.logosc.cn/p/3748

yinmin

2024-07-24 01:14:27 +08:00

试试这个组合，体验度不错的：Ollama + one api + ChatGPT-Next-Web
或者 Ollama + ChatGPT-Next-Web

hkshawn

2024-07-24 10:21:57 +08:00

给你个免费的别纠结了

api.66d.eu

gtese

2024-07-24 12:50:54 +08:00

@hkshawn 广告滚粗

hkshawn

2024-07-25 00:36:55 +08:00

@gtese 有本事你别用啊

gtese

2024-07-25 08:50:00 +08:00

@hkshawn 有本事的门槛这么低。。。。笑。。。。