有人（个人）自己使用开源的 LLM 大模型吗？

[yuyue001]

现在自己部署使用 SD 的比较多。

但是部署 LLM 的有没有？

开源的 LLM 大模型，一个比一个能吹牛，实际使用体验怎么样？

[Azure99]

@zhlenmao 训练可以租卡，推理用 vllm 13b 左右的模型两张 4090 足够，文档问答这类任务并不难

[zhlenmao]

@Azure99 谢谢 ^-^

[sl0000]

指的是个人 PC 部署吧, 4090 速度都很慢, 长时间开着费电, 用的时候再开嫌麻烦.

[jifengg]

这个帖子得收藏起来以后慢慢看

[7d6a4]

## 本地化大模型简单方案
- gpt4all
> 配套工具最完善
> 适配 openai-python sdk
- ollama
> Go 生态的配套
- llamafile
> llamp.cpp + Cosmopolitan Libc 工程化 a file
> 适配 openai-python sdk

- [llama-cpp-python]( https://github.com/abetlen/llama-cpp-python)
> OpenAI-like API
> 支持视觉
> 支持 llava1.5 家族多模态模型 图片加文本


> 核心都是 llama.cpp 其作者写了个 ML 的 c 库 ggml
> 有高端显卡可以考虑 exllama

> [yc 讨论贴]( https://news.ycombinator.com/item?id=36780186)

> [redit 大模型本地化指南]( https://www.reddit.com/r/LocalLLaMA/wiki/index/)

## 开源大模型
- 全
https://github.com/Hannibal046/Awesome-LLM
- 高效
https://github.com/horseee/Awesome-Efficient-LLM
- 商用
https://github.com/eugeneyan/open-llms
- 中文
https://github.com/HqWu-HITCS/Awesome-Chinese-LLM

[kennylam777]

Deepseek 34B 用來輔助 programming 也不錯, Exllamav2 處理過後在本地環境 4090 能跑, 起碼短問題比 ChatGPT 快一點也不怕私人代碼外流