请教各位，开源的 AI 模型需要什么样配置的机器？比如图像类啊大语言模型啊语音类啊都想玩玩

[fushall]

自己对 AI 机器配置这块没有任何研究。。。纯小白。。。

刚好过段时间要休几天年假，打算玩一玩

楼主的电脑是 thinkpad T14 32G 内存款，无 GPU ，貌似跑不了那些开源的 AI 模型

搜索了一下，新人都是推荐苹果的机器，但自己没用过，心里没底

[goxxoo]

4060 16g 以上的吧, 我这个 1050ti 一张图 30-50 分钟 sd

[luchenwei9266]

有用 CPU 的推理的，可以下一个 LM Studio 试试。不过建议还是得搞个大显存 GPU ，有钱上 4090 ，没钱买 2080ti 22G

[mmdsun]

看你跑什么模型，一般 github 安装说明上都会写的。
我的配置是 Windows 平台+Nvidia 4090 ,主要用 WSL 2
最近跑了 Qwen 和 stable diffusion webui 画图都没什么问题的。

[jimrok]

主要是依赖 N 卡，显存是关键，一个 7B 的模型，大概能塞进 24G 的显存里，再大就装不进去了。

[smalltong02]

如果你想自己研究的话，还是建议要搞一块 4090 。这样 34B-4bit(GPTQ)，13B-8bit(GPTQ)和 7B-16bit ，都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型，比如 70B 的模型，那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。

此外给你推荐一下我的开源项目，比较符合你的需求，这一个项目支持很多的本地和在线模型，少量图像模型和语音模型：
图像模型支持：OpenDalleV1.1 ，ProteusV0.2 ，SDXL-Lightning ，GhostXL 等
音乐模型支持：facebook musicgen 系列
语音输入输出支持：whisper ，OpenAI 和 Azure 在线语音
https://github.com/smalltong02/keras-llm-robot

如果你想使用知名的开源项目，那么我推荐
LM Studio - 安装简单，可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
Ollama - 同上，缺点在多一个没有漂亮的 GUI 。
text-generation-webui - 这是最知名的项目，几乎所有格式都支持。

[routiner]

不怕矿渣子的话，3090 也不错的，显存跟 4090 一样是 24G

[Giftina]

mac 的优点是对于绝大多数玩一玩图一乐的人来说不需要折腾（或很少折腾），而且预算要求很低。

闲鱼上花 4K 收一台 mac m2 ，切记要 ≥16GB 内存的，能高效跑 7B 的模型，玩完了还能原价出。

大语言模型的话装一个 Ollama 就可以玩了，需要 GUI 的话起一个 open-webui 就可以用了。用零一家的 7B yi 的实测速度和效果都很平衡。

文生图的话可以用 Mochi Diffusion ，10 秒钟左右出一张图。都是即点即用的。

[Giftina]

@Giftina #7 以及 mac 很关键的一点是省电，峰值功率不到 20w ，好一些的屏幕都比它耗电🤣，拿显卡跑 ai 老心疼电费了

[squarefong17]

应该有挺多教程的，例如： https://www.freedidi.com/12310.html

又或者已经有一些跑本地模型的一键工具的。。。

比如随手搜到一个 LM Studio： https://lmstudio.ai/

[squarefong17]

并且稍微新一点的核显应该都能加速，并且即使是 CPU 也能跑一些，只是慢一点，pytorch 这方面适配海挺好，之前尝试清华那个 chatglm ，用 CPU 还是 NV 独显就是改一行代码的事儿。。。

[tpjaord]

没有 GPU 一般速度都会满很多的
如果不在乎 就没事

[cgcs]

我也想弄个配置高点的苹果，毕竟，笔记本就可以折腾折腾了

[cccccent]

可以 看一下 ollama 这个东西，一键部署，自动量化
```
Note: You should have at least 8 GB of RAM available to run the 7B models, 16 GB to run the 13B models, and 32 GB to run the 33B models.
```

[AlexHsu]

玩一玩的话买大内存的 64g 内存 用 ollama lm studio 之类的跑跑玩玩
本地生产力买大内存的 mac m2ultra 192g
至于 4090 区区 24g 也跑不起来什么大模型

其实性价比的话买个 32g 同意内存的 mac 写代码 丢到 colab 跑就挺好