4060 本地部署 LLM 求推荐？

[KIRAYOMATO]

不训练，就用来自己推理玩玩，4060 能跑的起来的模型哪个效果最好？

[dyexlzc]

2060s 跑 llama3.1 ，qwen2 7b 都是 20+ token/s ，你的 4060 应该速度更快，13B 以下的都可以玩玩（显存够就可以）
显存不够用内存跑也可以。

[Nosub]

虚拟机搭建本地 LLM ，各种 LLM 可以随便换，真的可以随便折腾，不会污染操作系统，做个虚拟机快照就可以了，对显卡无要求，可以先练习下，熟悉流程后，可以在真机上跑。

使用 Ollama 和 AnythingLLM 搭建 AI 和本地知识库
https://nosub.net/posts/p/219