ollama 推出 windows 版的 preview，可以在本地跑大模型，在老机器上跑感觉效果不错

[frankyzf]

ollama 是个可以跑多种大模型的平台，可以跑 llama2, mistral 等。我机器比较老，windows 10 ，32G 内存，只有 2G 显存。但看起来速度还可以接受（ mistral ），下载模型也只需要几分钟。安装完用的 mistral ，即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。

下载链接

[imzcg2]

amd 6800h 80%cpu

[reeco]

自己编译一下 llama.cpp ，一样的效果

[frankyzf]

@reeco 谢谢，我试试

[mumbler]

太慢了，没用上 avx2 指令集，我自己编译的比官方快得多

[cwyalpha]

楼主跑的时候应该是用的内存不是显存？

[frankyzf]

@cwyalpha 嗯，看了下用的是 CPU 而不是 GPU ，可能显存太小了。