ollama 推出 windows 版的 preview,可以在本地跑大模型,在老机器上跑感觉效果不错

2024-02-16 09:39:07 +08:00
frankyzf  frankyzf

ollama 是个可以跑多种大模型的平台,可以跑 llama2, mistral 等。我机器比较老,windows 10 ,32G 内存,只有 2G 显存。但看起来速度还可以接受( mistral ),下载模型也只需要几分钟。安装完用的 mistral ,即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。

下载链接

2171 次点击
所在节点   Local LLM  Local LLM
6 条回复
imzcg2
imzcg2
2024-02-16 10:22:55 +08:00
amd 6800h 80%cpu
reeco
reeco
2024-02-16 11:22:31 +08:00
自己编译一下 llama.cpp ,一样的效果
frankyzf
frankyzf
2024-02-16 11:56:19 +08:00
@reeco 谢谢,我试试
mumbler
mumbler
2024-02-16 12:59:17 +08:00
太慢了,没用上 avx2 指令集,我自己编译的比官方快得多
cwyalpha
cwyalpha
2024-02-16 14:19:55 +08:00
楼主跑的时候应该是用的内存不是显存?
frankyzf
frankyzf
2024-02-16 14:54:44 +08:00
@cwyalpha 嗯,看了下用的是 CPU 而不是 GPU ,可能显存太小了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1015811

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX