推荐各位利用 ollama 在自有电脑上跑大模型，使用非常方便

[keepRun]

ollama 用法跟 docker 很类似，指定 run 哪个模型就会自动去下载使用。

我用我的 1650 笔记本允许 mistral ，跑起来速度还行。

模型列表： https://ollama.com/library

方法： 建议采用 wsl2 运行 ollama ，安装 cuda 后即可利用显卡跑 ollama ，否则会利用 cpu 跑大模型。

wsl2 安装 cuda 直接用我这个链接即可： https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=WSL-Ubuntu&target_version=2.0&target_type=deb_local

[skywalkerfc]

确实很方便，用公司的 m2 很快，在家用自己的 18 款 intel 就风扇直响

[Rrrrrr]

@kaichen #18 好的，谢谢

[freedom1613]

本地跑个小模型，用用沉浸式翻译、Openai-Translator 很不错，感谢推荐

[kangfenmao]

给你推荐一个支持 Ollama 的本地客户端，可以自动加载 Ollama 下载的模型 https://github.com/kangfenmao/cherry-studio