体验了 Qwen2.5 Coder 32B 之后，我觉得本地 LLM 能用了

[ShadowPower]

现在 Huggingface Chat 上可以在线体验：
https://huggingface.co/chat

一年前我尝试了绝大多数热门的，开放权重下载的 LLM 。当时得出的结论是：能本地跑的模型都没有实用价值，写代码的能力都非常糟糕。

最近发布的 Qwen2.5 Coder 32B 效果还真不错，感觉上比早期 GPT4 还强。只要能自己拆解需求，写出大体实现思路，它就可以给出基本上可用的代码。估计有 GPT4o 的水平。

它比我之前认为最好的 DeepSeek v2.5 236B 还好。DeepSeek 的问题在于上下文窗口太小，而且自己还会加超级多的解释和注释，甚至把输入复述一遍，浪费上下文长度。然后输出越长性能越差，甚至会崩溃成循环输出一个单词，所以，实际用起来不好用。

以我用 GPT 的经验，达到初版 GPT4 以上的水平就能提升开发效率。我认为，如今本地 LLM 真的有实用价值了。

[yanyuechuixue]

@liulicaixiao cursor 怎么白嫖呀？

[yanyuechuixue]

@F1Justin 纯 CPU 么？

[kizunai]

利好那些因为保密等原因，写代码的时候不能上网查资料的程序员。
现在只要在内网里面部署一个，开发效率大增

[liulicaixiao]

@yanyuechuixue 直接注册就行，新用户免费 14 天，用完重新注册一个就好

[nikenidage1]

@liulicaixiao #19 copilot 怎么白嫖呀？

[so1n]

32b 的话显卡和内存的要求也挺高的把...再加上自己的一些程序，基本要高配才能运行

[liulicaixiao]

@nikenidage1 用 edu 邮箱去 github 找学生包,学生权限里就有 copilot

[spike0100]

24g 内存的 m4pro mbp 是不是只能跑 Qwen2.5 Coder 7b 。

[kennylam777]

剛測了一下, 4090 跑 Qwen2.5 32B coder exl2 4.25b 量化, 速度約 32tokens/s, 配 VSCode Continue 能做不錯的"explain this code to me", Custom OpenAI API

之後用真實的任務試試看, 至少現在知道 4bit 配 Continue 直接能用, 希望有時間能比較一下 8bit 量化的分別

[NouveauNom]

@zhmouV2 #6 我看了 cursor 当时没法用 Deepseek 的 api ，您是怎么设置的呢

[kennylam777]

@spike0100 Apple Silicon + 24GB 應該能跑 GGUF q3 吧, q4 可能也可以但有點勉強

[yxhzhang185]

mac studio 64G 能跑吗，效果怎么样

[ooTwToo]

32B 的模型有点大，我想问下 通过 ollama 下载，有镜像加速吗？ 太费梯子了。

[Liftman]

很好。早上还探讨这个事情的。要不要把 qwen coder 来一套本地。。。

[xloger]

请教一下，本地 LLM 有哪些比较好玩或者有用的用法嘛？
比如如题所说，可以跑本地的 AI 代码提示，而且应该可以用更多的项目本身上下文，效果说不定比 Copilot 好。（ Copilot 因为隐私设置，感觉它并没有怎么学我项目里的一些写法）。
再有一个是 Obsidian 的一些 AI 插件，这样可以读我笔记的数据且也不用担心隐私问题。

所以还有啥用法嘛~我最近也想搭一个试试

[youwang1997]

Qwen2.5 真有东西的，开源模型妥妥第一梯队了。之前需要微调+用一个 8b 左右的模型，感觉 Qwen2.5 7b 比 llama3 8b 好用。

不过对于 chatgpt 我个人觉得 4o 并不如 4 ，4o 参数数量应该不如 4

[hutoer]

2 张 2080ti 22G ，价格不高，有条件的可以试试

[Freakr]

@ooTwToo 32# ollama 不是能直连嘛

[F1Justin]

@yanyuechuixue M2 Pro ，应该是有 Metal 加速的（？

[m1nm13]

...听说还行我就去试了一下...结果连问题都听不懂