本地跑大模型代码助手还挺好用

64 天前
 songray

用 ollama 跑的 llama3 8b 用来对话,starcode2 3b 用来补全,大概有 copilot 7 成的体验。

m2 mac mini 同时运行两个模型没啥压力。

小内存核显本也可以白嫖 cloudflare worker ai 的免费额度。

Blog: https://ray-d-song.com/zh-cn/blog/continue-free-ai-code-assistant/

2269 次点击
所在节点    程序员
6 条回复
songray
64 天前
https://imgur.com/gallery/llama3-wKjlZmB

说实话,我感觉比 gpt3.5 聪明
Mianmiss
64 天前
和通义灵马 比呢?
songray
64 天前
@Mianmiss 英文问答的话比通义好用,中文不如
tabc2tgacd
64 天前
以前试过在自己本地跑,但是效果很差。等空下了试试你推荐的这个
sampeng
63 天前
mac studio 。试了试 starcode2 7b 。好像效果还可以。对话就算了。。对话一个两个问题其实体现不出来,要能解决问题才是生产力。
其实如果有能和 copliot 打的就还可以了
tabc2tgacd
45 天前
试了下,感觉效果不咋的,暂时还是用阿里的通义灵码了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1070278

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX