本地跑大模型代码助手还挺好用

151 天前
songray  songray

用 ollama 跑的 llama3 8b 用来对话,starcode2 3b 用来补全,大概有 copilot 7 成的体验。

m2 mac mini 同时运行两个模型没啥压力。

小内存核显本也可以白嫖 cloudflare worker ai 的免费额度。

Blog: https://ray-d-song.com/zh-cn/blog/continue-free-ai-code-assistant/

2489 次点击
所在节点   Local LLM  Local LLM
6 条回复
songray
songray
151 天前
https://imgur.com/gallery/llama3-wKjlZmB

说实话,我感觉比 gpt3.5 聪明
Mianmiss
Mianmiss
151 天前
和通义灵马 比呢?
songray
songray
150 天前
@Mianmiss 英文问答的话比通义好用,中文不如
tabc2tgacd
tabc2tgacd
150 天前
以前试过在自己本地跑,但是效果很差。等空下了试试你推荐的这个
sampeng
sampeng
150 天前
mac studio 。试了试 starcode2 7b 。好像效果还可以。对话就算了。。对话一个两个问题其实体现不出来,要能解决问题才是生产力。
其实如果有能和 copliot 打的就还可以了
tabc2tgacd
tabc2tgacd
131 天前
试了下,感觉效果不咋的,暂时还是用阿里的通义灵码了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1070278

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX