请问目前哪些本地 AI 模型的代码能力比较强? 8G 显存的情况下.

[chackchackGO]

因为特殊需求, 需要离线查代码相关资料.

或者请问有这方面的排行榜 /测试表吗

[murmur]

8g 的模型除了画图都是玩具，基本没多长的会话长度，想真的用还得整个 o22g 的魔改版

[czfy]

本地
8G 显存

这两点就决定了当前不会有可用的

[rogerer]

好奇是什么资料查询需要用到 AI 模型

[locoz]

已经测试过了，目前能在消费级 GPU 上运行的开源模型，没有任何一个在代码能力方面达到可用水平的。

[lithiumii]

https://github.com/fauxpilot/fauxpilot

8G 卡得很好，可以跑 2B 参数的模型了

[yanyuechuixue]

借楼问下，24G 的话有什么模型可以跑呀？

[swulling]

@yanyuechuixue 24G 显存，可以跑 40B 参数模型的 4bit 量化版本。

[yanyuechuixue]

@swulling 谢谢大佬！请教一下，40B 的 4bit 量化和 7B 的无量化哪个性能好一些呀？

[lchynn]

@locoz StarCoder 这种肯定不行，但是 bigcode/santacoder 这种轻量级代码模型也不行么？

[swulling]

@yanyuechuixue 那肯定是大参数好