离线大语言模型，有能用的吗？

[Leon6868]

“能用”的意思是，至少能不胡说八道。

[graetdk]

挺多的，chatglm-6b ，还有 llama 的很多版本，基本都能用

[noe132]

之前用过 bloomz-7b1 ，3090 24G 配合降低精度能跑，说的内容勉强凑合，肯定比不上 chatgpt
感觉如果能跑 bloomz-176b (似乎需要 4 卡 A100)，应该能凑得上 chatgpt 3 的水平

[itskingname]

希望是在 Macbook Pro M1 能用的。