问一下要实现一个类似 GPT3.5 的离线模型要多大 effort

[jameskongawork]

就是想在本地离线使用，有现成的模型可以用吗，另外大概需要多少张显卡？有人做过这个吗？

[noe132]

gpt3 规模类似 bloom 176B ，bloom 176B 做推理使用 fp16 需要 352G 显存，通常来说会用 8 卡 A100 80G 的单机器效率最高，单机显存不够如果分机器的花会影响速度。老黄有 8 卡 A100 的平台卖，好像大概是 100w 一台左右当时？
bloom 模型有缩小版本的，像 bloom 7B1 可以在 24G 显卡上跑，bloom 3B 应该可以在 10G 显卡上跑，只不过相对来说生成结果质量会变差很多。
https://github.com/huggingface/blog/blob/main/bloom-inference-pytorch-scripts.md

[gaobh]

本地跑你是跑不起来的，至少得几张 A100 吧

[akira]

清华的那个好像不用太多资源就能跑起来了