12g 显存跑 chatglm2 和 stable diffusion 不够

2023-08-04 10:26:09 +08:00
 Ericxiaoshuang
nvida 的 12g 显卡
本来跑 stable diffusion webui 和 chatglm2 正常
换成 stable diffusion api 模式后
chatglm2 就跑不起来了

顺便说下
用 wx 模块接入了微信机器人
1170 次点击
所在节点    问与答
8 条回复
l0wkey
2023-08-04 10:35:20 +08:00
俩都是吃显存的。。
你放一起跑估计得至少 16 甚至 24G 的卡
Ericxiaoshuang
2023-08-04 11:00:08 +08:00
@l0wkey 确实，我感觉至少 24g 起步
nomagick
2023-08-04 11:09:12 +08:00
那你用 int4 量化的版本
litchinn
2023-08-04 11:09:59 +08:00
我以为你说的单独跑跑不起来，结果是两个同时运行吗。。。。
israinbow
2023-08-04 11:14:15 +08:00
跑 int4 吧.
https://huggingface.co/THUDM/chatglm2-6b-int4
Ericxiaoshuang
2023-08-04 12:07:58 +08:00
@israinbow 跑的就是 int4
Ericxiaoshuang
2023-08-04 12:09:31 +08:00
@litchinn 想实现的就是 aigc 应用在微信机器人，智能对话，以及/img ，文字生成图片
chatgpt 又要收费，又要科学的，成本挺高
mmdsun
2023-08-04 12:59:08 +08:00
上 4090 24GB 吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/962332

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX