7B 大模型不量化, 16G 显存就差那么一点儿,难道消费级显卡只有 90 系能跑?

269 天前
 CatCode

目前挺多开源/开放大模型的,7B 这个级别的也不少。现在主流的模型用的是 bf16 的数据类型。

理论上是几乎刚刚放下。但显存里总得放点儿别的东西;权重的各部分之间也不是那么整整齐齐,总要浪费一些空间。

16G 显存的显卡,就愣是放不下 7B 模型了。

4070TiS 、4080 、4080S 都是 16G 。再往上就得 4090D 和 4090 了(算上上代还有 3090 )。

不是说 int8 量化的不好,就是单纯吐槽 7B bf16 正好卡在这个位置,真是膈应啊。

1720 次点击
所在节点    机器学习
6 条回复
Orenoid
269 天前
我的显卡是 4070 ,显存 12 GB ,用 ollama 跑 qwen 7b 和 mistral 7b 感觉都挺流畅的呀,qwen 14b 也勉强能跑,如果 ollama 默认拉取的就是已经量化了的模型,那就不清楚了
liprais
269 天前
你买 A100 老黄就把你当人了
臭打游戏的一边凉快去
CatCode
268 天前
@Orenoid 应该是量化过的。
7000000000 个 bf16 值,紧密排列,就要 13 GiBytes 空间。浮点数数组用通用压缩算法并不好压缩。
159526aa
268 天前
跑个量化 14b 不比你无量化 7b 强多了
shm7
268 天前
1. 是不是不考虑输入输出长度了,现在都是 16K 了。
2. 7B 你也叫大模型了,拿这些老/消费卡不行也是正常的吧。
basncy
261 天前
OutOfMemoryError: CUDA out of memory. Tried to allocate 1.08 GiB. GPU 0 has a total capacty of 14.75 GiB of which 1.06 MiB is free. Process 2290 has 13.72 GiB memory in use. Of the allocated memory 10.38 GiB is allocated by PyTorch, and 3.20 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1018580

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX