目前挺多开源/开放大模型的,7B 这个级别的也不少。现在主流的模型用的是 bf16 的数据类型。
理论上是几乎刚刚放下。但显存里总得放点儿别的东西;权重的各部分之间也不是那么整整齐齐,总要浪费一些空间。
16G 显存的显卡,就愣是放不下 7B 模型了。
4070TiS 、4080 、4080S 都是 16G 。再往上就得 4090D 和 4090 了(算上上代还有 3090 )。
不是说 int8 量化的不好,就是单纯吐槽 7B bf16 正好卡在这个位置,真是膈应啊。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.