运行 llm 需要一定的显卡内存。 但是市面上的显卡内存超过 12G 的话就贵了。
因此有个猜想的方案, 使用 可以分享内存的集成显卡(例如 AMD 的)
然后可以把内存例如 32 G 分配给 集成显卡, 从而达到运行 大参数模型的目的。
当然,我知道 集成显卡算力差,但是有时候验证原型花一些时间等待是可以接受的。
请问有没有人这么做过,或者是否可行?
感谢赐教先。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.