同样是统一内存显存,为什么用 mac 做 LLM 推断的远多于 AMD 核显?

197 天前
 digd

如题,我在网上很多地方能看到用 mac 做大模型 inference 的,甚至用 macbook air M1 16g 来运行 LLAMA 8B ,网上的教程和演示也很多

像 AMD 的核显,比如 8840h ,性能也很强,统一内存显存,不知道为什么这么做的人就很少?

2080 次点击
所在节点    硬件
11 条回复
pxqsxs
197 天前
8840H 这统一能和人家是一个概念?人家是颗粒和 soc SiP ,封装在了一起,带宽能比吗?
hefish
197 天前
说到底还是用的人少。 买 amd 的说不定都开黑直播去了。。。
V28a19cc
197 天前
能跑跟能用是两码事,Mac 的内存是 384/512 bit 位宽,性能远超 AMD 。
kenvix
197 天前
misdake
197 天前
想这么做的人都去买 nv 的独立显卡了吧。AMD 配套生态差得太远了,和性能关系感觉没那么大。
dnfQzjPBXtWmML
196 天前
内存带宽不足,无法任意访问内存
digd
196 天前
@V28a19cc
@kenvix
@pxqsxs

我查了一下,m2 ultra 带宽吊打,可达到 0.8Tb/s, 接近 4090Ti 的 1Tb/s

8840h 和 m2 差不多,都是 100Gb/s 。m2 pro 和 m2 max 分别是 200 和 400Gb/s

所以如果用笔记本来体验 LLM 推断的话,相比较 MacBook air ,amd 更实惠。但更进阶的体验差距就巨大了
digd
196 天前
又查了一下,h200 的显存带宽是恐怖的 4.8Tb/s ,简直就像弗利萨说自己的战斗力是 53 万一样
msg7086
196 天前
AMD 的内存显存离 CPU 足足几厘米远,mac 的都是按毫米算的,这就已经有差距了。
murmur
196 天前
人家可以插显卡,mac 不行
minami
196 天前
因为 AMD 的 ROCm 真的拉跨

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1038905

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX