如题,我在网上很多地方能看到用 mac 做大模型 inference 的,甚至用 macbook air M1 16g 来运行 LLAMA 8B ,网上的教程和演示也很多
像 AMD 的核显,比如 8840h ,性能也很强,统一内存显存,不知道为什么这么做的人就很少?
1
pxqsxs 189 天前 via iPhone
8840H 这统一能和人家是一个概念?人家是颗粒和 soc SiP ,封装在了一起,带宽能比吗?
|
2
hefish 189 天前
说到底还是用的人少。 买 amd 的说不定都开黑直播去了。。。
|
3
V28a19cc 189 天前
能跑跟能用是两码事,Mac 的内存是 384/512 bit 位宽,性能远超 AMD 。
|
4
kenvix 189 天前
|
5
misdake 189 天前
想这么做的人都去买 nv 的独立显卡了吧。AMD 配套生态差得太远了,和性能关系感觉没那么大。
|
6
dnfQzjPBXtWmML 189 天前 via Android
内存带宽不足,无法任意访问内存
|
7
digd OP |
8
digd OP 又查了一下,h200 的显存带宽是恐怖的 4.8Tb/s ,简直就像弗利萨说自己的战斗力是 53 万一样
|
9
msg7086 189 天前
AMD 的内存显存离 CPU 足足几厘米远,mac 的都是按毫米算的,这就已经有差距了。
|
10
murmur 189 天前
人家可以插显卡,mac 不行
|
11
minami 189 天前
因为 AMD 的 ROCm 真的拉跨
|