通过雷电网桥连接三台 Mac（m1p/m2/m4）测试 Exo cluster 运行 Qwen 2.5 Coder 32B 结果

huaweigg · 2024-12-12T16:42:27Z

测试机型: m1pro 16G(14cu) m2 8G(10cu) m4 16G(10cu) 测试模型为 Qwen 2.5 Coder 32B 测试结果三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s 当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s 崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 506 days ago, the information mentioned may be changed or developed.

测试机型:

m1pro 16G(14cu)
m2 8G(10cu)
m4 16G(10cu)

Screenshot 2024-12-13 at 12.30.34 AM.png

测试模型为 Qwen 2.5 Coder 32B

测试结果

三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。
当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s
当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s

崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。 Screenshot 2024-12-13 at 12.36.36 AM.png

Supplement 1 · Dec 26, 2024

时延是 0.4ms

雷电

qwen

崩溃

6 replies • 2024-12-28 00:34:05 +08:00

phrack

Dec 13, 2024

挺有意思的，之前也偶然见过这个项目不过没试过。如果不用雷电就是普通的以太网速度怎么样？

huaweigg

Dec 13, 2024

@phrack 千兆比雷电网桥慢，感觉瓶颈在通讯时延，千兆延时在 1000ms ，雷电网桥才 400ms ，通讯数据带宽也就几百 kbps 。万兆没有条件测😂，据 https://x.com/alexocheema/status/1855242039501128144/photo/1 比雷电 4 还快一些。