通过雷电网桥连接三台 Mac（m1p/m2/m4）测试 Exo cluster 运行 Qwen 2.5 Coder 32B 结果

[huaweigg]

测试机型:

• m1pro 16G(14cu)
• m2 8G(10cu)
• m4 16G(10cu)

测试模型为 Qwen 2.5 Coder 32B

测试结果

• 三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。
• 当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s
• 当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s

崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。

[phrack]

挺有意思的，之前也偶然见过这个项目不过没试过。如果不用雷电就是普通的以太网速度怎么样？

[huaweigg]

@phrack 千兆比雷电网桥慢，感觉瓶颈在通讯时延，千兆延时在 1000ms ，雷电网桥才 400ms ，通讯数据带宽也就几百 kbps 。万兆没有条件测😂，据 https://x.com/alexocheema/status/1855242039501128144/photo/1 比雷电 4 还快一些。