通过雷电网桥连接三台 Mac（m1p/m2/m4）测试 Exo cluster 运行 Qwen 2.5 Coder 32B 结果
huaweigg · 5 天前 · 528 次点击测试机型:
- m1pro 16G(14cu)
- m2 8G(10cu)
- m4 16G(10cu)
测试模型为 Qwen 2.5 Coder 32B
测试结果
- 三台单独都无法运行起来。当 m2 和 m4 通过雷电 4 互相连接时也无法运行。
- 当 m1pro 和 m4 通过雷电 4 互相连接时，速度为 5 tokens/s
- 当三台设备通过雷电 4 互相连接时，速度为 8 tokens/s
崩溃概率蛮大的，测试三次，两次 m2 机器上 python 进程 OOM 被干掉。
2 条回复 • 2024-12-13 10:09:12 +08:00
 |
1
phrack 5 天前
挺有意思的，之前也偶然见过这个项目不过没试过。如果不用雷电就是普通的以太网速度怎么样？
|
 |
2
huaweigg OP @phrack 千兆比雷电网桥慢，感觉瓶颈在通讯时延，千兆延时在 1000ms ，雷电网桥才 400ms ，通讯数据带宽也就几百 kbps 。万兆没有条件测😂，据 https://x.com/alexocheema/status/1855242039501128144/photo/1 比雷电 4 还快一些。
|
Select Language