根据 AI 的发展趋势，有没有必要自己在本地跑大模型？

[7eurvQrEtS]

现在各个 AI 服务相关的公司都有越来越快、准、稳的 AI 服务（更好的模型可能是有次数限制的），在这种情况下，有必要自己在本地搭建模型吗？

简单总结了本地部署的优缺点：

优点：

• 数据安全性和隐私性
• 响应速度更快
• 没有次数限制
• 可自己定义模型

缺点：

• 需要硬件支持
• 噪音问题
• 电费

如果需要需要互联网访问，还存在以下问题：

• 需要有公网
• 网络安全问题

目前设备是 MacbookPro intel ，各个提供商的 AI 已经够我用了，但是考虑到以后的发展趋势，需不需要自己跑大模型？

如果要本地跑，那么应该就是换成 MacbooPro M3 Max 48G 内存的。

如果不本地跑，那么可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机。

想咨询一下大家的意见，请问各位的建议是什么？

[dallaslu]

本地模型未必「响应速度更快」

[murmur]

除非有破除禁忌的需要，绝大多数人用本地模型都不如商业模型

[murmur]

你都用 macbook 了还说什么公网和网络安全，不是搞笑么，你要说纯国产系统、内网开发，弄个局域网大模型还有点实际价值

[NoOneNoBody]

跑不动
尤其那些“8G 够用”的机器

[7eurvQrEtS]

说反了，
如果不本地跑，那么应该就是换成 MacbooPro M3 Max 48G 内存的。
如果要本地跑，可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机

[zmxnv123]

灰色行业的应用肯定都是本地部署 AI 模型的

[ZXiangQAQ]

跑本地模型当然更好，但是性能跟不上啊，本地跑跑小模型应该够用，但是 MacbookPro 和英伟达的高端显卡还是存在非常显著差距的

[7eurvQrEtS]

看来只需要 48G 的 mbp 就够用了，谢谢各位～