求教 个人 aigc 创业的朋友，你们的 gpu 服务器是怎么搞定的

[hoodjannn]

看了一眼 阿里云的 gpu 服务器，倒吸一口凉气，感觉这个成本真的收的回来吗

[stimw]

个人搞 aigc 肯定都是调 api 的，云服务器部署这个成本不太可能。

[hash]

租 GPU 服务器是性价比最低的,甚至都不如自己弄一堆二手显卡放家里

[shadowyue]

我觉得组 gpu 才是正解。你自己买显卡，二手出去得亏多少钱。
云服务好歹还能按需付费。

[rap16]

套壳啊，套壳能赚钱干嘛还要自建

[codersun123]

autoDL 类似这种的按需付费

[nrtEBH]

together.ai
硅基流动
这类 ai infra 供应商
云端 gpu 已经算好了 至少能按小时租
自己买机器那绝对是重资产投入了 而且显卡摩尔定律还在 花大钱买的机器两年后过时划不来

[littlehans8]

1. 调第三方 API ；
2. 我当时自己是搞了张 4090 放家里，然后内网穿透出去。当然最后项目黄了，显卡卖了还小赚一点，然后整个项目最赚钱的还是这张显卡。 手动狗头 :-

[importmeta]

个人 aigc 创业, 还要租阿里云服务器, 你没有营业执照, 能过备案这一关?

[importmeta]

AI 要算法登记, 个人都没法申请.

[dayeye2006199]

需要 GPU 的可以重新考虑一下商业模式

[catamaran]

IT 行业第一次进入重资产时代？

[alfa]

@littlehans8 最后想下来，还不如 all in 4090(🐶)

[dropdatabase]

lambda labs

[mickerwx]

说实话 调接口是最方便和便宜的 接近 2w 的 4090 买接口调用的话 你都能调到你项目倒闭

[hoodjannn]

@littlehans8 请教大佬，这个调三方 api ，可以本地训练好自己想要的模型，再上传就能使用了是吗

[xiaopanzi]

@hoodjannn 你怎么本地训练模型？有算力吗？能训练多大模型？

[RatioPattern]

之前 P40 700 一块的时候买了两块，然后有 48G 显存了，然后配了 D1581 主板 16 核 32 线程的板子 4 个网口的加 128G 内存，
加硬盘电源杂七杂八用了 3000 块出头，待机功耗 50W 不到，天天开着跑 DOCKER 挂了 FRP 出去给小站跑图跑 llama 用

缺点就是可惜这个板子 PCIE 不是完整的 X16 ，然后 U 虽然核心多但是 IPC 低然后内存因为老一代加 ECC 的带宽有点低，然后 P40 这卡不支持半精度，但是胜在不跑训练的话速度不算慢，跑训练的话最好还是云服务跑了把模型拉下来用，硬要训练的话显存够搞好散热肯定能跑也不至于太慢，然后 48G 显存可以用很多大参数的模型，对个人来说前期投资和长期开机使用成本极致的低还是比较满意。

[RatioPattern]

后来没啥兴趣了就出了没想到用了大半年 P40 这玩意竟然还翻了个倍。。。这年头啥都金融化了

[hoodjannn]

@xiaopanzi 什么叫怎么本地训练模型？？

[ibazhx]

自己部署 GPU 服务器的话，并发怎么搞定？除非是很有钱吧，能调 api 就别买 GPU 服务器了。要微调的话，可以看看线上各家的在线微调，使用成本也低。还有的话提醒楼主一下，要是还没把调三方 api 弄明白就不要轻易创业了。