现在微创企业 ai 应用都是如何部署的

[csulyb]

基于开源的模型微调，然后用 docker 打包模型和代码，去云服务商买 GPU 去跑吗 这个成本应该很高吧，特别是前期用户少的时候？

举个例子，有一个 PDF 内容大纲提取总结的 AI 服务，希望能给 100 人公司用，这个成本多大

[gaobh]

有钱就行，200W 起

[dayeye2006199]

创业企业买什么 GPU ，先 API 用着弄明白怎么赚钱再来研究这事儿

[Hookery]

成本需要考虑到并发量，提取总结的智能程度要求，以及是否上云。

[paopjian]

初创企业还敢玩自研 AI?你都没证,直接买服务去

[dododada]

你 pdf 的模型要多大显存呢？看下需求呗，24 以内就考虑 4090 ，48 以内考虑 3090 ，或者 a6000 ，48 以上考虑 6000a ，3W-20W 不等，平摊到 100 个人，人均 300-2000 ，大概可以干到公司倒闭。

上云的话，算一下每天的成本就行了

[crackidz]

买现成 API 都行啊...为啥搞这么重

非得这么重的话，可以考虑 serverless 部署，没人用的时候进行销毁，有人用的时候创建，就完了...

[makerbi]

1. 微调的目的是什么？是否必须微调？没有经验的情况下微调只会耗费大量资源而且降低模型本身的能力。能用提示词搞定的就优先用提示词。如果要求是能问答企业内部知识的场景，考虑 RAG 是否可以完成？
2. 考虑并发会到多少？并发数直接影响到你需要的显卡资源数量。按我观察的经验来看，大部分企业员工在应用 AI 这件事情上尝鲜的程度多于真正日常使用的程度，也就是说部署一个并发数在个位数的服务就完全绰绰有余了。
3. 如果不是严格要求私有化部署的情况下，使用公有服务是最优选择。
4. PDF 总结也有很多种做法，显存资源不够的情况下对应的就是上下文长度较小，那就分块总结再合并总结，也能完成任务。

[fffq]

GPT Wrapper