基于开源的模型微调,然后用 docker 打包模型和代码,去云服务商买 GPU 去跑吗 这个成本应该很高吧,特别是前期用户少的时候?
举个例子,有一个 PDF 内容大纲提取总结的 AI 服务,希望能给 100 人公司用,这个成本多大
1
gaobh 5 小时 54 分钟前
有钱就行,200W 起
|
2
dayeye2006199 5 小时 53 分钟前 via Android 1
创业企业买什么 GPU ,先 API 用着弄明白怎么赚钱再来研究这事儿
|
3
Hookery 5 小时 52 分钟前
成本需要考虑到并发量,提取总结的智能程度要求,以及是否上云。
|
4
paopjian 5 小时 33 分钟前
初创企业还敢玩自研 AI?你都没证,直接买服务去
|
5
dododada 5 小时 21 分钟前
你 pdf 的模型要多大显存呢?看下需求呗,24 以内就考虑 4090 ,48 以内考虑 3090 ,或者 a6000 ,48 以上考虑 6000a ,3W-20W 不等,平摊到 100 个人,人均 300-2000 ,大概可以干到公司倒闭。
上云的话,算一下每天的成本就行了 |
6
crackidz 4 小时 13 分钟前
买现成 API 都行啊...为啥搞这么重
非得这么重的话,可以考虑 serverless 部署,没人用的时候进行销毁,有人用的时候创建,就完了... |
7
makerbi 4 小时 7 分钟前
1. 微调的目的是什么?是否必须微调?没有经验的情况下微调只会耗费大量资源而且降低模型本身的能力。能用提示词搞定的就优先用提示词。如果要求是能问答企业内部知识的场景,考虑 RAG 是否可以完成?
2. 考虑并发会到多少?并发数直接影响到你需要的显卡资源数量。按我观察的经验来看,大部分企业员工在应用 AI 这件事情上尝鲜的程度多于真正日常使用的程度,也就是说部署一个并发数在个位数的服务就完全绰绰有余了。 3. 如果不是严格要求私有化部署的情况下,使用公有服务是最优选择。 4. PDF 总结也有很多种做法,显存资源不够的情况下对应的就是上下文长度较小,那就分块总结再合并总结,也能完成任务。 |
8
fffq 2 小时 22 分钟前
GPT Wrapper
|