关于自建大模型

[hefish]

领导说要自建一个大模型，所以有几个问题。。 1 、是不是可以基于现有的一些开源大模型来搞 2 、是不是先从 github 上，下载了某个开源大模型，然后下载好预训练的数据，load 起来，能跑起来。。 3 、是不是接下来可以训练一些自定义的数据。。。 4 、训练一般是怎么搞的，有没有相应的文档。。。 5 、自定义的数据是怎么组织的。。有没有相应的文档看看。。。

[gaobh]

是为了备案吧，不用训练，直接下载羊驼 3 ，然后重点做敏感词那一套就行了。如果真的公司用或者给用户用的话，先让老板拿出几百万搭一套 GPU 出来吧，没这钱跑不起来你也训练不了

[cowcomic]

个人感觉现在大部分说要自建大模型主要还是针对某个领域创建一个相对可以进行宣传的大模型应用，重点还是在商务侧，而不是产品和研发侧，也不是真的训练一个大模型出来
所以要先搞清楚领导的需求到底是为了干啥

[wangritian]

想复杂了兄弟，搞个开源 10 几 B 的 int4 量化版本跑起来 demo 发给领导即可，服务器先随便租一下按量的

[Seanfuck]

一般是拿开源的当基座训练。
训练的话，各云平台比如阿里云都有这种服务了，喂一问一答的数据就行了，云平台有格式文档的。