🙏🏻🙏🏻🙏🏻我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

[oColtono]

如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。

他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。

我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。

从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。

[Lamlam147]

我赞同楼上配两块 4090 的建议，属实靠谱

[Jinnrry]

好炸裂的需求
更炸裂的是你居然真打算去干
更更炸裂的居然是有人给楼主出主意去自己干

我的建议，打电话联系百度文心一言的商务，然后把报价给老板

[a1oyss0925]

kimi 套壳就完事了，不要想一些不切实际的

[teasick]

好奇是哪位哲学家

[xmumiffy]

国内的模型+rag 就行了,预算够 rag 都不用,直接上

[osilinka]

李沐创业就是这个方向啊！

[wccc]

买设备,合规备案. 要么上游 api 套壳

[shitshit666]

中文用通义千问

[aoling]

最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的

[fcten]

40 万字不需要微调
30 个并发两块 4090 是不够的

[2ruowqe9r]

这个不是很简单吗？各种开源的方案就能解决，搞个知识库，使用 RAG ，写好提示词。

[greycell]

全是开源方案可太多了，你标题起错了，不然下面已经全是推广自己方案的人了。

[z1829909]

内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的

[nyw17]

这不就 RAG 做的事情么，本地部署一下

[Puteulanus]

我看成用户 30 以内了，还想说这么点人直接跳过 AI 招俩人扮演哲学家算了（狗头

[ishengge]

先跟老板说硬件。4 张 H100 显卡

[hongchang]

其实这个事情，真的不难。
先让你老板买显卡，然后花钱找人整理内容，喂给大模型微调一下就行了。
网上都有教程的。我跑过用 llama3 微调了一个甄嬛。

真的不难！！！！

[nicholasxuu]

直说你不会呗，或者让用 kimi 之类的付费产品去。
不然咋样？让大家写个新手都能快速上手的私有部署大语言模型知识库教程？

[winglight2016]

很简单，做个最基础的 RAG 就够了，可以外包给我，一周内搞定吧

[keethebest]

最简单的方案就是直接套个皮，对接国内的 ai 。 豆包，kimi 都可以。