🙏🏻🙏🏻🙏🏻我是个小公司桌面运维，老板让我给他开发个 AI 大模型……

[oColtono]

如题
我在一家非 IT 行业的公司干桌面运维，说是运维其实啥都干，简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲，在他眼里，技术相关的问题我全知道。

他想要有一个 AI ，把一位哲学家（比较小众）的文集通读一遍（大概 40 万字）。然后扮演这位哲学家，充当聊天机器人。这个聊天机器人的用户量估计不会太高（小众圈子里面流传一下），最多也就 1000 人左右（并发可能就 30 人以内）。

我说我干不来，他表示让我至少给个方案，适当招两个人，或者找人外包都行。

从头搞个 AI 模型我猜是不可能的，我大概想法是租个云服务器，给 Llama 3 或类似的开源模型喂点数据，然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行？以及这个事情工作量大不大。如果可行的话，我就去着手研究一下怎样微调 Llama 3 ，然后给老板一个方案。

[BadFox]

好炸裂的需求，更炸裂的是你居然真的想去干。

[abersheeran]

从技术上可以，从工作上来说我建议不要这么给老板说。把工作量说多一些，多要几个 HC 。

[newaccount]

先把硬件配上，4090 两块，一块放公司跑模型，一块放家里玩黑神话啊不是，一块在家里做技术研究

[gaobh]

fastgpt 把文章传上去，然后写个 prompt ，然后给老板 gpt 的链接就行了

[Huangzi7]

@newaccount 今天请假，原因：🐒流感

[zfyStars]

是不是只需要写个 prompt ？

[RiverMud]

预算。

预算到位什么想法都可行。

[whp1473]

把书喂给 kimi ，然后让它扮演哲学家就可以了，不需要祖云服务器

[HuberyPang]

https://www.v2ex.com/t/1022439#reply81 感觉参考这个思路，就是把文集构建向量数据库，然后搞个开源大模型，或者购买个大模型 AI 接口 查询问题时，先查向量数据库，然后把结果给大模型，然后让大模型在回答。

[idealhs]

GPT 预设个角色就 OK 了,数据的话 OpenAI 已经学过了

[frencis107]

《这个聊天机器人的用户量估计不会太高》

在国内做，有合规问题吧，别进去了

[ETiV]

我觉得上面配两块 4090 的建议靠谱些

[fengshils]

我也觉得上面配两块 4090 的建议靠谱些

[oColtono]

@frencis107 #11 谢谢提醒，这个我也跟老板说过了。老板头铁得很，好在这个圈子实在影响力有限，他之前搞的一些别的骚操作都没兴起什么风浪
最后要做的时候我会跟法务确认一下。如果确实有问题老板还要坚持做的话，我就让他自己去找外包了。

[oColtono]

@newaccount #3 hhh ，这事我也不是没想过

[oColtono]

@HuberyPang #9 谢谢！！这个看起来很接近我想要的东西了

[oColtono]

@whp1473 #8 考虑过，如果这样的话，工作量就几乎都在前端上了。还有一个担忧是，kimi 这类线上 AI 是否能够微调的程度有限，我怕多问几句，它就露馅了，比如自报家门说我是 kimi ，只是一个人工智能之类的？

[weiaichongfeng]

可以的这个实现思路没问题

老板不懂所以会说出让你开发个大模型，完成核心诉求就好，只是同时要拿到你自己想要的钱就更好

对于懂行的人来说，不算大，用户界面部份开源的部署一下就好，Llama 3 部署一下，一天之内就能搞定，喂数据麻烦点，但网上也有教程搜搜就行了

不懂行的挺麻烦的 工作量很大
https://ollama.com/
https://github.com/lobehub/lobe-chat

[particlec]

github 有现成的 ai 聊天前端界面，给 token 就行

[aw2350]

老板挺有追求的

[Lamlam147]

我赞同楼上配两块 4090 的建议，属实靠谱

[Jinnrry]

好炸裂的需求
更炸裂的是你居然真打算去干
更更炸裂的居然是有人给楼主出主意去自己干

我的建议，打电话联系百度文心一言的商务，然后把报价给老板

[a1oyss0925]

kimi 套壳就完事了，不要想一些不切实际的

[teasick]

好奇是哪位哲学家

[xmumiffy]

国内的模型+rag 就行了,预算够 rag 都不用,直接上

[osilinka]

李沐创业就是这个方向啊！

[wccc]

买设备,合规备案. 要么上游 api 套壳

[shitshit666]

中文用通义千问

[aoling]

最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的

[fcten]

40 万字不需要微调
30 个并发两块 4090 是不够的

[2ruowqe9r]

这个不是很简单吗？各种开源的方案就能解决，搞个知识库，使用 RAG ，写好提示词。

[greycell]

全是开源方案可太多了，你标题起错了，不然下面已经全是推广自己方案的人了。

[z1829909]

内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的

[nyw17]

这不就 RAG 做的事情么，本地部署一下

[Puteulanus]

我看成用户 30 以内了，还想说这么点人直接跳过 AI 招俩人扮演哲学家算了（狗头

[ishengge]

先跟老板说硬件。4 张 H100 显卡

[hongchang]

其实这个事情，真的不难。
先让你老板买显卡，然后花钱找人整理内容，喂给大模型微调一下就行了。
网上都有教程的。我跑过用 llama3 微调了一个甄嬛。

真的不难！！！！

[nicholasxuu]

直说你不会呗，或者让用 kimi 之类的付费产品去。
不然咋样？让大家写个新手都能快速上手的私有部署大语言模型知识库教程？

[winglight2016]

很简单，做个最基础的 RAG 就够了，可以外包给我，一周内搞定吧

[keethebest]

最简单的方案就是直接套个皮，对接国内的 ai 。 豆包，kimi 都可以。

[supuwoerc]

买显卡，部署开源模型，docker 启动 dify ，喂知识库，完成。

[austfisher]

coze 平台直接部署

[YVAN7123]

预计下个任务是造个火箭！

[sampeng]

老板都说了。可以适当招 2 个人，外包。就是愿意花钱啊。先写个 PPT 。预算 100 万。

[meeop]

1 大概率只需要写个 prompt,然后用 gpts 包装下
“你扮演哲学家 xxx,以他的角色和口吻回答用户问题,如下是用户的问题:”

2 复杂点就对接个支持上传文档的模型,上传文集,然后还是上面这个 prompt

3 再复杂就部署 Llama+少量定制,比较麻烦,但也能搞,不需要编程知识

[GensKinsey]

https://github.com/QuivrHQ/quivr

[ibazhx]

https://github.com/datawhalechina/self-llm/blob/master/models/Qwen2/05-Qwen2-7B-Instruct%20Lora.ipynb
这个应该能满足你的需求，或者更简单一点在智谱 open.bigmodel.cn 上微调

[Vegetable]

外包给我

[darkengine]

找老板要 100W 的经费，花 20W 外包出去 /doge

[nuomi196500]

你没理解的老板的需求，他想表达的意思是做出一个带有某位作家风格的聊天机器人，这个真的很好实现，ChatGPT 里很多类似的机器人，国产的 AI 也可以自己配置。但是你别傻乎乎告诉他实现方式，要说的很难，很大，上价值，上高度，多扩充自己团队

[42V0CdLjCU494ogF]

很简单啊，直接用字节家的扣子开发一个 bot 就完了，

把哲学家的文集作为知识库传上去，然后提示词写一下你是一名哲学家，用户会和你对话，你分析理解知识库内容，然后和用户进行对话，

不就完了？

[0703wzq]

这点数据量还不至于自己训练... 知识库方案。

[tinyzilan123]

居然没有人回答 openai

https://platform.openai.com/docs/guides/fine-tuning/preparing-your-dataset
直接使用 openai 的 fine-tuning 模型，自己喂数据，在这基础之上就有了自己调优过后的专门 gpt

[dabingbing]

最多也就 1000 人左右（并发可能就 30 人以内），额... 并发可能也就是 1

[aapon]

蹲一个后续，希望介绍详细点？

[cuicuiv5]

关键词 Graph RAG

[angry41]

百度文心有深度定制的大模型吧，可以了解一下

[yangfan1999]

RAG 方案 +1 ，再用 Prompt 调优试下。
COZE 提供了一份 RAG 的最佳实践，可以参考： https://www.coze.cn/docs/guides/product_knowledge_bot

[Dogergo]

阿里的百炼平台可以，导入知识库，基于非结构话数据就可以，也就是说你上传点 txt,pdf,word 啥的也行，就是千问问答时候要收费

[iloveayu]

楼主文科生吧，这标题可以直接去 uc 震惊部报道了，哪有让桌面自研 AI 大模型的，我 40 米长刀都拔出一半要帮你砍老板了，结果他要的只是个套皮。
同意 3 楼，先把显卡买了。

[cslive]

写好 prompt ，openai 已经给你训练好了

[uiosun]

@Jinnrry 这事听起来不难，当时 GPT3 出圈的时候，就有个法国小哥用 8 刀微调了一个法文本地化的 GPT （包含语言和一些本地知识），对着油管就能做到

但就像大家说的，这玩意还是找商业定制吧，不然出了问题又得自己去修复，莫名其妙的工作量就来了

[myderr]

直接找国内大厂商啊

[hutng]

只要预算足，登月也给他安排上。

[Hef]

GTPs 自定义一个就可以吧，一会就搞定了

[enihcam]

“去把唐僧干掉。” “啊？我？”.jpg

[microchang]

你是否在寻找 ： https://github.com/chatchat-space/Langchain-Chatchat

[djv]

服务商挺多的，文档看看呗；
或者开源模型自己喂自己搭，2B 的拉跨，8B 、9B 的将就用还是可以的。

[hefish]

你们公司不错，我也想加入。 加入了就能起飞了。

[shiyuu]

先让他采购一台 8 卡的算力服务器

[yikyo]

@oColtono 过滤一下，他说 kimi ，你就把他替换掉

[yufeng0681]

你调研完毕，说这个东西耗 GPU ，算法也很吃技术。 自己搭建不划算，可以用 openai ，智谱清言等公司的虚拟人物来做。

智谱清言
1 、可以单独弄个 虚拟人物 ，上传文件（投喂材料）。 也看到别人发布的智能体
2 、可以调用 api ，也就是可以把虚拟人物变成你的后台
https://github.com/MetaGLM/glm-cookbook/blob/main/README.md

[zx9481]

了解一下 rag 即可

[75S3CWXNN0VQ84mg]

RAG 即可，可以套用 coze 等平台的接口，很方便。

[nuonuojump]

楼上说的对，多搞几个 HC ，然后再搞几个 4090 申请点经费，等人来了，把需求推下去，去耍黑悟空，大不了搞个 UI 界面，就欺负他不懂。大家一起快乐一下，还能提升下就业率，出去了还能吹牛逼，构建 AI 团队 实现巴拉巴拉吧。。

[fat4fox]

这么能干！！！我给你 100 万，帮忙把在东北

[fat4fox]

这么能干！！！我给你 100 万，帮忙把外东北收复回来，就算做不到，给我出个一百万内可行的方案。

[wupher]

这个走 RAG 的话，不用编程也是能干的。

但编程可能细节控制更好。

不用你开发大模型，也不用折腾 Llama3 微调啥的。

[seven123]

这个到不难，RAG 即可，dify 或者 fastgpt 都能做

[zenithar]

和楼上各位不同，我第一反应是好奇 OP 工资多少，工作职能不是一般的多啊。

[konakona]

自己训练模型去吞 40w 数据不现实，我更推荐你联系国内 AI 云商提供商业报价，它们来就是干这个的。
关于硬件资源这一点，你老板就很难 hold 。

以下内容摘自 GPT：
要训练 40 万条数据，所需的硬件资源取决于几个关键因素，如模型的大小、数据的复杂性、训练时长以及所需的精度目标。以下是一个大致的硬件配置建议：

### 1. **GPU**
- **高端 GPU**：建议使用 NVIDIA A100 、V100 或 RTX 3090 等高性能 GPU 。这些 GPU 在深度学习任务中表现出色，并且可以加速训练过程。
- **多 GPU 集群**：如果数据量很大，使用多个 GPU 来并行训练会更加高效，特别是当你需要缩短训练时间时。

### 2. **CPU**
- **多核 CPU**：如 Intel Xeon 或 AMD EPYC 系列，配备多核可以加快数据预处理和加载的速度，虽然深度学习的主要计算任务还是依赖 GPU 。
- **充足的缓存**：更大的缓存能有效提升数据预处理的效率。

### 3. **内存 (RAM)**
- **大容量内存**：建议至少 64GB ，甚至 128GB 或更多。大容量内存有助于处理大批量数据，尤其是在训练前的数据预处理阶段。

### 4. **存储 (Storage)**
- **SSD**：使用 NVMe SSD 来存储数据和中间结果，以确保数据加载和存储的快速响应。
- **足够的存储空间**：确保至少有几 TB 的空间用于存放原始数据、模型权重、检查点等。

### 5. **网络**
- **高速网络连接**：如果使用分布式训练，确保集群之间的网络连接速度足够快，以免在数据传输时成为瓶颈。

### 6. **散热和电力**
- **有效的散热系统**：高性能的 GPU 和 CPU 在满负载下会产生大量热量，需要有良好的散热系统来维持硬件的稳定性。
- **充足的电力供应**：确保电源能够支持所有硬件满负荷运行，避免因电力不足导致的意外中断。

### 7. **软件环境**
- **深度学习框架**：如 TensorFlow 或 PyTorch ，这些框架都有优化的 GPU 加速支持。
- **驱动和库**：确保安装最新版本的 CUDA 、cuDNN 等驱动和相关库，以充分利用 GPU 性能。

### 8. **云计算资源**
- 如果本地硬件资源不足，可以考虑使用云计算服务如 AWS 、Google Cloud 或 Azure 来租用高性能 GPU 和其他资源。这些服务通常可以按需扩展，并且有较好的计算资源管理工具。

### 训练时间
训练时间可能从几小时到几天不等，具体取决于数据的复杂性和模型的大小。使用上述配置，可以有效地处理和训练 40 万条数据集。

准备好这些硬件资源后，你就可以开始模型的训练过程，并确保在训练中不断监控资源使用情况，以优化性能和效率。

[dream7758522]

用扣子平台，抖音旗下的，你试试。不是太难，可以傻瓜部署

[GG668v26Fd55CP5W]

这不是就是 LLM 最擅长的角色扮演吗？写个 prompt 调用各种 LLM 的 api 就行了，不需要自己调优，最多做一个 chatgpts 导入资料。

[Felldeadbird]

看完楼上大佬们，我还是太菜了。我想到第一个想法就是：直接找现成套 GPT 的程序- -。然后跑接口。

[dartabe]

调优很简单的 网上租卡就搞了 效果比 prompt 好 小模型效果就可以了

但是说实话不知道你工资是不是匹配这个任务

[simo]

楼上有推荐扣子的了，没问题。
rag 应该就能糊弄过去

[limfoo1]

@dabingbing 绝对是 1 吧 笑发财😂

[dyyhobby]

2 块 4090 的建议靠谱

[southsala]

你觉得有啥纸面书是没喂给 AI 的，搞个 GPTs 这类的东西就行

[lostexile]

你不是做开发的吗，怎么还不会修电脑呢。

[Hyun1006]

这两天正在薅阿里云羊毛，我觉得 op 可以参考一下
https://help.aliyun.com/zh/model-studio/use-cases/?spm=a2c4g.11186623.0.0.25861078Rd36zZ

[echoless]

https://github.com/swuecho/chat 都做好了, 你只要写个 prompt.

[arcaitan]

感觉很简单啊, 你老板有 gpu 预算吗?买上服务器, 招个人把哲学书做做标签, 随便 tunetune 就完事了

[huzhizhao]

肯定还是 2 块 4090 方案 靠谱

[bugmaker233]

你竟然还接下了

[liuidetmks]

先让他采购几块 H200 ，说跑模型

[cutchop]

外包给我，给你 50%回扣

[EndlessMemory]

还是楼上的大佬懂得多

[unco020511]

最简单的是搞个页面,每次把 40w 字的全文+指令都给 gpt,让 gpt 回复输出即可.更好一点的就是用做个 RAG,先检索一下向量数据库,再给大模型提问.
40w 的文本数据不多,应该不需要 LoRa

[AdminRoot123]

@oColtono #16 搜下 rag 吧 你这个实现应该还好